Inference-Time Agentic Decision Rules Beat Longer Evolving Search for Multi-Image Medical Reasoning

당신이 하나의 단서가 아니라, 특정 순서로 이야기를 들려주는 일련의 사진 뭉치를 보고 미스터리를 풀려고 한다고 상상해 보세요. 예를 들어 뼈가 치유되는 과정을 보여주는 일련의 X-선 사진이나, 폭풍을 추적하는 위성 이미지의 연속일 수도 있습니다. 인공지능의 세계에서는 이를 "다중 이미지 추론(multi-image reasoning)"이라고 부릅니다. 이는 단순히 한 장의 사진에 무엇이 있는지 인식하는 것이 아니라, 프레임이 바뀜에 따라 이야기가 어떻게 변하는지를 이해하는 것입니다.

오랫동안 과학자들은 컴퓨터가 이러한 퍼즐을 풀게 하는 가장 좋은 방법은 매우 길고 상세한 지침(프롬프트)을 주고, 그 지침의 수백만 가지 변형을 시도하여 어떤 것이 가장 잘 작동하는지 확인하는 것이라고 생각했습니다. 그들은 "진화적 탐색(evolutionary search)"이라는 방법을 사용했는데, 이는 디지털 버전의 자연 선택과 같습니다. 즉, 많은 버전의 프로그램을 만들고, 가장 나은 것들을 살아남게 하며, 이들을 혼합하여 더 나은 것을 만들어내는 방식입니다. 여기서 핵심적인 질문은 이것입니다: 성공의 비결이 단지 더 많은 변형을 시도할 수 있는 더 크고 강력한 컴퓨터를 갖는 것인가? 아니면 실제로 컴퓨터가 단서를 살펴보는 방식을 결정하는 '방법'에 있는 것인가? 이 논문은 바로 이 질문을 파고들며, 더 똑똑한 전략을 갖는 것이 더 긴 탐색을 하는 것보다 나은지를 테스트합니다.

---

위대한 AI 탐정 대회

이 연구에서 연구진은 AI 에이전트(스마트한 컴퓨터 프로그램)들이 MedFrameQA라는 데이터셋을 사용하여 의료 퍼즐을 해결하는 고도의 경쟁을 설정했습니다. 이 데이터셋을 각 질문마다 2~5개의 이미지 시퀀스가 따라오는 거대한 의료 사례 도서관이라고 생각하면 됩니다. AI는 전체 시퀀스를 살펴보고 주어진 선택지 중에서 정답을 골라내야 합니다.

연구진은 단순히 AI에게 무작위로 지침을 던진 것이 아닙니다. 대신, 지침을 "진화"시키기 위해 ShinkaEvolve라는 강력한 엔진을 사용했습니다. 그들은 모든 참가자에게 전략을 개선할 수 있도록 동일한 시간과 컴퓨팅 파워(50세대의 진화)를 부여했습니다. 목표는 어떤 종류의 "의사 결정 규칙"이 가장 잘 작동하는지 확인하는 것이었습니다.

여기서 테스트한 다섯 명의 참가자가 있습니다:

1. 고정된 베이스라인(The Fixed Baseline): AI는 모든 이미지와 질문을 한 번 보고 즉시 추측합니다. 이는 "한 번에 끝내는" 접근 방식입니다.
2. 추론 스캐폴드(The Reasoning Scaffold): AI에게 "단계별로 생각하고" 정답을 말하기 전에 자신의 논리를 설명하도록 지시합니다. 이는 학생에게 풀이 과정을 보여달라고 요청하는 것과 같습니다.
3. 순서 투표(Order-Vote): 이것은 아주 영리한 방식입니다. AI는 이미지를 보되, 정답 선택지의 순서(A, B, C, D)를 섞은 뒤 질문을 여러 번 던집니다. 만약 목록을 어떻게 섞더라도 AI가 계속 "B"를 선택한다면, 그것은 강력한 표가 됩니다. 그런 다음 모든 표를 집계하여 최종 결정을 내립니다.
4. 순서 재순위화(Order-Rerank): 이것은 강력한 한 방을 노리는 방식입니다. 투표 방식을 사용하되, 표 차이가 근소할 경우 상위 두 개의 선택지를 대상으로 매우 상세한 2차 비교를 수행합니다. 이는 판사가 2차 재판을 여는 것과 같습니다.
5. 순서 투표+(Order-Vote+): 첫 번째 투표 결과가 불확실할 때만 2차 검토를 수행하는 혼합 버전입니다.

놀라운 승자: 단순함이 승리한다

결과가 운이 아니라는 것을 확인하기 위해 연구진은 이 대회를 다섯 번 반복 실행했으며, 그 결과 명확한 승자를 찾아냈습니다. 가장 열심히 노력하거나 가장 복잡한 논리를 사용한 AI가 승리한 것이 아니었습니다.

순서 투표(Order-Vote) 전략이 최종 정확도 **57.89 ± 0.65%**를 기록하며 금메달을 차지했습니다.

• 이 방식은 단 **52.73 ± 0.42%**를 기록한 단순한 "고정(Fixed)" 베이스라인을 이겼습니다.
• 또한 더 복합적이고 실행 비용이 많이 드는 "순서 재순위화(Order-Rerank)" 전략(점수 55.79 ± 0.43%)도 제쳤습니다.

왜 단순한 투표 방식이 승리했을까요? 연구진은 의료 이미지가 까다롭기 때문이라고 설명합니다. 때로는 정답을 나열하는 순서(A, B, C, D)가 AI가 잘못된 것을 선택하도록 실수로 유도할 수 있습니다. 순서 투표 전략은 자신의 첫 직감을 믿지 않는 현명한 탐정과 같습니다. 대신, 질문을 다양한 방식으로 다시 던져서 답이 그대로 유지되는지 확인합니다. 이러한 다양한 관점을 통해 "투표"함으로써, AI는 훨씬 더 견고해지며 선택지가 섞였다는 이유만으로 어처구니없는 실수를 할 가능성이 낮아집니다.

반면, 심층적인 2단계 분석을 시도했던 순서 재순위화 전략은 오히려 성적이 더 좋지 않았습니다. 이는 마치 증거를 너무 오랫동안 재검토하다가 혼란에 빠지거나 새로운 실수를 저지르는 탐정과 같았습니다. 연구진은 이 복잡한 방법이 "취약(brittle)"하다고 결론지었습니다. 즉, 어떤 경우에는 잘 작동하지만 전반적으로는 더 자주 실패하며, 훨씬 더 많은 컴퓨팅 파워(최종 테스트에서 승자의 331.5초 대비 약 417.2초)를 필요로 했습니다.

"다다익선"의 신화는 깨졌다

이 이야기에서 가장 놀라운 부분은 이것입니다. 연구진은 다음과 같이 물었습니다. "만약 우리가 AI를 더 오래 진화시킨다면 어떨까? 50세대 대신 100세대를 준다면?"

그들은 더 많은 시간이 더 똑똑한 AI를 만들 것이라고 예상했습니다. 하지만 결과는 정반대였습니다. 순서 투표 전략을 100세대 동안 진화시켰을 때, 최종 테스트 성능은 **57.89%**에서 **56.02%**로 오히려 하락했습니다.

이는 AI에게 더 많은 시간을 주는 것이 더 똑똑하게 만드는 것이 아니라, 실제 보지 못한 테스트 질문을 다루는 법을 잊어버리게 하면서 연습 문제(홀드아웃 세트)를 암기하는 데 더 능숙하게 만들 뿐이라는 점을 시사합니다. 이는 특정 연습 시험을 너무 열심히 공부해서 답을 외워버린 나머지, 실제 시험에서는 개념을 이해하지 못해 낙제하는 학생과 같습니다. 연구진은 올바른 의사 결정 규칙을 정의하는 것이 단순히 더 오래 탐색하는 것보다 훨씬 더 중요하다고 결론지었습니다.

이것이 미래에 갖는 의미

이 논문은 자신들이 모든 의료 미스터리를 해결했다거나 AI 에이전트가 실제 의사를 대체할 준비가 되었다고 주장하는 것이 아닙니다. 사실 저자들은 이것이 임상 연구가 아닌 "벤치마크" 연구임을 매우 신중하게 밝히고 있습니다. 그러나 이 연구 결과는 스마트한 AI 시스템을 구축하려는 모든 이들에게 중요한 교훈을 줍니다.

만약 일련의 이미지를 통해 추론하는 AI를 만들고 싶다면, 단순히 더 많은 컴퓨팅 파워를 쏟아붓거나 더 긴 지침으로 "더 열심히 생각하라"고 요구하지 마십시오. 대신, 혼란에 강한(robust to confusion) 시스템을 설계하십시오. 순서 투표 방식은 선택지를 섞어서 자신의 작업을 스스로 검증하는 단순하고 영리한 전략이, 모든 세부 사항을 과도하게 분석하려는 복잡하고 비용이 많이 드는 시스템보다 훨씬 더 효과적임을 입증했습니다.

결국, 이 논문은 AI의 세계에서 전략의 질이 탐색의 양보다 중요하다는 점을 시사합니다. 단서가 어떻게 제시되든 흔들리지 않는 영리하고 단순한 규칙이야말로 복잡한 의료 퍼즐을 푸는 진정한 열쇠입니다.