Objective-Aligned Direct Answer SFT for Robust Multi-Frame Medical VQA

당신이 초고성능 로봇에게 의료 보고서를 읽고 X-ray를 보며 질문에 답하는 법을 가르치려 한다고 상상해 보세요. 이 분야는 "의료 시각적 질의응답(medical visual question answering)"이라고 불립니다. 보통 과학자들이 이런 로봇을 만들 때, 뇌가 더 복잡할수록 더 낫다고 생각합니다. 그들은 어떤 이미지를 먼저 볼지 결정하는 '컨트롤러'나, 정답을 재검토하는 '리랭커(reranker)', 혹은 로봇이 까다롭고 틀린 예시들로 연습하게 만드는 특수한 훈련 같은 추가적인 기어들을 더합니다. 이것은 마치 식료품점에 가기 위해 터보차저, 니트로 부스트, 그리고 바퀴를 돌릴 때마다 경로를 재탐색하는 GPS를 달린 자동차를 만드는 것과 같습니다.

하지만 여기서 큰 질문이 생깁니다. 그 모든 추가적인 장치들이 실제로 도움이 될까요, 아니면 로봇을 혼란스럽고 불안정하게 만들 뿐일까요? 이 논문은 "MedFrameQA"라는 특정 테스트를 사용하여 이 미스터리를 파헤칩니다. 이 테스트는 로봇이 일련의 의료 이미지 시퀀스를 보고 목록에서 정답을 고르는 최종 시험과 같습니다. 연구진은 복잡한 방식으로 로봇을 훈련시키는 것이, 단순히 로봇에게 사진을 보고 직접 답을 내도록 가르치는 것보다 정말 더 나은지 확인하고 싶었습니다. 왜냐하면 의료 분야에서는 단순히 운 좋게 한 번 맞히는 로봇이 아니라, 설정을 어떻게 조정하더라도 매번 신뢰할 수 있는 로봇을 원하기 때문입니다.

위대한 로봇 경주: 단순함 vs 복잡함

연구진은 어떤 훈련 방법이 진정한 챔피언인지 알아보기 위해 경주를 설정했습니다. 그들은 다양한 "로봇 뇌 가족"들을 모아 경쟁시켰습니다. 한쪽에는 "복잡한 팀(Complex Crew)"이 있었습니다. 이 로봇들은 생각을 관리하기 위한 화려한 컨트롤러를 사용하거나, 어려운 부정 예시(무엇을 하지 말아야 하는지 배우는 것)로 연습하거나, 단계적으로 사고를 이어가려고 노력했습니다. 반대편에는 "직접적인 가족(Direct Family)"이 있었습니다. 이 로딩들은 매우 단순한 규칙으로 훈련되었습니다. 이미지를 보고, 질문을 읽고, 그냥 답을 내는 것입니다. 추가적인 단계도, 자기 의심도, 복잡한 컨트롤러도 없었습니다.

연구진은 MedGemma-1.5-4B라는 특정 로봇 뇌를 사용하여 이 경주를 진행했습니다. 연구진은 동일한 테스트 질문을 사용하고, 동일한 양의 컴퓨터 연산 능력을 할당하며, 결과가 일관적인지 확인하기 위해 서로 다른 무작위 시드(카드를 매번 다르게 섞는 것과 같은 방식)로 경주를 여러 번 실행함으로써 경주를 공정하게 만들었습니다.

놀라운 승자

결과는 다소 충격적이었습니다. 화려한 기어와 컨트롤러를 가진 복잡한 로봇들이 승리하지 못했습니다. 사실, 가장 단순한 로봇, 즉 직접적인 답을 주는 데 집중한 로봇이 가장 강력하고 신뢰할 수 있는 것으로 나타났습니다.

"직접적인 가족" 로봇(특히 그들이 text35라고 부른 모델)이 테스트를 치렀을 때, **51.52%**의 정답률을 기록했습니다. 이것이 완벽한 점수는 아닐지 모르지만, 아무것도 새로 배우지 못한 동결된 베이스라인(frozen baseline) 로봇이 **45.21%**를 기록한 것에 비하면 6.31포인트라는 엄청난 도약이었습니다.

여기서 핵심은, 복잡한 로봇들이 이 단순한 로봇을 이기지 못했다는 점입니다.

• "답변 지속(Answer Continuation)" 로봇(단계별로 생각하려고 노력한 로봇)은 **51.48%**를 기록했는데, 이는 거의 비슷하지만 약간 덜 일관적이었습니다.
• "하드 네거티브(Hard-Negative)" 로봇(까다로운 오답으로 연습한 로봇)은 **51.31%**와 50.21% 같은 점수를 얻었지만, 훨씬 더 불안정했습니다. 테스트를 다시 실행하면 그들의 점수는 요동쳤습니다.
• "스태틱 믹스(Static Mix)" 로봇(맞는 예시와 틀린 예시를 동시에 배우려 했던 로봇)은 겨우 **46.29%**를 얻으며 거의 개선되지 않았고, 테스트를 섞을 때마다 거의 7포인트씩 점수가 휘청거렸습니다.

논문은 단순한 로봇이 승리한 이유가 "목표 정렬(objective-aligned)" 상태를 유지하기 때문이라고 주장합니다. 농구 선수를 생각해 보세요. 복잡한 로봇들은 슛을 쏘기 전에 신발 끈을 조절하고, 바람을 체크하고, 코치와 대화하는 데 시간의 절반을 쓰는 선수들과 같습니다. 단순한 로봇은 그냥 슛을 쏩니다. 테스트는 오직 공이 골대에 들어갔는지(최종 답변)만을 신경 쓰기 때문에, 추가적인 단계에 시간을 쓰는 대신 슛 자체에 더 많은 시간을 쏟는 선수가 실제로 더 많은 점수를 얻고, 주의가 산만해져서 놓칠 확률도 적은 것입니다.

복잡한 로봇들이 실패한 이유

연구진은 화려한 방법들이 "노이즈(noise)"를 유입시킨다는 것을 발견했습니다. 그것들은 로봇의 성능을 흔들리게 만들었습니다. 예를 들어, "하드 네거티브" 로봇들은 특정 유형의 질문에는 아주 잘 수행하기도 했지만, 너무 불안정해서 전체 테스트 동안 신뢰할 수 없었습니다. 이것은 첫 100미터는 누구보다 빠르게 달릴 수 있지만, 1마일을 달리려고 할 때마다 자기 신발 끈에 걸려 넘어지는 러너와 같습니다.

이 논문은 컨트롤러나 리랭커가 최선의 결과를 얻기 위해 필요하다는 생각을 명시적으로 배제합니다. 연구진은 이러한 추가 레이어를 더하는 것이 최종 점수를 높이는 데 충분한 이득을 주지 못하며, 오히려 복잡성을 높이고 로봇을 혼란스럽게 만들 위험이 있다는 것을 보여주었습니다. "직접적인 가족"은 연구진이 훈련 시간을 조정하거나 약간의 시각적 도움을 추가하더라도 여전히 강력함을 유지했으며, 이는 그 방법 자체가 운이 좋았던 것이 아니라 견고(robust)하다는 것을 증명했습니다.

자신감 수정하기

연구진은 마지막으로 한 가지를 더 했습니다. 그들은 단순한 로봇이 답을 잘 내기는 하지만, 항상 자신의 답에 확신을 갖지는 못한다는 점을 발견했습니다. 때때로 로봇은 틀렸을 때 매우 자신만만했습니다. 이를 해결하기 위해 그들은 "사후 교정(post-hoc calibration)" 기술을 사용했습니다. 이것은 로봇에게 테스트 후에 간단한 수학 수업을 하여 "나는 확신한다"라고 말하는 방식을 조정하는 것과 같습니다.

그들은 단순한 '온도 스케일링(temperature scaling)' 기법을 사용함으로써, 실제 점수인 **52.25%**를 바꾸지 않고도 로봇의 "기대 교정 오차(Expected Calibration Error, 얼마나 혼란스러운지를 나타내는 척도)"를 엉망이었던 **32.93%**에서 아주 작은 **1.07%**로 낮출 수 있다는 것을 발견했습니다. 이는 로봇이 자신이 무엇을 알고 있는지에 대해 훨씬 더 정직해졌음을 의미하며, 이는 의료 분야에서 매우 중요합니다.

시사점

이 논문의 주요 교훈은, 이 특정 의료 테스트를 위해서는 수천 개의 기어가 달린 복잡한 기계를 만들 필요가 없다는 것입니다. 단지 로봇에게 사진을 보고 직접 답을 하도록 가르치기만 하면 됩니다. "Direct Decoder-Only Answer SFT"(직접적으로 답하도록 가르치는 것의 멋진 표현)가 그들이 찾아낸 가장 강력하고 신뢰할 수 있는 방법입니다.

저자들은 더 복잡한 구조를 쫓는 대신, 이러한 단순하고 견고한 방법에 집중해야 한다고 제안합니다. 만약 당신이 현실 세계에서 잘 작동하는 로봇을 원한다면, 단순한 직접 접근법으로 시작하고, 사후에 자신감을 수정하며, 추가적인 기계 장치가 최종 점수를 높이는 데 실제로 도움이 된다는 것을 증명할 수 있을 때만 추가적인 장치를 더하십시오. 의료 AI의 세계에서는 때때로 가장 단순한 길이 결승선까지 가는 가장 곧은 길입니다.