Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA

당신이 초지능 로봇에게 의사가 되는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 두 가지 주요 감각을 가지고 있습니다. 바로 의료 사진(인체 내부를 찍은 사진 같은 것)을 "보는" 능력과 텍-스트(의사의 진료 기록이나 환자의 질문 같은 것)를 "읽는" 능력입니다. 이 분야를 **멀티모달 AI(Multimodal AI)**라고 부르는데, "멀티모달"이란 단순히 한 가지 종류 이상의 감각을 동시에 사용하는 것을 의미합니다. 목표는 시스템이 단순히 정답을 맞히는 것을 넘어, 사진과 텍스트를 함께 사용하여 왜 그렇게 생각하는지를 설명할 수 있게 만드는 것입니다. 이것은 마치 탐정이 범죄 현장 사진을 보고 목격자 진술을 읽으며 미스터리를 해결하는 것과 같습니다. 만약 탐정이 정답은 맞혔지만 가짜 이유를 지어낸다면, 그것은 위험한 일입니다. 의료 분야에서 이유를 틀리게 설명하는 것은 잘못된 결정으로 이어질 수 있으므로, 로봇은 그저 영리한 것이 아니라 신뢰할 수 있어야 합니다.

이 논문은 MediaEval Medico 2025라고 불리는 최근의 "경연 대회"를 심도 있게 다룹니다. 여러 팀이 이 '로봇 의사'를 구축하여 소화 기관(내시경) 이미지를 보고 질문에 답하는 특정 미스터리를 해결하도록 했습니다. 연구자들은 단순히 누가 우승했는지만 본 것이 아니라, 마치 탐정처럼 아홉 개의 서로 다른 팀이 이 로봇들을 어떻게 만들었는지 분석하여 무엇이 실제로 작동하고 무엇이 작동하지 않는지를 조사했습니다. 그들은 로봇들이 정답을 맞히는 데는 매우 능숙했지만, 왜 그런 결론을 내렸는지에 대한 설명에는 자주 어려움을 겪는다는 것을 발견했습니다. 이 연구는 신뢰할 수 있는 로봇을 만드는 비결이 단순히 더 크게 만들거나 더 똑똑하게 만드는 것이 아니라, 결론에 도달하게 된 구체적인 이미지 부분을 가리키도록 가르치고, 확신이 없을 때는 모른다고 인정하도록 가르치는 데 있다는 점을 시사합니다.

큰 그림: 로봇 의사의 딜레마

의료 AI의 세계에서는 멀티모달 AI를 사용하는 추세가 늘어나고 있습니다. 이것은 컴퓨터에게 눈과 뇌를 모두 주는 것과 같습니다. 컴퓨터는 환자의 내부 사진(시각 데이터)을 볼 수 있고, 그에 대한 질문(텍스트 데이터)을 읽을 수 있습니다. 과제는 컴퓨터가 단순히 정답 단어를 맞히는 것이 아니라, 사진과 질문 사이의 연결 고리를 실제로 이해하도록 만드는 것입니다.

이 논문은 **위장 내시경(GI endoscopy)**이라는 특정 의료 영상에 초점을 맞춥니다. 위나 장 내부를 보기 위해 유연한 튜브에 달린 작은 카메라를 사용하는 것을 상상해 보세요. 이러한 이미지는 까다로울 수 있습니다. 흐릿할 수도 있고, 빛의 반사가 이상할 수도 있으며, 도구에 의해 가려질 수도 있습니다. MediaEval Medico 2025 챌린지의 목표는 AI가 이러한 이미지에 대해 질문(예: "용종이 있습니까?")에 답하고 그 근거를 설명할 수 있는지 확인하는 것이었습니다.

연구자들은 이 챌리에 참여한 아홉 팀을 살펴보았습니다. 그들은 알고 싶었습니다. 높은 점수를 받은 팀들이 실제로 가장 신뢰할 수 있는 로봇을 만든 것일까요? 아니면 그저 테스트 질문 운이 좋았던 것일까요?

연구 결과: 속도인가, 진실인가

연구자들은 이 팀들이 로봇을 어떻게 만들었는지에 대해 몇 가지 흥eli로운 사실을 발견했습니다.

1. "작은 변화" 전략
대부분의 우승 팀은 로봇을 처음부터 새로 만들지 않았습니다. 대신, 거대한 사전 학습된 로봇 뇌("사전 학습된 백본")를 가져와서 작고 효율적인 수정 과정을 거쳤습니다. 이를 **매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)**이라고 합니다. 이것은 매우 똑똑하고 범용적인 학생을 데려다가, 4년 동안 학교에 다시 보내 모든 것을 배우게 하는 대신, 특정 시험을 위한 몇 장의 특화된 암기 카드를 주는 것과 같습니다. 이 방법은 효과적이었고 실행 비용도 저렴했지만, 논문은 이 방법이 정답을 맞히는 데는 효과적일지 몰라도 로봇이 명확하게 생각하고 있다는 것을 의미하지는 않는다고 지적합니다.

2. "정답, 그러나 틀린 이유" 문제
여기 큰 함정이 있습니다. 로봇들은 정답을 맞히는 데는 능숙했지만(예: "네, 용종이 있습니다"), 왜 그런지에 대한 설명에는 서툴렀습니다.

• 비유: 시험을 치르는 학생을 상상해 보세요. 학생은 "프랑스의 수도는 파리입니다"라는 정답을 씁니다. 하지만 설명을 요구받자, "바게트 사진을 봤기 때문입니다"라고 말합니다. 답은 맞았지만, 그 이유는 터무니없습니다.
• 연구자들은 많은 시스템이 유창함(말이 매끄러움)은 갖추었으나 **충실함(Faithfulness, 실제로 자신이 결정한 방식에 대해 진실을 말함)**은 부족하다는 것을 발견했습니다. 연구자들이 설명을 검토했을 때, 로봇들이 자신의 답변을 증명하는 실제 이미지 부분을 가리키는 데 자주 실패한다는 것을 보았습니다.

3. "어려운 질문"의 덫
챌린지에는 다양한 난이도의 질문이 있었습니다.

• 레벨 1: "용종이 있습니까?"와 같은 단순한 질문
• 레벨 2: "용종이 있습니까, 그리고 그것은 붉은색입니까?"와 같은 2단계 질문
• 레벨 3: "용종이 있습니까, 그것은 붉은색입니까, 그리고 몇 개가 있습니까?"와 같은 3단계 질문
  연구자들은 로봇의 실력이 질문이 어려워짐에 따라 직선적으로 향상되지 않는다는 것을 발견했습니다. 때때로 로봇들은 가장 어려운 질문(레벨 3)에는 놀라울 정도로 잘 대응했지만, 중간 단계의 질문(레벨 2)에서는 비틀거렸습니다. 이는 로봇이 논리를 진정으로 이해하기보다는 패턴을 암기하고 있을 가능성을 시사합니다.

4. "데이터 누출" 위험
논문에서 가장 중요한 경고 중 하나는 **데이터 누출(Data Leakage)**에 관한 것입니다. 이는 로봇이 학습하는 동안 테스트 질문을 미리 보게 될 때 발생합니다. 연구자들은 일부 팀이 테스트 이미지와 매우 유사한 이미지로 모델을 학습시켰을 가능성이 있다고 발견했습니다. 이것은 마치 수학 시험을 보기 위해 정답지를 미리 훔쳐보는 학생과 같습니다. 논문은 일부 높은 점수가 로봇이 이전에 유사한 사진들을 이미 보았기 때문에 부풀려졌을 수 있다고 지적합니다. 따라서 미래의 테스트에서는 로봇이 단순히 암기하는 것이 아니라 실제로 학습하고 있는지 확인하기 위해 "학습"용 이미지와 "테스트"용 이미지를 엄격하게 분리해야 한다고 권고합니다.

무엇이 신뢰할 수 있는 로봇을 만드는가?

그렇다면 논문은 무엇이 로봇 의사를 신뢰할 수 있게 만든다고 결론지었을까요?

• 증거 제시: 최고의 로봇은 자신의 답변을 명시적으로 "접지(Grounding)"할 수 있는 로봇이었습니다. 즉, 단순히 "네"라고 말하는 것이 아니라, "네, 여기에 붉은 돌기가 보이기 때문입니다"라고 말하며 이미지의 해당 부분을 가리킬 수 있어야 합니다. 논문은 로봇에게 (큰 질문을 하기 전에 작은 질문들을 순차적으로 답하게 하는 것처럼) 추론 과정을 구조화하도록 강제하는 것이 더 정직하게 만드는 데 도움이 된다고 제안합니다.
• 확신도 체크: 좋은 로봇은 자신이 확신이 없을 때를 알아야 합니다. 논문은 많은 시스템이 자신의 답변에 대해 얼마나 확신하는지를 보고하지 않았다고 언급합니다. 의료 분야에서는 확신을 가지고 틀린 답을 내놓는 것보다 "잘 모르겠습니다, 인간의 확인이 필요합니다"라고 말하는 것이 훨씬 낫습니다.
• 점수를 넘어서: 논문은 우리가 단순히 리더보드 점수(비디오 게임의 최고 점수 같은 것)만 봐서는 안 된다고 주장합니다. 우리는 로봇의 설명이 진실한지 확인해야 합니다. 그들은 로봇의 추론이 정답지와 단어가 일치하는지뿐만 아니라, 실제 이미지와 일치하는지를 확인하기 위해 "판사"(다른 AI 또는 인간)를 사용할 것을 제안합니다.

요약

이 논문은 의료 분야의 AI 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 현재 우리가 어디에 와 있는지를 보여주는 지도를 제공합니다. 저자들은 우리가 로봇이 질문에 올바르게 답하게 만드는 데는 큰 진전을 이루었지만, 의사들이 신뢰할 수 있는 방식으로 생각을 설명하게 만드는 데는 아직 갈 길이 멀다는 점을 시사합니다.

저자들은 향후 다음과 같이 할 것을 권고합니다:

1. 답변이 아닌 추론을 확인하라: 로봇이 맞았는지만 보지 말고, 그 이야기가 말이 되는지 확인하십시오.
2. 데이터를 깨끗하게 유지하라: 로봇이 테스트 정답을 훔쳐보지 못하게 하십시오.
3. 증거를 요구하라: 로봇에게 자신이 보고 있는 이미지의 부분을 보여줄 것을 요구하십시오.
4. 불확실성에 대해 정직하라: 로봇은 혼란스러울 때 "모르겠습니다"라고 말할 수 있어야 합니다.

요컨대, 이 논문은 단순히 가장 높은 점수를 쫓는 것을 멈추고, 안전하고 정직하며 이해하기 쉬운 로봇을 만들기 시작하자는 촉구입니다. 이것은 "똑똑함"에서 "신뢰할 수 있음"으로 나아가는 것에 관한 이야기입니다.