당신이 까다로운 수수께끼를 풀려고 노력 중이라고 상상해 보세요. 그런데 단서가 적힌 쪽지와 신비로운 그림에 나누어져 있습니다. 때로는 쪽지가 모든 것을 말해주기도 하고, 때로는 그림이 비밀을 쥐고 있으며 쪽지는 그저 방해 요소일 뿐입니다. 이것이 바로 '멀티모달(multimodal)' AI—텍스트를 읽고 이미지를 볼 수 있는 컴퓨터—의 일상입니다. 오랫동안 이 컴퓨터들은 글은 잘 읽었지만, 도표 속에 숨겨진 수학적 의미를 '보는' 데에는 서툴렀습니다. 복잡한 그래프가 포함된 물리 문제를 마주하면, 텍스트에는 언급되지 않은 결정적인 숫자나 모양을 놓치며 혼란에 빠지곤 했습니다.

이를 해결하기 위해 과학자들은 두 가지 주요 기술을 시도해 왔습니다. 첫 번째는 '오케스트레이션(orchestration)'으로, 이는 단 한 명의 전문가 대신 전문가 팀을 고용하는 것과 같습니다. 세 명의 서로 다른 똑똑한 컴퓨터에게 문제를 풀게 한 뒤, 서로의 답에 대해 논쟁하게 하고 최종 승자를 선택하는 방식입니다. 두 번째 기술은 '번역(translation)'입니다. 컴퓨터는 이미지보다 단어를 읽는 데 더 능숙한 경우가 많기 때문에, 이미지를 컴퓨터가 쉽게 읽을 수 있는 매우 명확한 설명으로 변환하는 것입니다. 이 논문은 이 질문을 던집니다. 만약 우리가 논쟁하는 컴퓨터 팀과 초정밀 번역기를 결합한다면, 마침내 시각적 물리 문제의 암호를 풀 수 있을까요? 그리고 더 중요한 것은, 팀의 어느 부분이 실제로 핵심적인 역할을 수행하느냐는 것입니다.

2단계 탐정단

이 논문의 저자들인 KAIST와 summary.ai의 팀은 'SeePhys Pro'라는 고난도 경진대회에 참가했습니다. 목표는 대학 수준의 물리 문제를 해결하는 것이었는데, 문제 설명과 도표가 때로는 텍ert만 있고, 때로는 이미지만 있으며, 때로는 두 가지가 복잡하게 섞여 있는 상황이었습니다. 승리하기 위해 그들은 '탐정단'이라 부를 수 있는 두 단계의 파이프라인을 구축했습니다. 이 탐정단은 **번역가(The Translator)**와 **토론 클럽(The Debate Club)**이라는 두 가지 뚜렷한 직무를 가집니다.

1단계: 번역가 (격차 해소)
첫 번째 직무는 컴퓨터가 실제로 문제를 '볼' 수 있게 만드는 것입니다. 과거에는 물리 문제가 이미지로만 되어 있으면 컴퓨터는 그저 그것을 쳐다보며 추측할 뿐이었습니다. 이 팀은 컴퓨터가 이미지를 자신이 사랑하는 언어인 '텍스트'로 번형해야 한다는 점을 깨달았습니다. 하지만 그냥 일반적인 텍스트가 아닙니다! 그들은 단순히 "여기에 공이 있다"와 같은 모호한 문장을 쓰지 않았습니다.

대신, 그들은 이미지를 다음 세 가지 요소로 변환하는 정교한 번역기를 구축했습니다:

1. 깔끔한 이야기: 상황을 설명하는 산문 형태의 묘사.
2. 구조화된 지도 (SVG): 컴퓨터가 모양을 틀리지 않도록 정확한 기하학적 구조, 각도, 연결 관계를 보존하는 디지털 드로잉 코드.
3. 선명하게 만들기: 가장 어려운 문제들(텍스트와 그림이 하나의 이미지에 뭉쳐져 있는 경우)을 위해, 그들은 이미지를 완벽하게 자르는 '크로퍼(cropper)'를 사용하여 도표를 선명하게 만들고, OCR(광학 문자 인식)을 사용하여 도면에 적힌 아주 작은 숫자까지 읽어냈습니다.

이 단계는 단순히 단어를 번역하는 것을 넘어, 여행자가 길을 잃지 않도록 지도를 다시 그려주는 인간 번역가와 같습니다. 연구 결과, 이 '번역' 과정은 가장 어려운 문제들을 해결하는 마법의 열쇠였습니다. 문제가 완전히 이미지 안에 '잠겨' 있었던 경우(레벨 4), 단순히 원본 이미지를 읽었을 때의 정확도는 54%에 불과했습니다. 하지만 이미지를 명확한 텍스트 설명과 구조화된 지도로 번역하자, 정확도는 77.5%로 급등했습니다. 문제가 이미지 속에 더 많이 '잠겨' 있을수록, 이 번역의 가치는 더욱 커졌습니다.

2단계: 토론 클럽 (오케스트레이션)
문제가 명확한 텍스트로 번역되면, '토론 클럽'으로 전달됩니다. 여기서 서로 다른 회사에서 온 세 명의 서로 다른 실수 패턴을 가진 초지능 AI 모델들이 독립적으로 문제를 해결합니다.

• 솔버 1 (Solver 1): GPT-5.5
• 솔버 2 (Solver 2): Gemini-3.1-Pro
• 솔버 3 (Solver 3): Claude-Opus-4.8

이전의 많은 시도에서는 이 모델들이 서로 논쟁하며 논리를 수정하여 진리에 도달할 것이라고 생각했습니다. 저자들은 이를 테스트했지만, 놀라운 반전을 발견했습니다. 논쟁 자체가 주인공이 아니었던 것입니다.

대신, 진짜 승리는 세 개의 답변을 듣고 단어 자체가 아닌 '값(value)'을 기준으로 최선의 답을 골라내는 똑똑한 '심판(Canonicalizer)'으로부터 왔습니다. 예를 들어, 두 모델은 "4미터"라고 하고 하나는 "4.00m"라고 했다면, 심판은 이들이 동일하다는 것을 알고 다수결을 따랐습니다. 만약 의견이 갈린다면, 심판은 무작정 계속 논쟁하게 두는 대신, 그 추론이 신뢰할 수 있는지 확인했습니다. 만약 어떤 모델이 자신 있게 틀린 답을 내놓는다면, 심판은 다른 모델들이 혼란을 겪지 않도록 그 잘못된 추론을 '마스킹(masking, 가리기)' 처리했습니다.

논문은 '초고가'의 결정권자가 필요하다는 아이디어를 명시적으로 배제했습니다. 세 모델이 의견이 갈릴 때 결정을 내리기 위해 거대한 프리미엄 모델을 사용해 보았지만, 점수는 개선되지 않았습니다. 그저 비용만 더 들 뿐이었습니다. 단순하고 가치를 인식하는 심판이 그 역할을 충분히, 혹은 더 잘 수행했습니다.

주요 발견 사항

팀의 분석은 접근 방식을 바꾼 두 가지 주요 교훈을 밝혀냈습니다.

1. 시각적 문제에서는 번역이 왕이다: '번역가' 단계의 가치는 문제가 이미지 속에 얼마나 숨겨져 있는지에 따라 전적으로 달라졌습니다.

   • 문제가 텍스트로만 구성된 경우(레벨 1), 번역기는 아무 역할도 하지 않았으며 정확도는 이미 높았습니다.
   • 문제가 혼합된 경우(레벨 2-3), 번역기는 약간의 도움을 주었습니다.
   • 문제가 오직 이미지만으로 된 경우(레벨 4), 번역기는 성공과 실패를 가르는 결정적 차이였습니다. 논문은 '모달리티 격차(modality gap, 텍스트와 이미지 사이의 차이)'가 커질수록 번역의 가치가 엄청나게 커진다는 것을 보여주었습니다.

2. 토론보다는 선택이 낫다: 추론 측면에서, 팀은 개선이 모델 간의 논쟁에서 오는 것이 아니라 신뢰할 수 있는 선택에서 온다는 것을 발견했습니다. 두 모델이 동의했을 때, 그들은 83%의 확률로 정답을 맞혔습니다. 시스템은 합의를 신뢰하고, 의견이 갈리는 소수의 경우에만 추가 시간을 할애할 때 가장 잘 작동했습니다. '토론' 라운드는 새로운 정답을 만들어내는 것이 아니라, 틀린 답을 걸러내는 역할을 했습니다.

결과: 승리의 기록

정교한 번역기와 스마트하고 가치를 인식하는 선택 시스템을 결합함으로써, 팀은 경쟁을 압도했습니다.

• 단일 AI 모델을 사용했을 때의 베이스라인은 0.643(약 64% 정답)이었습니다.
• 이들의 2단계 시스템은 공개 테스트에서 이를 0.802(약 80% 정답)로 끌어올렸습니다.
• 최종적인 비밀 '프라이빗(private)' 리더보드에서 그들은 0.743을 기록하며 1위를 차지했습니다.

흥로스럽게도, 깨끗한 도표가 아닌 실제 사물의 사진이 포함된 가장 어려운 단계(레벨 5)에서는 팀이 토론 클럽을 제거했습니다. 그들은 세 모델의 팀이 지저도한 사진 때문에 혼란을 겪고 엉뚱한 것에 대해 논쟁한다는 것을 발견했습니다. 다시 하나의 집중된 솔버로 전환하자, 해당 레벨에서의 점수가 0.933으로 향상되었습니다.

이것이 왜 중요한가

이 논문은 AI의 세계에서 '더 큰 것이 항상 더 좋은 것은 아니다'라는 교훈을 줍니다. 문제를 해결하기 위해 반드시 수십억 달러짜리 '슈퍼 브레인'이 필요한 것은 아닙니다. 핵심은 컴퓨터가 이해할 수 있는 언어(텍스트와 구조화된 지도)로 이미지를 번역하고, 올바른 답을 고르기 위해 단순하고 저렴하며 신뢰할 수 있는 방법을 사용하는 것이었습니다.

저자들은 시각적 문제를 해결하는 미래가 단순히 모델을 더 똑똑하게 만드는 것이 아니라, 세상을 AI가 실제로 추론할 수 있는 형식으로 번역하는 더 나은 '파이프라인'을 구축하고, 그 후 올바른 답을 고르는 데 집중하는 것이라고 제안합니다. 그들은 단순히 대회에서 이긴 것이 아니라, 때로는 정답을 보는 가장 좋은 방법이 그림을 보는 것을 멈추고 지도를 읽기 시작하는 것임을 보여주었습니다.