v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

당신이 아주 복잡하고 거대한 그림 속에 숨겨진 조각들을 찾아내어 까다로운 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 인공지능의 세계에는 그림을 보면서 동시에 텍el를 읽을 수 있는 특별한 '멀티모달(multimodal)' 두뇌들이 있습니다. 보통 이러한 AI 모델들은 도표가 포함된 수학 문제를 풀 때, 이미지를 한 번 슥 훑어보고 전반적인 분위기만 기억한 채 나머지 문제는 텍스트만을 이용해 해결하려고 합니다. 이는 마치 지도를 5초 동안 보고 나서, 다시는 지도를 보지 않은 채 새로운 도시로 운전해서 가려고 하는 것과 같습니다. 문제는 운전 지침이 길어지고 복dd로워질수록, AI는 회전 지점이나 랜드마크가 어떻게 생겼는지 정확히 잊어버리기 시작한다는 점입니다. 즉, AI는 '그라운딩(grounding, 근거 설정)'을 놓치게 되며, 이는 시각적 증거로부터 멀어져 정답에서 벗어나게 됨을 의미합니다.

이 논문은 이러한 AI 두의 사고 방식에 대한 새로운 방법인 v1을 소개합니다. 단순히 한 번 보고 추측하는 대신, v1은 모델이 기억해야 할 이미지의 특정 부분을 능동적으로 가리키고, 그 정보를 복사하여, 막힐 때마다 자신의 사고 과정에 다시 붙여넣도록 가르칩니다. 이것은 마치 긴 수학 문제를 푸는 똑똑한 학생이 문제를 푸는 도중 손가락으로 도표를 톡톡 치며, "잠깐, 이 각도를 다시 한번 확인해 보자"라고 말한 뒤, 그 구체적인 시각적 세부 사항을 자신의 노트로 다시 가져오는 것과 같습니다. 연구진은 이 간단한 "포인트 앤 카피(point-and-copy, 가리키고 복사하기)" 기술이 AI가 이미지의 올바른 부분에 집중하도록 도와주며, 어려운 시각적 수학 테스트에서 훨씬 더 나은 답을 내놓게 한다는 것을 발견했습니다.

문제점: "한 번의 눈길"의 함정

이미지를 보고 글을 읽을 수 있는 대부분의 현재 AI 모델들은, 도표를 아주 잠깐 공부한 뒤 눈을 감으라는 지시를 받은 학생들과 같습니다. 이들은 이미지를 한 번 메모리에 인코딩한 다음, 텍스트만을 사용하여 추론을 시도합니다. 연구진은 이 접근 방식의 결함을 발견했습니다. 추론이 길어지고 복잡해질수록 모델은 집중력을 잃기 시작한다는 것입니다. 마치 학생의 눈이 흐릿해지는 것처럼, 그들은 그림의 중요한 세부 사항에 주의를 기울이지 않게 됩니다. 논문은 AI가 문제를 풀기 위해 단계별 과정을 써 내려갈수록 실제 이미지에 대한 주의력이 희미해지며, 더 이상 필요한 증거를 '보고 있지' 않게 되어 실수를 저지르기 시작한다는 것을 보여줍니다.

해결책: 포인트 앤 카피 (Point-and-Copy)

이를 해결하기 위해 팀은 이러한 AI 모델을 위한 경량 업그레이드 버전인 v1을 만들었습니다. v1을 AI에게 마법의 포인터와 복사기를 주는 것이라고 생각해보세요. AI가 문제를 생각하다가 이미지의 특정 부분(예: 삼각형의 각도나 그래프의 막대)을 확인해야 한다고 판단할 때, 단순히 추측하지 않습니다. 대신, "포인팅(pointing)" 메커니즘을 사용하여 이미지의 정확한 패치를 선택합니다.

포인팅을 하면, AI는 그 지점의 시각적 정보를 "복사"하여 자신의 사고 흐름에 직접 "붙여넣기" 합니다. 이는 AI가 수학을 하는 동안 이미지를 필요할 때마다 여러 번 다시 방문하여, 계산을 마칠 때까지 시각적 맥락을 신선하게 유지할 수 있음을 의미합니다. 결정적으로, 이것은 새로운 이미지를 생성하거나 새로운 그림을 그리는 것이 아니라, 원래의 이미지 데이터를 외과 수술과 같은 정밀함으로 다시 접근하는 것에 관한 것입니다. 모델은 "빨간색 막대를 다시 봐야 해"라고 말하며, 그곳을 가리키고, 데이터를 복사한 다음, 그 신선한 시각적 맥락과 함께 추론을 계속하는 법을 배웁니다.

AI를 가르치는 방법

AI에게 단순히 "더 열심히 봐"라고 말할 수는 없습니다. AI에게는 그것을 수행하는 방법을 가르쳐야 합니다. 연구진은 추론 단계가 이미지의 특정 부분과 명시적으로 연결된 300,000개의 예시를 포함하는 v1g라는 거대한 데이터셋을 구축했습니다. 그들은 다음과 같은 영리하고 자동화된 프로세스를 통해 이 데이터를 생성했습니다:

1. 다른 AI 모델들의 기존 추론 경로를 가져왔습니다.
2. 강력한 언어 모델을 사용하여 그 경로들을 분해하고, AI가 이미지를 어디를 보았어야 했는지 식별했습니다.
3. "이 각도를 언급할 때는 반드시 이 특정 영역을 보아야 한다"라고 적힌 디지털 포스트잇과 같은 "그라운딩(grounding)" 주석을 추가했습니다.

이 데이터셋은 v1 모델에게 막히거나 단계를 검증해야 할 때, 손을 뻗어 올바른 곳을 가리키고 정보를 복사해야 한다는 것을 가르쳤습니다.

결과: 더 똑똑하고 집중력 있는 추론

팀은 MathVista, MathVision, MathVerse를 포함한 여러 도전적인 수학 벤치마크에서 v1을 테스트했습니다. 이 테스트들은 세심한 시각적 검사가 필요한 도표, 차트, 기하학적 도형들로 가득 차 있습니다.

결과는 인상적이었습니다. v1은 상대적으로 작은 모델(70억 개의 파라미터)임에도 불구하고, 더 큰 모델들과 다른 특화된 추론 모델들을 능가했습니다.

• MathVision 벤치마크에서, 포인팅 기능이 없는 기본 모델은 23.6점을 기록했습니다.
• 포인팅 기능이 학습 중에는 사용되었지만 테스트 중에는 사용되지 않았을 때, 점수는 25.3점으로 약간 상승했습니다.
• 하지만 모델이 테스트 중에 포인트 앤 카피 기능을 사용할 수 있게 되었을 때, 점수는 34.5점으로 급등했습니다.

이는 이미지를 능동적으로 다시 방문하는 능력이 성공의 핵심 동력임을 보여줍니다. 모델은 단순히 수학을 더 잘하게 된 것이 아니라, 수학을 하는 동안 더 잘 보는 법을 배운 것입니다. 한 예로, 다른 모델들이 차트에서 가장 높은 막대를 잘못 식별했을 때, v1은 특정 막대를 정확히 가리키고, 데이터를 복사하여, 올바른 백분율을 계산해 냈습니다. 육각형이 포함된 경로 찾기 퍼즐 작업에서도, v1은 경로를 검증하기 위해 올바른 모양들을 성공적으로 가리킨 반면, 다른 모델들은 길을 잃었습니다.

이것이 의미하는 바

이 논문은 멀티모달 추론의 미래가 단순히 모델을 더 크게 만들거나 텍스트 생성 능력을 키우는 것에만 있는 것이 아니라고 제안합니다. 그것은 모델이 필요할 때 시각적 정보에 동적으로 접근할 수 있는 능력을 부여하는 것에 관한 것입니다. 모델이 "포인트 앤 카피"를 할 수 있도록 함으로써, 연구진은 시각적 증거가 추론 단계와 일치하도록 유지하여 모델이 진실로부터 멀어지는 것을 방지하는 방법을 찾아냈습니다.

연구진은 이것이 모든 문제를 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 때때로 모델은 여전히 잘못된 영역을 가리키거나, 너무 자주 가리키거나, 깔끔하게 상자에 담기지 않는 매우 추상적인 개념에 어려움을 겪을 수 있습니다. 그러나 핵심적인 발견은 명확합니다: 능동적인 시각적 참조는 도움이 된다는 것입니다. 이는 AI를 지도를 한 번 쓱 보고서 운 좋게 지나가길 바라는 학생에서, 매 턴이 정확한지 지도를 끊임없이 확인하는 항해사로 변화시킵니다.