Direct Visual Grounding by Directing Attention of Visual Tokens

컴퓨터가 사진을 보고 마치 우리가 휴대폰으로 사진에 대해 대화하는 것처럼 그 사진에 대해 이야기할 수 있는 세상을 상상해 보세요. 이것이 바로 **시각-언어 모델(Vision-Language Models, VLMs)**의 영역입니다. 이는 컴퓨터가 보는 것과 인간이 말하는 것 사이의 간극을 메우려는 인공지능의 한 분야입니다. 이 모델들을 이미지를 받아들여 이를 '시각적 토큰(visual tokens)'이라는 작은 디지털 퍼즐 조각으로 분해한 뒤, 단어들과 섞어서 "고양이 색깔이 뭐야?" 또는 "사과가 몇 개 있어?"와 같은 질문에 답하는 아주 똑똑한 번역기라고 생각하면 됩니다.

오랫동안 과학자들은 이 모델들이 이 작업에 매우 능숙해지고 있다고 생각했습니다. 하지만 한 가지 끈질긴 미스터리가 있었습니다. 때때로 정답이 맞았음에도 불구하고, 컴퓨터가 사진을 완전히 무시하는 것처럼 보인다는 것이었습니다. 이는 마치 시험을 치는 학생이 질문을 읽고 도표를 힐끗 본 뒤, 바로 눈앞에 있는 구체적인 선과 모양은 완전히 잊어버린 채 교과서에서 기억한 내용만으로 답을 적는 것과 같았습니다. 연구자들의 핵심 질문은 이것이었습니다. 왜 컴퓨터의 "두뇌"는 최종 답변을 내놓을 때 시각적 단서에 주의를 기울이는 것을 멈추는가? 이 논문은 바로 이 문제를 깊이 파고들어, 우리가 AI 모델에게 말을 할 때 이미지의 올바른 부분을 실제로 '바라보도록' 가르칠 수 있는지 알아보고자 합니다.

---

문제점: 기계 속의 "유령"

시각-언어 모델을 만나보세요. 여러분은 이를 수백만 권의 책을 읽고 수백만 장의 사진을 본 매우 수다스러운 로봇이라고 생각할 수 있습니다. 여러분이 이미지에 대해 질문을 던지면, 모델은 이미지를 작은 사각형 격자(시각적 토큰)로 나누고 여러분이 입력한 단어들과 혼합합니다.

여기 이상한 점이 있습니다. 논문에 따르면, 모델이 생각을 마치는 마지막 순간, 즉 답변을 타이핑하기 직전에 모델은 종종 사진을 보는 것을 멈춥니다. 이는 마치 요리사가 카운터 위에 모든 재료를 올려두었음에도 불구하고, 음식을 접시에 담아야 할 때 음식을 무시하고 자신이 외운 레시피에 기반해 맛을 추측해 버리는 셰프와 같습니다. 연구자들은 이미지의 가장 중요한 부분(예: 두 선의 교차점이나 특정 물체)에 모델이 주는 "주의(attention)"가 거의 제로에 가깝다는 사실을 발견했습니다. 마치 시각적 단서들이 시스템 안에 존재하지만, 답변을 쓰는 뇌 부분에는 보이지 않는 유령처럼 존재하는 것과 같습니다.

이 논문은 이러한 모델들이 학습되는 표준 방식(이를 "다음 토큰 예측(Next-Token Prediction)"이라 부름)이, 학생이 쓴 최종 에세이만 채점할 뿐 참고 사진을 실제로 제대로 보았는지는 확인하지 않는 선생님과 같다고 주장합니다. 컴퓨터는 다음 단어를 정확하게 맞히는 법은 배우지만, 왜 그것이 정답인지, 혹은 이미지의 어느 부분이 정답을 만드는 데 기여했는지는 배우지 못합니다.

해결책: 주의력을 위한 "레이저 포인터"

이를 해결하기 위해 저자들은 **KL 어텐션 손실(KL Attention Loss, KLAL)**이라는 영리한 새로운 학습 기법을 고안해 냈습니다.

여러분이 강아지에게 공 가져오기를 가르친다고 상상해 보세요. 기존 방식에서는 강아지가 공을 가져왔을 때 단순히 "착하다!"라고 말해주는 식입니다. 그러면 강아지는 그냥 아무 데나 뛰어다니다가 운 좋게 공을 잡았을 수도 있습니다. 하지만 이 논문에서 제안하는 새로운 방식에서는 레이저 포인터를 사용합니다. 강아지가 공을 바라볼 때마다 그곳에 빛을 비추며 "그래! 바로 저기를 봐!"라고 말해주는 것입니다.

컴퓨터 세계에서 이 "레이저 포인터"는 모델이 정답에 중요한 이미지의 특정 픽셀에 집중하도록 강제하는 특별한 수학적 신호입니다.

• 만약 질문이 "이 선들이 몇 번 교차하나요?"라면, 레이저 포인터는 선이 교차하는 정확한 지점을 비춥니다.
• 만약 질문이 "이 노드가 저 노드와 연결되어 있나요?"라면, 레이저 포인터는 두 지점을 잇는 선의 경로를 따라갑니다.

그 후 모델은 엉뚱한 곳을 보고 있다면 (손실 함수를 통해) 벌점을 받게 됩니다. 이는 로봇에게 "단순히 정답을 추측하는 것이 아니라, 사진의 올-바른 지점을 보고 있다는 것을 증명해야 한다"라고 말하는 것과 같습니다.

발견한 점: 추측에서 관찰로

연구진은 이 아이디어를 두 구불구불한 선이 몇 번 교차하는지 세거나, 복잡한 그래프를 통해 두 점이 연결되어 있는지 경로를 추적하는 것과 같이 정밀한 시각적 추론이 필요한 까다로운 작업들에 테스트했습니다. 심지어 컴퓨터가 점들의 미로 속에서 경로를 따라가야 하는 "선 추적(Line Tracing)"이라는 새로운 게임도 만들었습니다.

"레이저 포인터"(KLAL)를 켰을 때 어떤 일이 일어났을까요?

1. 더 나은 답변: 모델의 성능이 눈에 띄게 향상되었습니다. 예를 들어, "선 교차(Line Intersection)" 작업에서 한 모델은 이 새로운 학습법을 추가했을 때 정확도가 약 47%에서 70% 이상으로 높아졌습니다. 물체의 위치를 정확히 말해야 하는 "포인팅(Pointing)" 작업에서는, 무작위 추측에 가까웠던 수준에서 거의 절반 가까이 정답을 맞히는 수준으로 엄청난 도약을 보여주었습니다.
2. 더 나은 집중력: 가장 흥-미로운 부분은 단순히 점수가 높아진 것이 아니라, 모델이 '생각하는 방식'이 변했다는 점입니다. 연구진이 모델의 "어텐션 맵(attention maps, 컴퓨터가 어디를 보고 있는지 보여주는 지도)"을 살펴보았을 때, 극적인 변화를 목격했습니다. 새로운 학습 전에는 모델이 이미지의 무작위한 부분을 보고 있었지만, 학습 후에는 인간이 보는 것처럼 모델의 주의력이 교차점이나 특정 물체에 단단히 고정되었습니다.
3. 더 강력한 기억력: 논문은 이 학습이 단순히 모델이 보는 위치를 바꾸는 것뿐만 아니라, 이미지에 대한 모델의 내부 기억을 더 강력하게 만든다는 것도 발견했습니다. 중요한 이미지 부분의 디지털 "가중치(weights)"가 더 무겁고 뚜렷해졌으며, 이는 모델이 단순히 단어를 배우는 것이 아니라 시각적 데이터를 진정으로 더 잘 "이해"하게 되었음을 의미합니다.

결론

이 논문은 AI 모델이 가끔 단순한 시각적 작업에서 실패하는 이유가 지능이 부족해서가 아니라, 제대로 '보는 법'을 배우지 못했기 때문이라고 시사합니다. 학습 과정에서 직접적인 "레이저 포인터" 신호를 추가함으로써, 저자들은 모델이 단어와 그 단어가 나타내는 픽셀을 직접 연결하도록 강제했습니다.

결과에 따르면, 이 방법은 오픈 소스 모델부터 가장 큰 상용 AI 시스템에 이르기까지 다양한 유형의 모델에서 효과가 있었습니다. 가장 진보된 상용 모델들조차 이 특정 기하학적 작업들에 대해서는 이 방법이 적용되기 전까지 어려움을 겪었습니다. 저자들은 만약 우리가 AI가 세상을 진정으로 이해하기를 원한다면, 단순히 추측하게 두는 것이 아니라, 학생의 눈을 도표의 올바른 부분으로 안내하는 선생님처럼 모델에게 무엇에 주의를 기울여야 하는지 가르쳐야 한다고 결론지었습니다.

요약하자면, 이 논문은 AI에게 말을 하기 전에 증거를 먼저 보라고 강제할 때, AI가 환각(hallucination)을 멈추고 실제로 '보기' 시작한다는 것을 증명합니다.