Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

다음은 "Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation" (줄여서 GIFT) 논문에 대한 설명을 쉬운 언어와 창의적인 비유를 사용하여 설명한 글입니다.

문제점: "공상에 빠진" AI

당신에게 이야기를 아주 잘하는 매우 똑똑하고 박학다식한 조수가 있다고 상상해 보세요. 당신이 그에게 매트 위에 앉아 있는 고양이 사진을 보여주며 "고양이가 무엇을 하고 있나요?"라고 묻습니다.

이 조수는 고양이에 관한 수백만 권의 책을 읽었기 때문에, 사진에는 없는 쥐를 보고도 자신 있게 "고양이가 빨간 쥐를 쫓고 있습니다!"라고 말할 수 있습니다. 이들은 **환각(Hallucination)**을 일으키는 것입니다. 즉, 실제로 무엇이 있는지(시각적 입력)를 면밀히 살피기보다, 무엇이 그곳에 있을 것이라고 생각하는 것(사전 지식)에 너무 의존하고 있는 것입니다.

기존의 방법들은 AI에게 "사진을 더 열심히 봐!"라고 말하며 이를 해결하려 합니다. 하지만 이 논문은 이러한 방법들에 두 가지 결함이 있다고 주장합니다.

1. 엉뚱한 곳을 봅니다: 때때로 AI는 고양이 대신 배경 소음(예: 흐릿한 벽)에 주의를 빼앗깁니다. 이를 **"시각적 주의력 싱크(Visual Attention Sink)"**라고 합니다. 이는 마치 학생이 수학 문제 대신 교과서에 묻은 얼룩을 멍하니 쳐다보고 있는 것과 같습니다.
2. 질문을 잊어버립니다: 단순히 AI에게 "사진을 봐!"라고만 말하고 정작 무엇을 찾아봐야 하는지 상기시켜 주지 않으면, AI는 혼란에 빠질 수 있습니다. AI는 이미지를 보는 것과 당신의 구체적인 질문을 이해하는 것 사이의 균형을 잡아야 합니다.

해결책: GIFT ("시선 이동" 추적기)

저자들은 GIFT(Gaze Shift-Guided Cross-modal Fusion Enhancement)라는 새로운 방법을 제안합니다.

GIFT를 이해하기 위해, 범죄 현장 사진을 보면서 목격자의 진술을 읽고 있는 형사를 상상해 보세요.

• 기존 방식 (정적인 시선): 형사는 사진 전체를 스냅샷으로 찍어 주의력을 평균화합니다. 사진 중앙에 있다는 이유만으로 구석에 있는 무작위 의자에 주의를 빼앗길 수도 있습니다.
• GIFT 방식 (시선 이동): 형사는 목격자의 진술을 단어 하나하나 읽어 내려갑니다.
  • **"빨간색"**이라는 단어를 들을 때, 형사의 눈은 빨간 소화전으로 *점프(이동)*합니다.
  • **"개"**라는 단어를 들을 때, 형사의 눈은 개를 향해 점프합니다.
  • "그"나 "그리고"처럼 중요하지 않은 단어를 들을 때는 눈이 거의 움직이지 않습니다.

GIFT는 AI를 위해 정확히 이 작업을 수행합니다. AI가 사용자의 질문을 읽을 때 AI의 "눈(주의력)"이 어떻게 움직이는지 관찰합니다. AI의 시선이 일정하거나 목적 없이 떠돌 때의 부분은 무시합니다. 오직 질문 속의 특정 단어가 트리거가 되어 이미지의 새로운 부분으로 AI의 시선을 **긍정적으로 이동(Shift)**시킬 때의 순간에만 주목합니다.

작동 원리 (3단계)

1. "시선 이동" 매핑 (사전 계산)
AI가 답변을 생성하기 전에, GIFT는 빠른 시뮬레이션을 실행합니다. *"사용자의 질문에서 '오토바이'라는 단어를 읽을 때, AI의 눈은 이미지의 어디로 점프하는가?"*라고 묻습니다.
이를 통해 **살리언시 맵(Saliency Map, 돌출도 지도)**을 만듭니다.

• 마법 같은 점: 변화(이동)만을 추적하기 때문에, 자연스럽게 "시각적 주의력 싱크"(배경 소음)를 무시합니다. 질문을 읽을 때 AI의 눈이 특정 지점으로 움직이지 않았다면, 그 지점은 맵에 표시되지 않습니다. 이는 라디오의 잡음을 걸러내고 음악을 선명하게 듣는 것과 같습니다.

2. 답변 유도 (디코딩)
이제 AI가 답변을 생성하기 시작합니다. GIFT는 이 히트맵을 사용하여 과정을 안내합니다.

• 시각 정보 강화: 히트맵이 "오토바이가 중요하다"라고 말하면, GIFT는 오토바이 부분에 대한 AI의 주의력 볼륨을 높입니다.
• 질문 강화: 결정적으로, GIFT는 질문 자체에 대한 볼륨도 높입니다. 이는 AI가 이미지에 너무 집착하여 당신이 무엇을 물었는지 잊어버리지 않도록 보장합니다. 이를 통해 대화의 균형을 유지합니다.

3. 결과
이제 AI는 관련 있는 단서를 완벽하게 집중해서 찾으면서 동시에 질문을 정확히 기억하는 형사와 같습니다. 따라서 사진에 없는 "빨간 쥐"를 지어낼 가능성이 훨씬 낮아집니다.

결과: 더 빠르고 더 똑똑하게

이 논문은 LLaVA, Qwen과 같은 여러 AI 모델을 테스트했으며 다음과 같은 결과를 얻었습니다.

• 환각 감소: AI가 가짜 물체를 만들어내는 일이 줄어들었습니다. 일부 테스트에서는 정확도가 20% 이상 향상되었습니다.
• 지능 유지: 추론 능력이나 일반적인 질문에 답하는 능력을 잃지 않았습니다. 단순한 "이미지 인식기"로 전락한 것이 아니라, 더 정직한 모델이 된 것입니다.
• 빠른 속도: AI를 크게 느리게 만들지 않았습니다. 다른 방법들이 10배 더 느려질 수 있는 것에 비해, 답변 생성 시간을 약 13% 정도만 추가했을 뿐이며 이는 매우 효율적입니다.

요약 비유

AI를 박물관의 가이드라고 생각해 보세요.

• 문제점: 가이드는 역사를 너무 많이 알고 있어서, 당신이 어떤 그림에 대해 물으면 당신이 의도했을 법한 다른 그림에 대한 사실을 늘어놓거나, 그림 틀에 없는 디테일을 지어내기도 합니다.
• 기존의 해결책: "그림을 보세요!" (하지만 가이드는 계속 바닥이나 천장을 보고 있습니다).
• GIFT의 해결책: 가이드는 특수 안경을 쓰고 있습니다. 당신이 "파란색 꽃병"이라고 말하면, 안경은 즉시 시야에서 파란 꽃병을 강조하고 나머지 방의 밝기는 낮춥니다. 동시에 안경은 가이드에게 "손님이 빨간 꽃병이 아니라 파란 꽃병에 대해 물었다는 것을 잊지 마세요"라고 상기시켜 줍니다.

당신의 단어를 들을 때 가이드의 주의력이 정확히 어디로 이동하는지를 추적함으로써, GIFT는 가이드가 지어내지 않고도 바로 눈앞에 있는 것을 정확하게 설명하도록 보장합니다.