ChainMPQ: Interleaved Text-Image Reasoning Chains for Mitigating Relation Hallucinations

ChainMPQ 는 훈련 없이 텍스트와 시각적 기억을 활용한 교차 체인 추론을 통해 대규모 비전 - 언어 모델의 관계 할루시네이션을 효과적으로 완화하는 방법론을 제안합니다.

핵심

체인 MPQ: 그림 속 관계를 제대로 이해하는 '단계별 추리' 비법

이 논문은 최신 AI(대형 시각-언어 모델) 가 가진 치명적인 약점인 **'관계 착각 (Relation Hallucination)'**을 해결하는 새로운 방법을 소개합니다.

AI 가 그림을 볼 때 물체는 잘 알아도, 그 물체들 사이의 관계를 엉뚱하게 말해버리는 경우가 많습니다. 예를 들어, "서핑을 타는 사람"을 보고 "서핑 보드에 서 있는 사람"이라고 잘못 말하죠. 이 논문은 이를 해결하기 위해 **체인 MPQ(ChainMPQ)**라는 방법을 제안합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: AI 의 '성급한 추측' 버릇

일반적인 AI 는 그림을 볼 때 마치 무언가를 보자마자 바로 결론을 내리는 성급한 사람과 같습니다.

• 상황: 그림에 서핑 보드 위에 탄 남자가 있습니다.
• AI 의 실수: "남자가 서핑 보드에 서 있네!"라고 말합니다. (실제는 타고 있는 건데요)
• 원인: AI 는 물체 (남자, 보드) 는 잘 보지만, 두 물체가 어떻게 연결되어 있는지 (타고 있는 것 vs 서 있는 것) 를 한 번에 파악하려다 실수합니다. 언어적 편견 ("보드 위에 있으면 서 있는 게 당연하지?"라는 생각) 에 휩쓸려 시각적 증거를 무시하는 거죠.

2. 해결책: 체인 MPQ (ChainMPQ)

이 논문이 제안한 방법은 AI 에게 **"서두르지 말고, 단계별로 하나씩 확인해 보라"**고 가르치는 것입니다. 마치 수사관이 사건을 해결할 때처럼요.

비유: "수사관과 증인"

이 방법은 AI 를 한 번에 모든 걸 다 안다고 믿는 초능력자가 아니라, 차근차근 증거를 수집하는 현명한 수사관으로 바꿉니다.

1 단계: 핵심 인물 찾기 (시각적 기억 강화)

• 질문이 "남자가 보드 위에 서 있는가?"라면, AI 는 먼저 **'남자'**와 **'보드'**라는 두 핵심 인물을 그림 속에서 선명하게 찾아냅니다.
• 마치 수사관이 사건 현장의 핵심 인물에게聚光灯 (조명) 를 비추는 것처럼, AI 는 해당 부분의 시각적 정보를 더 선명하게 만듭니다.

2 단계: 다각도의 질문 (다양한 관점의 질문 생성)

• AI 는 원래 질문을 그대로 던지지 않고, 관계를 이루는 3 가지 요소 (주체, 대상, 관계) 를 나누어 5 가지 다른 질문을 스스로 만들어냅니다.
  • Q1: "남자는 어디에 있나요?" (위치 확인)
  • Q2: "보드는 어디에 있나요?" (위치 확인)
  • Q3: "남자는 무엇을 하고 있나요?" (행동 확인)
  • Q4: "무엇이 남자를 하고 있나요?" (피동 확인)
  • Q5: "남자와 보드의 관계는 무엇인가요?" (최종 결론)
• 이는 마치 수사관이 "누가?", "어디서?", "무엇을?", "어떻게?"를 따로따로 확인하며 오해의 소지를 없애는 과정과 같습니다.

3 단계: 기억을 이어가는 추리 (교차된 텍스트 - 이미지 추론 체인)

• 이것이 이 방법의 핵심입니다. AI 가 Q1 에 답할 때 얻은 텍스트 답변과 **시각적 기억 (어디를 봤는지)**을 Q2, Q3 로 이어갑니다.
• 비유: 마치 연쇄적인 대화를 하는 것처럼요.
  • "남자는 바다에 있네 (Q1 답)" -> "그럼 보드도 바다에 있겠지 (Q2)" -> "남자가 보드 위에 타고 있네 (Q3)" -> "아, 서 있는 게 아니라 타고 있는 거구나!"
• 이전 단계에서 얻은 정확한 정보가 다음 단계의 추리를 돕고, AI 가 엉뚱한 길로 빠지지 않도록 나침반 역할을 합니다.

3. 왜 이 방법이 좋은가요?

• 훈련이 필요 없음: AI 를 처음부터 다시 가르칠 필요 없이, 기존 AI 가 가진 능력을 잘 활용하는 '지능적인 질문법'만 추가하면 됩니다.
• 정확도 향상: 여러 실험 결과, 기존 AI 들이 관계 착각을 많이 하던 부분에서 정확도가 크게 향상되었습니다.
• 유연성: 다양한 종류의 AI 모델에 모두 적용할 수 있습니다.

4. 요약: 한 줄로 정리하면?

"AI 가 그림을 볼 때, 한 번에 결론을 내리지 말고 '누가, 어디에, 어떻게'를 단계별로 확인하며 이전의 기억을 바탕으로 추론하게 하면, 엉뚱한 착각을 크게 줄일 수 있다."

이 기술은 AI 가 그림을 볼 때 인간의 논리적 사고 과정을 모방하게 만들어, 더 신뢰할 수 있는 답변을 하도록 돕는 혁신적인 방법입니다.

기술 요약

ChainMPQ: 관계 할루시네이션 감소를 위한 인터리브드 텍스트 - 이미지 추론 체인

1. 문제 정의 (Problem Definition)

• 배경: 대규모 비전 - 언어 모델 (LVLMs) 은 이미지 캡셔닝, 시각적 질문 답변 (VQA) 등 다양한 멀티모달 작업에서 뛰어난 성능을 보이지만, 여전히 '할루시네이션 (Hallucination)' 현상에 시달리고 있습니다.
• 핵심 문제: 할루시네이션은 크게 객체 (Object), 속성 (Attribute), 관계 (Relation) 로 분류됩니다. 기존 연구는 객체와 속성 할루시네이션을 줄이는 데 집중했으나, **관계 할루시네이션 (Relation Hallucination)**은 전체 할루시네이션의 약 40% 를 차지하면서도 상대적으로 간과되어 왔습니다.
• 관계 할루시네이션의 특징: 모델은 이미지 내의 객체 (주어, 목적어) 를 정확하게 인식하더라도, 이들 간의 관계 (예: '타고 있다' vs '서 있다', '왼쪽' vs '오른쪽') 를 잘못 추론하는 현상입니다.
• 기존 방법의 한계: 기존 방법들은 대부분 단일 단계 추론 (Single-step inference) 에 의존하여 언어적 선입견 (Language priors) 에 기반해 관계를 판단하려 하므로, 체계적인 시각 분석이 부족하여 오류가 발생하기 쉽습니다.

2. 제안 방법: ChainMPQ (Methodology)

ChainMPQ 는 학습이 필요 없는 (Training-free) 프레임워크로, 축적된 텍스트 및 시각적 기억을 활용하여 관계 추론을 점진적으로 수행합니다. 이 방법은 크게 세 가지 핵심 모듈로 구성됩니다.

가. 텍스트 기반 주의력 강화 (Text-guided Attention Enhancement)

• 입력 질문에서 주어 (Subject) 와 목적어 (Object) 의 키워드를 추출합니다.
• 추출된 키워드를 사용하여 교차 주의력 (Cross-attention) 메커니즘을 적용합니다.
• 이미지 특징을 Query 로, 키워드 텍스트를 Key 및 Value 로 사용하여 해당 객체가 위치한 이미지 영역의 시각적 토큰 (Visual tokens) 을 강화합니다. 이는 이후 추론 단계에서 관련 영역에 집중할 수 있는 기초를 마련합니다.

나. 다각도 인식 텍스트 프롬프트 구성 (Construction of Multi-Perspective Aware Text Prompt)

• 원래의 관계 질문을 5 개의 보완적인 하위 질문으로 분해합니다. 이는 관계의 3 가지 핵심 요소 (주어, 목적어, 관계) 를 각각 집중적으로 분석하기 위함입니다.
  1. 위치 확인: 주어의 위치를 묻는 질문 (Q1)
  2. 위치 확인: 목적어의 위치를 묻는 질문 (Q2)
  3. 마스크 전략:
     • 목적어를 마스킹하여 주어가 무엇을 하고 있는지 묻는 질문 (Q3)
     • 주어를 마스킹하여 목적어가 무엇의 영향을 받는지 묻는 질문 (Q4)
     • 관계를 마스킹하여 두 객체 간의 일반적인 관계를 묻는 질문 (Q5)
• 이 분해 전략은 모델이 최종 판단을 내리기 전에 개별 요소를 체계적으로 분석하도록 유도하여 언어적 선입견을 줄입니다.

다. 인터리브드 텍스트 - 이미지 추론 체인 (Interleaved Text-image Reasoning Chain)

• 생성된 5 개의 질문을 순차적으로 모델에 입력합니다.
• 메모리 전달: 이전 단계의 답변 (텍스트 컨텍스트) 과 해당 단계에서 주의력 분포 (Attention weights) 를 기반으로 선택된 상위 K 개의 시각적 토큰 (Visual memory) 을 다음 단계의 추론에 전달합니다.
• 어텐션 편향 (Attention Bias): 이전 단계에서 추출된 시각적 토큰의 마스크를 생성하여, 후속 질문의 어텐션 맵에 편향 (Bias) 을 추가합니다. 이를 통해 모델은 이전 단계에서 확인된 객체 위치와 상호작용 정보를 유지하며 점진적으로 관계를 추론합니다.
• 최종적으로 원래 질문에 대한 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 주어 - 목적어 - 관계 분해 기법: 관계를 구성하는 세 가지 핵심 요소를 분리하여 다각도의 질문을 생성함으로써, 모델이 관계의 각 요소에 집중하도록 유도합니다.
2. 인터리브드 체인 메커니즘: 이전 단계의 답변과 어텐션 맵을 텍스트 및 시각적 기억으로 활용하여 후속 추론을 정제하는 새로운 메커니즘을 설계했습니다. 이는 점진적인 관계 추론을 가능하게 합니다.
3. 범용성 및 검증: LLaVA-1.5, InstructBLIP, Qwen2.5-VL, InternVL3.5 등 다양한 아키텍처의 LVLM 에 적용하여 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: MMRel 및 R-Bench(관계 추론에 특화된 벤치마크) 에서 평가 수행.
• 성능 향상:
  • LLaVA-1.5: MMRel 에서 정확도 59.02% → 65.20% 향상 (기존 최선 대비 1.7% 상승).
  • InstructBLIP: 57.58% → 65.14% 향상.
  • 고성능 모델 (Qwen2.5-VL, InternVL3.5): 이미 높은 베이스 성능을 가진 모델에서도 추가적인 정확도 및 정밀도 (Precision) 향상을 기록했습니다. 특히 R-Bench 에서 정밀도가 크게 개선되어 위양성 (False Positive) 관계 예측이 줄어든 것을 확인했습니다.
• 효율성 분석 (Light Chain): 전체 체인 (Full ChainMPQ) 은 정확도가 가장 높지만, Q1, Q2, Q5 만을 사용하는 'Light1' 버전은 정확도와 지연 시간 (Latency) 사이의 최적의 균형을 보여줍니다.
• Ablation Study:
  • 텍스트 기반 주의력 강화 제거 시 정확도 하락 (1.14%).
  • 다각도 질문 구성 제거 시 정확도 크게 하락 (3.68%).
  • 인터리브드 체인 제거 시 정확도 하락 (3.08%).
  • 세 가지 모듈 모두 관계 할루시네이션 감소에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 체계적 추론의 도입: 관계 할루시네이션 문제를 해결하기 위해 인간의 추론 과정 (객체 위치 파악 → 상호작용 분석 → 결론 도출) 을 모방한 다단계 추론 체인을 도입했습니다.
• 학습 불필요 (Training-free): 모델의 가중치를 수정하거나 추가 학습을 하지 않고도, 프롬프트 엔지니어링과 어텐션 메커니즘 조절만으로 성능을 획기적으로 개선할 수 있음을 보였습니다.
• 시각적 근거 강화: 텍스트 컨텍스트와 시각적 기억을 결합하여 모델이 이미지 기반의 사실에 더 충실한 (Grounded) 답변을 생성하도록 유도합니다.
• 향후 과제: 시각적 토큰의 공간적 세분화 (Spatial granularity) 문제와 인과 관계 기반의 귀속 메커니즘 (Causality-based attribution) 을 통한 더 정교한 추론을 위한 연구가 필요함을 제시했습니다.

이 논문은 LVLM 의 관계 할루시네이션 문제를 해결하기 위한 새로운 패러다임을 제시하며, 멀티모달 추론의 신뢰성을 높이는 데 중요한 기여를 하고 있습니다.