Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection

이 논문은 기존 모델을 미세 조정하거나 보조 모델 없이도 텍스트-시각 편향과 공발생 편향을 완화하여 멀티모달 대규모 언어 모델의 환각 현상을 줄이고 시각적 근거를 강화하기 위해, 1 차 테일러 그래디언트를 활용한 그라디언트 기반 영향 인식 제약 디코딩 (GACD) 방법을 제안합니다.

핵심

이 논문은 **'멀티모달 거대 언어 모델 (MLLM)'**이라는 똑똑한 AI 가 그림을 볼 때 자주 겪는 '환각 (Hallucination)' 현상을 해결하는 새로운 방법을 소개합니다.

AI 가 그림을 보고 설명할 때, 실제로는 없는 물건을 만들어내거나 (예: 책상 위에 컵이 없는데 "커피 잔"이라고 말함) 그림의 내용과 상관없이 자주 나오는 단어를 무작정 덧붙이는 문제가 있습니다. 이 논문은 이를 해결하기 위해 **'그라디언트 기반 자기 성찰 (Gradient-based Self-Reflection)'**이라는 기술을 제안합니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "눈을 감고 이야기하는 AI"와 "상상력 과잉"

AI 는 그림을 보고 설명할 때 두 가지 큰 실수를 저지릅니다.

• 눈을 감고 이야기하기 (Text-Visual Bias): AI 가 그림을 제대로 보지 않고, 입력받은 질문이나 이전에 말했던 말만 믿고 계속 이야기를 이어갑니다. 마치 눈을 감고 친구의 이야기를 듣고 "아, 그럼 그 친구는 파란 모자를 썼겠지?"라고 추측하는 상황과 같습니다.
• 상상력 과잉 (Co-occurrence Bias): AI 는 훈련 데이터에서 자주 함께 등장하는 것들을 기억합니다. 예를 들어, '의자'가 있으면 '식탁'이 있을 확률이 높다는 통계적 패턴을 너무 맹신합니다. 그래서 실제 그림에 의자만 있는데도, "식탁도 있겠지?"라고 엉뚱한 식탁을 만들어냅니다. 마치 비행기 표를 끊으러 갔는데, 비행기 표를 끊으면 항상 호텔 예약도 같이 해주니까 "호텔도 예약했네?"라고 착각하는 것과 비슷합니다.

2. 해결책: "AI 의 두뇌를 스캔하는 X-ray" (GACD)

이 논문에서 제안한 GACD는 AI 를 재학습시키거나 추가적인 모델을 붙이는 것이 아니라, AI 가 말을 할 때의 '두뇌 활동 (그라디언트)'을 실시간으로 분석하여 바로잡는 방법입니다.

이를 **한 마디로 표현하면 "AI 가 말을 할 때, '이 단어가 그림에서 정말로 근거가 있는가?'를 실시간으로 점검하는 경호원"**이라고 할 수 있습니다.

핵심 메커니즘 1: "누가 말을 주도하고 있나?" (영향력 분석)

AI 가 다음 단어를 고를 때, **그림의 픽셀 (시각 정보)**이 얼마나 영향을 미쳤는지, **이전 텍스트 (말)**가 얼마나 영향을 미쳤는지 수학적 계산으로 정확히 측정합니다.

• 비유: 식당에서 요리사가 요리를 할 때, **신선한 재료 (그림)**를 얼마나 많이 썼는지, **레시피 책 (텍스트)**만 보고 대충 만들어낸 건지 저울로 재는 것과 같습니다. 만약 레시피 책만 보고 대충 만든 걸로 판명되면, "잠깐, 이 재료는 그림에 없잖아?"라고 지적합니다.

핵심 메커니즘 2: "가짜 친구를 쫓아내고, 진짜 친구를 부른다" (제거와 강화)

이 분석 결과를 바탕으로 두 가지 작업을 합니다.

1. 가짜 친구 쫓아내기 (공존 편향 제거):
   • 만약 AI 가 "의자"를 보고 "식탁"을 말하려 한다면, "식탁"이라는 단어를 만들어내는 데 '의자' 이미지가 너무 크게 기여했는지 확인합니다.
   • 비유: 의자만 있는 방에서 "식탁"이 있다고 우기는 AI 에게 "그 식탁은 어디 있어? 그림에 없잖아!"라고 차갑게 말려서 그 단어를 삭제합니다.
2. 진짜 친구 부르기 (시각 - 텍스트 균형 맞추기):
   • AI 가 그림을 무시하고 말만 늘어놓으려 하면, 그림의 중요성을 인위적으로 높여줍니다.
   • 비유: 눈을 감고 이야기하려는 AI 의 귀를 잡고, "이봐, 눈을 떠! 저기 저 개가 누워있잖아!"라고 그림을 다시 보게 만들어 그림의 목소리를 더 크게 들려줍니다.

3. 결과: "더 이상 착각하지 않는 AI"

이 방법을 적용한 결과, AI 는 다음과 같은 변화를 겪었습니다.

• 없는 물건을 덜 말함: 그림에 없는 '맥주'나 '식탁' 같은 것을 만들어내는 실수가 크게 줄었습니다.
• 있는 것을 더 잘 말함: 그림에 있는 모든 세부 사항 (예: 접시, 포크, 병 등) 을 빠뜨리지 않고 정확하게 묘사합니다.
• 학습 없이 즉시 적용: AI 를 다시 가르칠 필요 없이, **말을 하는 순간 (추론 단계)**에 이 '경호원'을 붙이기만 하면 바로 효과가 나타납니다.

요약

이 논문은 AI 가 그림을 볼 때 "상상력"이 아니라 "사실"에 기반하게 만드는 기술입니다.

마치 AI 가 그림을 설명할 때, "내 기억 (텍스트)"과 "내 눈 (그림)" 중 어느 쪽이 더 중요한지 끊임없이 스스로에게 질문하고, 그림이 더 중요할 때는 무조건 그림을 따르도록 훈련시키는 것과 같습니다. 덕분에 AI 는 더 이상 환각에 시달리지 않고, 우리가 실제로 보는 그대로를 정확하게 설명해 줄 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

MLLM 은 다양한 작업에서 뛰어난 성능을 보이지만, 시각적 입력에 근거하지 않은 텍스트를 생성하는 할루시네이션 문제가 여전히 존재합니다. 저자들은 이 문제를 두 가지 근본적인 편향 (Bias) 으로 귀결시킵니다.

1. **텍스트 - 시각 편향 **(Text-Visual Bias) 모델이 생성 과정에서 입력 프롬프트나 이전에 생성된 텍스트에 과도하게 의존하고, 시각적 모달리티를 소홀히 하는 경향입니다. 특히 긴 시퀀스 생성 시 이 현상이 심화되어 시각적 단서를 무시하게 됩니다.
2. **공발생 편향 **(Co-occurrence Bias) 학습 데이터에 내재된 통계적 상관관계 (예: '의자'가 있으면 '식탁'이 있을 확률이 높음) 로 인해, 실제 이미지에는 존재하지 않는 객체를 예측하는 오류입니다. 이는 기존 방법들이 통계적 사전 지식에 의존하거나 개별 객체 특성을 세밀하게 조절하지 못해 해결하기 어렵습니다.

2. 제안 방법론: GACD (Methodology)

GACD 는 **1 차 테일러 급수 **(First-order Taylor expansion)를 기반으로 한 **그래디언트 **(Gradient)를 사용하여 각 토큰 (시각 특징 및 텍스트 토큰) 이 현재 출력에 미치는 기여도를 정량화하고, 이를 바탕으로 편향을 보정합니다.

핵심 구성 요소

1. **그래디언트 기반 토큰 영향력 추정 **(Gradient-Based Token Influence Estimation)

   • 입력 토큰 (시각 토큰 $t_v$, 프롬프트 $t_p$, 이전 출력 $y_{<m}$) 이 출력 로짓 (Logit) 에 미치는 영향을 1 차 테일러 급수로 근사화합니다.
   • 각 토큰의 **맨해튼 노름 **(Manhattan norm, L1 norm)을 계산하여 해당 토큰이 출력에 미치는 '영향력 (Influence)'을 수치화합니다. 이를 통해 샘플별로 편향의 정도를 정밀하게 파악할 수 있습니다.

2. **객체 인식 시각 토큰 그룹화 **(Object-aware Visual Token Grouping)

   • 이전에 생성된 명사 (Noun) 를 기반으로 시각 토큰을 두 그룹으로 나눕니다.
     • **$t_o$ **(Object-related) 현재 언급된 객체와 관련된 시각 토큰.
     • **$t_u$ **(Unrelated) 현재 언급된 객체와 무관한 시각 토큰.
   • 이 그룹화는 공발생 편향을 줄이기 위해 명사 예측 단계에서만 적용됩니다.

3. **앵커별 영향력 가중치 디코딩 **(Anchor-specific Influence-weighted Decoding)

   • 공발생 편향 완화: $t_o$(관련 객체) 의 영향을 억제하고, $t_u$(무관 객체) 의 영향을 증폭시켜, 특정 객체 조합 (예: 의자 - 식탁) 에 의한 잘못된 추론을 방지합니다.
   • 텍스트 - 시각 편향 완화: 텍스트 토큰의 영향력과 시각 토큰의 영향력을 균형을 맞추기 위해, 시각 토큰의 기여도를 강화하는 가중치 $\alpha_m$을 동적으로 계산하여 로짓을 조정합니다.
   • 수식적으로 $z_m$을 $(1+\alpha_m)z^*_m - \alpha_m z^o_m$ 형태로 조정하여, KL 발산을 증가시키고 무관한 시각 토큰의 기여를 강조합니다.

4. **샘플 의존적 조기 종료 **(Sample-dependent Early Stopping)

   • 생성이 길어질수록 시각적 근거가 약해지는 경향을 보완하기 위해, 시각적 영향력 비율 ($r^v_m$) 이 임계값 ($\epsilon$) 이하로 떨어지면 생성을 중단합니다. 이는 불필요한 할루시네이션 생성을 막습니다.

3. 주요 기여 (Key Contributions)

• 원칙적인 편향 추정: 추가 모델이나 데이터 없이 그래디언트 기반 1 차 테일러 급수를 통해 토큰 수준의 편향을 정량적으로 추정하고 해석 가능한 메커니즘을 제공합니다.
• 이중 편향 완화 모듈: (1) 공발생 편향을 줄이기 위한 '시각 토큰 억제 및 무관 토큰 증폭'과 (2) 텍스트 - 시각 편향을 줄이기 위한 '크로스 모달 균형 재조정'을 동시에 수행하는 두 가지 상보적 모듈을 설계했습니다.
• 실용성: 미세 조정 (Finetuning) 이나 추가 데이터 수집 없이 기존 MLLM 의 추론 단계 (Inference time) 에서 바로 적용 가능합니다.

4. 실험 결과 (Results)

다양한 벤치마크 (AMBER, MSCOCO, POPE, LLaVA-QA90 등) 와 모델 (LLaVA, InstructBLIP, mPLUG-Owl2, InternVL2 등) 에서 실험을 수행했습니다.

• 할루시네이션 감소:
  • AMBER: 전체 점수 (Score) 가 최대 8% 향상되었으며, CHAIR 점수 (할루시네이션 지표) 는 크게 감소했습니다.
  • POPE: F1 점수가 8% 향상되었고, 정확도 (Accuracy) 가 크게 개선되었습니다.
  • LLaVA-QA90: 세부 사항 (Detailness) 이 45% 향상되었고, 정확도가 92% 증가했습니다.
• **정보 보존 **(Information Preservation) 할루시네이션을 줄이면서도 객체 회수율 (Recall) 이 기존 방법들보다 훨씬 잘 유지되었습니다 (평균 Recall 감소 1.1% vs 타 방법 3.2%). 이는 불필요한 정보 삭제를 최소화함을 의미합니다.
• 비교 우위: 기존 SOTA 방법 (VCD, M3ID, AVISC 등) 보다 다양한 모델과 데이터셋에서 일관되게 우수한 성능을 보였습니다. 특히 텍스트 - 시각 편향이 심한 모델 (LLaVA-v1.5 등) 에서 개선 효과가 두드러졌습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성과 정밀 제어: 기존 방법들이 휴리스틱한 규칙이나 전체 이미지 수준의 조정에 의존했던 것과 달리, GACD 는 개별 토큰 수준에서 그래디언트를 분석하여 편향을 정밀하게 제어합니다.
• 비용 효율성: 추가적인 학습 데이터나 보조 모델 (Segmentation, Detection 등) 이 필요 없어 계산 비용과 리소스를 절감하면서도 높은 성능을 달성합니다.
• 신뢰성 향상: MLLM 의 출력 신뢰도를 높여 시각적 질문 응답 (VQA), 이미지 캡셔닝, 보조 기술 등 실제 응용 분야에서 모델의 신뢰성을 확보하는 데 기여합니다.

결론적으로, 이 논문은 MLLM 의 할루시네이션 문제를 데이터 의존적 학습이 아닌 **그래디언트 기반의 추론 시 자기 성찰 **(Self-Reflection)을 통해 해결하는 새로운 패러다임을 제시하며, 모델의 시각적 근거 능력을 획기적으로 향상시킵니다.