Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time

기술적 요약: 추론 시 관련성 전파를 통한 멀티모달 LLM 환각 완화

문제 제기
멀티모달 대규모 언어 모델 (MLLM) 은 이미지 및 오디오와 같은 지각 입력과 언어를 통합하는 데 상당한 능력을 입증해 왔습니다. 그러나 중요한 한계가 존재합니다: 이러한 모델은 자주 환각을 겪으며, 제공된 지각 증거와 일치하지 않거나 이를 지지하지 않는 출력을 생성합니다. 저자들은 이 현상이 추론 중 모달리티 활용의 내재적 불균형에서 비롯된다고 주장합니다. 구체적으로, 텍스트 토큰이 생성 과정을 지배하는 반면 시각 또는 청각 토큰은 충분한 주의를 받지 못합니다. 결과적으로 모델은 종종 grounded 한 지각 증거보다는 강력한 텍스트 언어 사전 지식에 의존하여 존재하지 않는 객체나 사건의 그럴듯하지만 사실적으로 잘못된 설명을 생성합니다.

방법론: 추론 시 모달리티 향상 학습 (LIME)
기저 모델 파라미터를 수정하거나 추가 학습 데이터를 요구하지 않고 이 불균형을 해결하기 위해, 저자들은 추론 시 작동하는 학습이 없는 프레임워크인 LIME을 제안합니다. 이 방법은 **계층별 관련성 전파 (LRP)**를 사용한 해석 가능성 분석에 기반합니다.

1. LRP 분석: 저자들은 LRP 를 활용하여 모델 예측을 개별 입력 토큰의 가산적 기여도로 분해합니다. 그들의 분석은 지각 입력에 결정적으로 의존하는 작업에서도 텍스트 토큰이 모달리티 토큰보다 훨씬 높은 관련성 점수를 할당받는 체계적 편향을 드러냅니다.
2. 추론 시 최적화: LIME 은 디코딩 과정에서 모델의 키 - 값 (KV) 표현에 직접 개입합니다. 가중치를 미세 조정하는 대신, 각 디코딩 단계에서 키 및 값 텐서에 대한 가산적 업데이트 ($\Delta K, \Delta V$) 를 반복적으로 최적화합니다.
3. 목적 함수: 최적화는 원래 모델의 언어적 사전 지식을 유지하면서 모델의 주의를 모달리티 토큰으로 전환하는 것을 목표로 합니다. 이는 복합 손실 함수를 최소화함으로써 달성됩니다:
   • 관련성 목적 ($\mathcal{L}_{rel}$): 노이즈 대비 추정 (NCE) 및 대비 학습에서 영감을 받은 이 항은 모달리티 토큰을 긍정적 증거로, 텍스트 토큰을 경쟁 대안으로 간주합니다. 이는 모든 토큰의 총 관련성 대비 모달리티 토큰에 할당된 관련성을 최대화합니다.
   • KL-발산 정규화자 ($\mathcal{L}_{KL}$): 이 항은 업데이트된 분포가 원래 모델의 분포와 가깝게 유지되도록 제약하여, 모델이 사전 학습된 행동에서 너무 멀리 벗어나지 않도록 하고 디코딩 안정성을 보장합니다.
4. 실행: 업데이트는 각 디코딩 단계에서 소수의 단계에 대해 (Adam 을 사용한) 경사 기반 최적화를 통해 계산된 후 폐기되므로, 개입은 국소적으로 유지되고 시간에 따라 누적되지 않습니다.

주요 기여
이 논문은 세 가지 주요 기여를 제시합니다:

1. 해석 가능성 분석: MLLM 의 환각이 추론 중 모달리티별 토큰의 과소 활용과 직접적으로 연관됨을 보여주는 LRP 기반 분석.
2. LIME 프레임워크: KV 표현 조정을 통해 텍스트 입력에 비해 모달리티 토큰의 기여도를 명시적으로 증가시킴으로써 환각을 완화하는 새로운, 학습이 없는, 관련성 기반 추론 시 프레임워크.
3. 실증적 검증: LLaVA, Qwen-VL, SALMONN, Qwen2-Audio 를 포함한 여러 최첨단 멀티모달 모델과 비전 및 오디오 도메인의 벤치마크 전반에 걸쳐 방법의 효과성과 일반성을 입증.

결과
저자들은 LIME 을 여러 벤치마크에서 평가하여 grounding 의 일관된 개선과 환각 감소를 보고했습니다:

• 비전 벤치마크: POPE 벤치마크 (MSCOCO 및 A-OKVQA) 에서 LIME 은 학습이 없는 베이스라인 (예: OPERA, VCD, ICD, MemVR, V-ITI) 중 평균 정확도 및 F1 점수가 가장 높았으며, 특히 적대적 분할에서 견고함을 보였습니다. CHAIR 벤치마크에서 LIME 은 환각된 객체 언급 비율을 지속적으로 감소시켰습니다 (낮은 CHAIRS 및 CHAIRI 점수) 동시에 경쟁력 있는 재현율을 유지했습니다.
• 오디오 벤치마크: Audio Hallucination QA 및 AIR-Bench에서 LIME 은 음성, 소리, 음악 도메인 전반에 걸쳐 정확도 및 F1 점수를 향상시켜 Audio-Aware Decoding (AAD) 베이스라인을 능가했습니다.
• 관련성 분석: 정량적 분석은 LIME 이 모달리티 의존성(지각 토큰에 귀속된 관련성의 비율) 을 증가시키고 공간/시간적 grounding(ground-truth 객체 영역에 대한 관련성의 집중) 을 개선함을 확인했습니다. 정성적 시각화는 LIME 하에서 관련성 히트맵이 더 국소화되고 입력 증거와 의미론적으로 정렬됨을 보여줍니다.
• 계산 오버헤드: 이 방법은 단계별 최적화로 인해 추가적인 지연 시간 (약 9~10 배의 속도 저하) 과 modest 한 메모리 오버헤드를 도입하므로, 실시간 저지연 애플리케이션보다는 오프라인 또는 고정밀 설정에 적합합니다.

의의 및 주장
이 논문은 추론 시 모달리티 활용을 직접 제어하는 것이 MLLM 의 신뢰성을 향상시키는 효과적인 전략이라고 주장합니다. LRP 신호를 활용하여 텍스트 및 지각 토큰의 영향을 재균형함으로써 LIME 은 재학습 또는 미세 조정의 계산 비용을 요구하지 않는 환각에 대한 일반화 가능한 해결책을 제공합니다. 저자들은 환각이 단순히 불충분한 학습 데이터의 결과만이 아니라 디코딩 중 최적화되지 않은 내부 추론 및 정보 통합에서 비롯되며, 이는 추론 시 개입을 통해 교정될 수 있다고 결론지었습니다. 이 방법은 원래 모델의 생성적 품질을 유지하면서 멀티모달 grounding 을 개선하기 위한 실용적인 접근법으로 제시됩니다.