Hallucination-aware intermediate representation edit in large vision-language models

1. 연구 배경 및 문제 제기 (Problem)

대규모 시각 - 언어 모델 (LVLMs) 은 멀티모달 추론 및 복잡한 장면 이해에서 뛰어난 성능을 보이지만, 할루시네이션 (Hallucination, 환각) 문제가 여전히 심각한 과제입니다. 이는 모델이 생성한 응답이 실제 시각적 사실과 모순되는 현상을 의미합니다.

기존의 할루시네이션 완화 기법들은 주로 두 가지 방식으로 나뉘며, 각각의 한계가 존재합니다:

• 재학습 (Retraining) 방법: 할루시네이션을 타겟으로 한 특수 데이터셋을 구축하고 모델을 미세 조정 (Fine-tuning) 합니다.
  • 한계: 방대한 데이터 수집 비용과 계산 자원이 필요하며, 실제 적용에 비효율적입니다.
• 대조적 디코딩 (Contrastive Decoding, CD) 방법: 원본 응답과 약화된 변형 (할루시네이션에 취약한 변형) 의 출력 확률을 비교하여 할루시네이션을 억제합니다.
  • 한계: 추론 시 매번 두 번의 포워드 패스 (Forward pass) 가 필요하여 지연 시간 (Latency) 이 두 배로 증가합니다. 또한, 모든 토큰을 균일하게 조정하여 불필요한 연산이 발생하거나 출력의 일관성을 해칠 수 있습니다.

또한, 기존 방법들은 창의적 글쓰기 등 할루시네이션이 유용할 수 있는 상황에서 할루시네이션의 정도를 조절 (Control) 할 수 있는 유연성이 부족합니다.

2. 제안 방법: HIRE (Methodology)

저자들은 **HIRE (Hallucination-aware Intermediate Representation Edit)**라는 새로운 프레임워크를 제안합니다. 이는 모델을 재학습시키거나 추론 비용을 두 배로 늘리지 않고, 중간 표현 (Intermediate Representation) 수준에서 동적으로 할루시네이션을 감지하고 편집하는 방식입니다.

HIRE 의 핵심 구성 요소는 다음과 같습니다:

가. 에디터 (Editor): 표현 공간에서의 할루시네이션 방향 학습

• 구조: 이중 인코더 오토인코더 (Dual-encoder Autoencoder, $G_\phi$) 를 사용합니다.
  • 의미 인코더 ($E_{sem}$): 시각적 사실과 무관한 의미 정보를 보존합니다.
  • 할루시네이션 인코더 ($E_{hal}$): 할루시네이션과 관련된 신호만을 분리합니다.
• 학습 전략: 대조 학습 (Contrastive Learning) 을 통해 원본 이미지 (신뢰할 수 있는) 와 시각적으로 왜곡된 이미지 (할루시네이션 유발) 에서 추출된 중간 표현을 학습합니다.
• 작동 원리:
  1. 신뢰할 수 있는 표현과 할루시네이션 표현 간의 차이를 분석하여 **할루시네이션 감소 방향 ($\delta_l$)**을 계산합니다.
  2. 이 방향을 활용하여 특정 토큰에 대한 **편집 방향 ($\Delta_{tl}$)**을 도출합니다.
  3. 최종적으로 원본 특징을 이 편집 방향으로 투영하여 할루시네이션을 억제하면서도 의미는 보존합니다.

나. 라우터 (Router): 효율적인 편집 결정

• 목적: 모든 토큰을 편집하는 것은 불필요한 연산 비용을 초래하므로, 할루시네이션 위험이 높은 토큰만 선택적으로 편집합니다.
• 구조: 경량화된 MLP 모듈로, Transformer 의 첫 번째 레이어 표현 ($h_{t0}$) 을 입력받아 편집 필요 여부 (이진 결정 $c$) 를 출력합니다.
• 학습 전략: 직접 선호 최적화 (Direct Preference Optimization, DPO) 를 사용하여, 할루시네이션을 성공적으로 제거한 편집 전략과 실패한 전략을 구분하여 학습합니다.
• 효과: 불필요한 편집을 줄여 추론 오버헤드를 최소화합니다.

다. 할루시네이션 조절기 (Hallucination Regulator)

• 편집 강도 하이퍼파라미터 ($\alpha$) 를 통해 할루시네이션의 정도를 동적으로 제어할 수 있습니다.
  • $\alpha > 0$: 할루시네이션 억제 (실제 사실에 부합하도록 조정).
  • $\alpha < 0$: 할루시네이션 증폭 (창의적 생성 등 유연한 생성을 위해 의도적으로 할루시네이션을 증가시킴).

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: 모델 가중치 수정 없이 중간 표현을 편집하여 할루시네이션을 제거하는 새로운 접근법을 제시했습니다. 이는 재학습의 비용과 대조적 디코딩의 이중 추론 오버헤드를 모두 해결합니다.
2. HIRE 프레임워크 개발: 동적으로 할루시네이션이 높은 중간 표현을 감지하고 편집하는 모듈 (Editor) 과, 효율성을 위해 편집 대상 토큰을 선택하는 모듈 (Router) 을 통합했습니다.
3. 유연한 제어 능력: 단순한 하이퍼파라미터 조절을 통해 할루시네이션의 정도를 사용자의 요구에 맞게 조절할 수 있는 능력을 입증했습니다.
4. SOTA 성능 달성: CHAIR, POPE, AMBER 등 주요 벤치마크에서 기존 최첨단 방법들보다 우수한 성능을 달성하면서도 낮은 계산 비용을 유지했습니다.

4. 실험 결과 (Results)

저자들은 LLaVA-1.5 와 InstructBLIP 모델을 기반으로 CHAIR, POPE, AMBER 벤치마크에서 실험을 수행했습니다.

• CHAIR 벤치마크 (이미지 캡셔닝):
  • 긴 설명 (Max tokens=512) 에서 문장 수준 (CHAIRS) 할루시네이션을 약 40%, 인스턴스 수준 (CHAIRI) 할루시네이션을 약 50% 감소시켰습니다.
  • 기존 최첨단 방법 (Octopus 등) 대비 더 낮은 할루시네이션율을 기록했습니다.
• POPE 벤치마크 (객체 판별 질문):
  • 정확도 (Accuracy) 와 F1 점수에서 기존 방법들 (ICD, VCD, Octopus 등) 보다 우수한 성능을 보였습니다.
• AMBER 벤치마크:
  • 생성 및 판별 태스크를 모두 아우르는 종합 점수에서 가장 높은 점수를 기록했습니다.
• 효율성:
  • 단일 추론 패스 (Single inference pass) 만으로 작동하며, Router 모듈을 통해 불필요한 편집을 줄여 TFLOPs(계산 비용) 증가를 최소화했습니다.
• 제어 가능성:
  • $\alpha$ 값을 조절하여 할루시네이션을 억제하거나 증폭시킬 수 있음을 시각적으로 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 의 할루시네이션 문제를 해결하기 위해 모델의 내부 표현 (Latent Space) 에 대한 정밀한 편집이 가능함을 보여주었습니다.

• 실용성: 무거운 재학습이나 추론 비용 증가 없이 기존 모델을 즉시 개선할 수 있어 실제 배포 환경에 매우 적합합니다.
• 유연성: 할루시네이션을 완전히 제거하는 것을 넘어, 창의적 작업 등 특정 시나리오에서는 할루시네이션을 의도적으로 조절할 수 있는 능력을 제공하여 모델의 활용 범위를 확장합니다.
• 향후 전망: 이 연구는 할루시네이션을 단순히 '오류'로 보는 것을 넘어, 모델의 내부 상태 (Internal State) 를 제어하여 신뢰성과 유연성을 동시에 확보할 수 있는 새로운 방향을 제시했습니다.

요약하자면, HIRE는 비용 효율적이고 제어 가능한 할루시네이션 완화 솔루션을 제공하여 대규모 시각 - 언어 모델의 신뢰성을 획기적으로 높인 중요한 연구입니다.