기술 요약: TIGER

문제 정의

본 논문은 멀티모달 생성에서 발생하는 충실도 환각(faithfulness hallucination) 문제를 다룹니다. 이는 유창한 출력물이 입력값에 근거하지 않은 특정 사실을 포함하는 현상(예: 트럭 두 대가 있는 이미지를 세 대라고 설명하는 경우)을 의미합니다. 기존의 반복적 수정(iterative repair) 방식들은 입력과 현재 출력 모두에 조건화된 피드백을 생성하여 이러한 오류를 교정하려고 시도하지만, 저자들은 결정적인 실패 모드인 **가짜 상관관계(spurious correlations)**를 식별했습니다. 피드백 생성기가 입력과 환각된 출력을 결합하여 조건화할 때, 환각된 주장이 입력에 대한 모델의 해석을 편향시켜, 피드백이 근거 없는 내용을 지적하는 대신 오히려 이를 옹호하게 만드는 문제가 발생합니다. 또한, 기존 방식들은 자유 형식의 자연어 피드백을 생성하는 경우가 많아 명시적인 사실 수준의 위험 점수(risk score)가 부족하며, 이로 인해 제한된 컴퓨팅 예산 하에서 수정 우선순위를 정하기 어렵습니다.

방법론: TIGER

TIGER(Traceable Inference with Graph-Based Evidence Routing)은 피드백 메커니즘을 재설계하여 환각을 완화하도록 설계된 추론 시점(inference-time) 프레임워크입니다. 이 프레임워크는 동결된 백본(frozen backbone) 모델 위에서 작동하며 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 독립적 원자적 투영 (Independent Atomic Projection):
   입력과 출력을 공동으로 처리하는 대신, TIGER는 이들을 구조화된 사실 그래프로 독립적으로 추출합니다:

   • 관찰 그래프 ($G_X$): 관찰 가능한 사실들을 트리플 형태 $(e_1, rel, e_2)$로 열거하는 프롬프트를 사용하여 입력($X$)으로부터 추출됩니다. 이 그래프는 한 번 계산되면 고정된 상태로 유지됩니다.
   • 주장 그래프 ($G_{Y_t}$): 동일한 원자적 추출 프롬프트를 사용하여 현재 출력($Y_t$)으로부터 추출됩니다.
     이러한 분리는 출력에 포함된 환각된 주장이 입력의 사실 추출에 영향을 미치는 것을 방지합니다.

2. 결정론적 사실 수준 위험 순위 지정 (Deterministic Fact-Level Risk Ranking):
   TIGER는 $G_{Y_t}$ 내의 각 주장 $f$에 대해 $G_X$와의 관계를 바탕으로 위험 점수 $r(f)$를 계산합니다:

   • 지지 점수 ($s(f)$): 주장과 $G_X$ 내의 가장 잘 매칭되는 사실 사이의 유사도를 측정합니다. 추출 누락을 처리하기 위해, 이 점수는 $G_{Y_t}$의 상호 참조(coreference) 엣지를 따라 기하학적 감쇠(geometric decay)와 함께 전파됩니다.
   • 충돌 점수 ($c(f)$): 주제 일관성(topic consistency)과 결론 발산(conclusion divergence)에 의해 정의되는, 주장과 $G_X$ 사이의 가장 강력한 모순을 측정합니다.
   • 위험 계산: $r(f) = (1 - s(f)) + \lambda \cdot c(f)$.
     점수 계산이 결정론적이므로, 시스템은 주장들을 순위 매기고 특정 부분 집합(상위 $\lceil \alpha N \rceil$)을 선택하여 수정할 수 있으며, 이를 통해 사실 수준의 스케줄링이 가능해집니다.

3. 국소적 정교화 (Localized Refinement):
   모델은 선택된 고위험 주장만을 대상으로 하는 반복적 수정을 수행합니다. 정교화 단계($Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$)는 원본 입력 $X$와 현재 출력 $Y_t$를 사용하여 플래그가 지정된 구간을 국소적으로 수정하며, 이때 백본은 동결된 상태를 유지합니다.

이론적 보장:
논문은 완만한 가정(제한된 그래프 크기, 사실당 수정 진전도, 부수 효과의 제한) 하에서 기대 총 위험이 명시적인 점근적 경계로 기하급로 감소함을 보여주는 수렴 분석(정리 3.1)을 제공합니다.

주요 기여

1. 피드백 실패 모드 식별: 저자들은 피드백 생성 시 공동 조건화(joint conditioning)가 환각된 주장이 입력 해석을 편향시켜 오류를 강화할 수 있음을 입증했습니다.
2. TIGER 프레임워크: 자유 형식의 공동 피드백을 독립적 원자적 투영과 결정론적 위험 순위 지정으로 대체하는 새로운 추론 시점 프레임워크를 제안합니다. 이를 통해 피드백을 명시적이고 순위 지정이 가능하며 국소적 수리에 적합하게 만듭니다.
3. 포괄적 평가: TIGER는 네 가지 교차 모달 생성 경로에 대해 평가되었습니다:
   • 이미지 $\to$ 텍스트 (COCO, AMBER)
   • 이미지+텍스트 $\to$ 텍스트 (MMHal-Bench)
   • 오디오 $\to$ 텍스트 (Clotho)
   • 비디오 $\to$ 텍스트 (VideoHallucer)
     이 프레임-워크는 Qwen2.5-Omni를 주요 백본으로 사용하며, LLaVA-1.5 및 독점 모델들에 대해서도 검증을 거쳤습니다.

실험 결과

• 환각 감소: TIGER는 모든 모달리티에서 unsupported claims(CHAIR, AEHR, HallucRate와 같은 지표로 측정됨)를 일관되게 감소시킵니다. 예를 들어, Qwen2.5-Omni를 사용한 COCO 데이터셋에서 CHAIRs는 0.070에서 0.050으로, CHAIRi는 0.69에서 0.035로 감소했습니다.
• 품질 보존: 정확도를 위해 유창성을 희생하는 일부 베이스라인과 달리, TIGER는 작업 품질을 보존하거나 향상시킵 (예: COCO에서 BERTScore가 0.588에서 0.643으로 증가).
• 절제 연구 (Ablation Studies):
  • 독립적 추출 없이 반복적 수정만 수행할 경우, 환각을 증폭시켜 성능이 악화되었습니다.
  • 원자적 투영을 추가하면 성능이 회복되었습니다.
  • 결정론적 위험 순위 지정을 추가했을 때 가장 좋은 결과를 얻었으며, 이는 세 가지 구성 요소가 모두 필요함을 확인해 줍니다.
• 메커니즘 분석: 실험 결과, 원자적 투영은 피드백 내 부재하는 객체의 언급율을 줄였습니다 (공동 피드백의 5.0%에서 TIGER의 2.0%로). 또한, 정교화 단계는 입력 그래프의 초기 추출 과정에서 놓쳤던 올바른 사실들을 성공적으로 복구했습니다.
• 실제 사례 연구: 다중 소스 위기 보고 시나리오(CrisisFACTS)에서 TIGER는 정밀도(precision)를 0.65에서 0.96으로, F1 점수를 0.66에서 0.74로 개선하여, 노이즈가 있는 다중 소스 증거에 요약을 접지(grounding)하는 능력을 입증했습니다.

의의 및 주장

본 논문은 TIGER가 반복적 멀티모달 수정에서의 "피드백 편향" 문제에 대한 견고한 해결책을 제공한다고 주장합니다. 입력 관찰과 출력 주장 추출을 분리하고 결정론적이며 순위 지정이 가능한 위험 지표를 도입함으로써, TIGER는 모델 파인튜닝 없이도 정밀하고 국소적인 수리를 가능하게 합니다. 저자들은 이 접근 방식이 다양한 백본과 모달리티에 걸쳐 일반화될 수 있으며, 생성된 콘텐츠의 유용성을 유지하면서 환각을 효과적으로 줄인다고 주장합니다. 이 연구는 구조화된 그래프 기반 증거 라우팅이 실제 노이즈가 많은 환경에서 더 충실한 멀티모달 생성을 위한 유망한 경로임을 시사합니다.

언급된 한계점:
저자들은 TIGER가 국소적인 사실적 트리플(factual triples)에 집중하고 있어, 추상적, 인과적 또는 주관적 콘텐츠에는 직접적이지 않을 수 있음을 인정합니다. 또한, 반복적인 특성이 추론 시점의 연산을 추가하므로, 실시간 배포를 위한 더 효율적인 스케줄링 전략에 대한 향후 연구가 필요함을 시사합니다.