기술 요약: LOOKBACK – 시각적 참조 활용을 통한 LVLM 응답의 점수 산출 위치 및 방법

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 시각적 인지와 언어 생성을 통합하지만, 입력 이미지에 근거하지 않은 채 유창하고 그럴듯한 응답을 생성하는 특정 유형의 환각(hallucination) 문제를 겪습니다. Best-of-N (BoN) 선택과 같이 신뢰도를 높이기 위한 기존 방식들은 후보 응답을 점수화하여 최적의 것을 선택하는 데 의존하지만, 현재의 점수 산출 메커니즘은 불충분합니다.

본 논문은 출력 공간 확신도(output-space confidence, 예: 토큰 가능도 또는 자기 확신도)의 결정적인 결함을 식별했습니다. 진단 결과, 이러한 확신도 점수는 시각적 입력에 거의 민감하게 반응하지 않는 것으로 나타났습니다. 구체적으로, 입력 컨텍스트에서 이미지를 제거해도 상위 순위 응답을 선택하는 확신도 기반의 선택 결과는 거의 변하지 않았습니다. 이는 출력 공간의 확신도가 시각적 근거(이미지와의 일치성)보다는 텍textual 유창성(언어적 유창성)을 주로 포착한다는 것을 의미합니다. 결과적으로, 확신도에만 의존하는 것은 언어적으로는 유창하지만 시각적으로는 환각인 응답과, 이미지에 충실한 응답을 구분하는 데 실패합니다.

2. 방법론: LOOKBACK

이를 해결하기 위해 저자들은 LOOKBACK이라는 학습이 필요 없는(training-free), 모델 내부적(model-intrinsic) 응답 점수 산출 방법을 제안합니다. LOOKBACK은 토큰 가능도에 **시각적 룩백 점수(visual lookback score)**를 더함으로써, 생성된 각 토큰이 시각적 입력을 얼마나 강력하게 참조하는지에 대한 경량화된 측정치를 제공합니다. 이 방법은 세 단계로 작동합니다.

A. 시각적 룩백 점수 ($A_t$)

저자들은 LVLM의 내부 어텐션(attention) 메커니즘을 활용합니다. LVLM은 인과적 컨텍스트 내에서 이미지를 명시적인 비전 토큰으로 처리하므로, 각 생성된 토큰 예측은 이러한 비전 토큰에 직접적으로 어텐션을 수행할 수 있습니다.

• 정의: 생성된 토큰 $y_t$에 대해, 시각적 룩백 점수 $A_t$는 모든 레이어와 어텐션 헤드에 걸쳐 예측 단계에서 비전 토큰($P_v$)으로 향하는 어텐션 가중치의 비율입니다.
• 의미: $A_t$는 시각적 참조 사용의 대리 지표 역할을 합니다. 이 점수는 이미지에 존재하는 객체, 속성 또는 관계를 설명하는 토큰에서는 높게 나타나고, 일반적인 기능어(function words)에서는 낮게 나타납니다.

B. 룩백 보정 토큰 점수 ($u_t$)

LOOKBACK은 모델의 출력 공간 확신도($p_t$)와 시각적 룩백 점수($A_t$)를 결합하여 보정된 토큰 점수를 형성합니다.
$$u_t = \log(p_t) + \alpha \log(A_t)$$

• 여기서 $\alpha$는 보정 강도를 조절하는 하이퍼파라미터입니다.
• 이 공식은 확신도는 높지만 시각적 어텐션은 낮은(환각인) 토큰은 낮은 점수를 받게 하고, 확신도가 높으면서 동시에 시각적으로 근거가 확실한 토큰은 선호되도록 보장합니다.

C. 시각적 관련성 가중치 부여 및 집계

모든 토큰이 시각적 근거에 동일하게 기여하는 것은 아닙니다. LOOKBACK은 균일한 평균 대신 시각적 관련성 분포($q_\lambda$)를 사용하여 토큰 점수를 집계합니다.

• 분포: $q_\lambda$는 엔트로피 정규화된 관련성 목적 함수를 최대화함으로써 도출되며, 높은 시각적 룩백 점수($A_t$)를 가진 토큰에 확률 질량을 집중시킵니다.
• 최종 점수: 최종 응답 점수 $S(y)$는 이 분포 하에서의 보정된 토큰 점수의 기대값입니다.
  $$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$$
  이를 통해 최종 점수가 확신도가 높으면서 시각적 입력과 강력하게 연결된 토큰들에 의해 크게 영향을 받도록 합니다.

3. 주요 기여

1. 진단적 통찰: 본 논문은 표준 출력 공간 확신도 지표(예: Self-Certainty)가 시각적 민감도가 매우 낮아, Best-of-N 선택 설정에서 시각적 환각을 감지하는 데 실패한다는 실증적 증거를 제시합니다.
2. 학습이 필요 없는 점수 산출: LOOKBACK은 외부 보상 모델이나 추가 학습, 혹은 추가적인 추론 패스 없이 LVLM 응답을 점수화하는 방법을 도입합니다. 이는 생성 과정 중에 사용 가능한 내부 신호(토큰 확률 및 어텐션 가중치)만을 활용합니다.
3. 토큰 수준의 상보성: 본 연구는 출력 공간의 확신도와 시각적 룩백 점수가 생성의 상보적인 측면을 포착함을 보여줍니다. 즉, 확신도는 언어적 예측 가능성을 선호하고, 룩백은 시각적 참조를 선호합니다.
4. 효율적인 집계: 시각적 관련성에 따라 토큰에 가중치를 부여함으로써, LOOKBACK은 최종 점수 산출 시 일반적인 유창성 단어보다 진단적 내용어(명사, 속성 등)를 우선시합니다.

4. 실험 결과

저자들은 네 가지 벤치마크(VQAv2, CHAIR, AMBER, HallusionBench)와 세 가지 대표적인 LVLM(LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B)에 대해 LOOKBACK을 평가했습니다.

• 성능: LOOKBACK은 언어 측면 방법(Self-Certainty, Universal Self-Consistency) 및 시각 측면 방법(CLIPScore, VAUQ)을 포함한 기존 베이스라인들을 일관되게 능가했습니다.
  • 세 가지 LVLM 모두에서 모델별 평균 성능이 가장 높았습니다.
  • 무작위 선택 대비 약 4.97%의 상대적 이득을 통해 Best-of-N 선택 정확도를 개선했으며, Self-Certainty 베이스라인을 지속적으로 앞질렀습니다.
• 확장성: 후보 풀 크기($N$)가 1에서 25으로 증가함에 따라, 다른 방법들이 수익 체감이나 불안정성을 보이는 것과 달리 LOOKBACK은 일관된 우위를 유지했습니다.
• 효율성: LOOKBACK은 생성 시간 대비 계산 오버헤드가 미미했습니다. 섭동(perturbation)을 요구하는 방식(VAUQ)이나 외부 인코더(CLIPScore)를 사용하는 방식보다 훨씬 빨랐으며, 생성 후 점수 산출 비용만 약간 추가되었습니다.

5. 의의 및 주장

본 논문은 LOOKBACK이 LVLM 응답의 신뢰성을 높이기 위한 경량화된 모델 내부적 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 간극 해소: 현재의 점수 산출 지표들이 가진 이미지 조건화(image-conditioning)와 이미지 민감도(image-sensitivity) 사이의 괴리 문제를 직접적으로 해결합니다.
• 실용성: 학습이 필요 없고 보조 모델을 요구하지 않으므로, 자원이 제한된 환경이나 블랙박스 시나리오(내부 어텐션 가중치 접근이 가능하다는 전제하에)에 적용 가능합니다.
• 일반화 가능성: 저자들은 "소스 인식 점수 산출(source-aware scoring)" 원칙(높은 확신도의 생성 단계가 의도된 소스를 참조하는지 확인하는 것)이 시각을 넘어 RAG(검색 증강 생성)나 도구 사용(tool use)과 같은 다른 근거 기반 생성 작업에도 확장될 수 있음을 시사합니다.

인정된 한계점:
저자들은 LOOKBACK이 내부 어텐션 가중치에 대한 접근을 필요로 하므로, 엄격한 블랙박스 API 환경에서는 사용이 제한될 수 있음을 언급했습니다. 또한, 시각적 룩백은 참조 사용의 대리 지표일 뿐 사실적 정확성을 보장하는 것은 아닙니다. 즉, 모델이 이미지 토큰에 어텐션을 수행하면서도 여전히 틀리거나 편향된 내용을 생성할 수 있습니다. 따라서 LOOKBACK은 작업별 검증 및 인간의 감독과 병행하여 사용되는 응답 선택 보조 도구로 권장됩니다.