기술적 요약: 비전-언어 모델에서 신뢰성이 존재하는 위치

문제 제기

비전-언어 모델 (VLM) 은 종종 시각적 입력을 뒷받침하지 않는 유창하지만 잘못된 답변 (할루시네이션) 을 생성합니다. 의료 분별, 과학적 분석과 같은 고위험 배포 시나리오에서는 정확성을 예측할 수 있고 메커니즘적으로 해석 가능한 신뢰성 신호에 대한 시급한 필요성이 존재합니다.

**주의 - 신뢰성 가정 (Attention–Confidence Assumption)**이라고 명명된 보편적인 직관은 VLM 의 신뢰성이 주의 맵 (attention maps) 에서 직접 읽을 수 있다고 주장합니다. 즉, 모델이 쿼리된 영역에 시각적 주의를 날카롭게 집중한다면 답변은 신뢰할 수 있어야 하며, 확산된 주위는 낮은 신뢰성을 나타내야 한다는 것입니다. 본 논문은 이러한 가정에 도전하며, 주의의 구조 (날카로움, 분할, 엔트로피) 가 실제로 모델이 정확할 확률에 보정되어 있는지, 아니면 신뢰성 정보가 계산의 다른 곳에 존재하는지 질문합니다.

방법론: VLM 신뢰성 프로브 (VRP)

저자들은 세 가지 오픈 가중치 VLM 계열 (LLaVA-1.5, PaliGemma, Qwen2-VL; 3–7B 파라미터) 과 네 가지 벤치마크 (POPE, LLaVA-Bench, 맞춤형 카운팅/공간 suites, VQAv2, TextVQA) 에 걸쳐 단일 정확성 레이블과 세 가지 다른 신호 클래스를 비교하도록 설계된 통합 메커니즘 파이프라인인 **VLM 신뢰성 프로브 (VRP)**를 도입합니다.

파이프라인은 세 단계로 운영됩니다:

1. 구조적 지표 (주의): 교차 주의 텐서가 레이어별 공간 벡터로 축소됩니다. 두 가지 구조적 양이 추출됩니다: **공간 엔트로피 ($H_s$)**와 **2 차 구성 요소 수 ($C_k$)**로, 후자는 주의가 연결된 구성 요소로 분할되는 정도를 측정합니다.
2. 메커니즘적 판독 (잠재 상태):
   • Logit Lens: 잔여 스트림이 모든 레이어에서 언임베딩 행렬을 통해 투영되어 올바른 토큰과 경쟁자 사이의 분리도를 측정하는 **진리 마진 (truth margin, $\Delta M_\ell$)**을 계산합니다.
   • 희소 프로브: 정확성과 관련된 희소하고 인과적인 회로를 식별하기 위해 잠재 상태에 대해 L1 정규화 선형 프로브가 훈련됩니다.
   • 잔여 분석: MLP 대 주의 레이어가 진리 마진의 성장에 기여하는 정도가 분해됩니다.
3. 행동적 지표: 자기 일관성은 $K=10$개의 출력을 샘플링하고 다수 답변의 지지를 계산하여 측정하며, 고비용 행동 기준선으로 작용합니다.

본 연구는 상위 30% 패치 마스킹(주의 필요성 테스트) 과 뉴런 제거(특정 잠재 유닛의 인과적 역할 테스트) 를 포함한 인과적 개입을 사용하여 발견 사항을 검증합니다.

주요 결과

1. 주의 구조는 정확성의 예측자가 아님

주의 - 신뢰성 가정과 반대로, 주의 구조는 정확성에 대한 거의 0 에 가까운 예측자입니다.

• 통계적 증거: $n=3,090$의 통합 데이터셋에서 2 차 구성 요소 수 ($C_k$) 와 정확성 간의 점 - 이분 상관관계는 $R_{pb} = 0.001$이며, 공간 엔트로피 ($H_s$) 는 $R_{pb} = -0.012$입니다. 둘 다 통계적으로 0 과 구별되지 않습니다.
• 지도식 스트레스 테스트: 레이블에 대한 완전한 접근 권한을 가진 11 개의 주의 기반 특징으로 훈련된 XGBoost–Random Forest 앙상블조차도 52–55% 의 정확도 (우연 수준) 만 달성합니다.
• 인과적 필요성 대 충분성: 주의가 특징 추출에 인과적으로 필요함은 사실입니다 (상위 30% 주의 패치 마스킹 시 정확도가 8.2–11.3%p 하락). 그러나 그 구조 (날카로움 또는 분할) 는 보정된 불확실성을 인코딩하지 않습니다. 모델이 올바른 객체에 완벽하게 주의를 기울임에도 불구하고 여전히 할루시네이션을 일으킬 수 있습니다.

2. 신뢰성은 늦게 나타나며 MLP 에 의해 주도됨

신뢰성은 잔여 스트림의 후기 단계에서만 가독성이 생깁니다.

• Logit Lens 동역학: 진리 마진은 깊이에 따라 단조롭게 증가합니다. LLaVA 의 경우 "침묵 단계"가 21 레이어까지 지속되며 24 레이어에서 정점에 도달합니다. PaliGemma 는 더 일찍 통합되며 (14 레이어에서 정점), Qwen2-VL 은 순환적 재분리를 보입니다.
• MLP 우세: 진리 마진의 성장은 주로 MLP 쓰기 (마진 성장의 47.6% 에서 82.1%) 에 의해 주도되며, 주의 쓰기는 아닙니다. 이는 신뢰성이 주의 맵의 공간적 일관성보다는 어휘 공간에서 잠재 개념을 촉진하는 데 의존함을 시사합니다.
• 예측 능력: 단일 잠재 상태 선형 프로브는 LLaVA 와 Qwen2-VL 의 POPE 에서 AUROC > 0.95를 달성하여 주의 기반 지표 (AUROC $\approx$ 0.50) 를 크게 능가합니다.

3. 아키텍처 견고성 비대칭

신뢰성 회로의 위치와 분포는 아키텍처에 따라 뚜렷하게 다릅니다:

• 후기 융합 (LLaVA): 신뢰성은 취약한 후기 병목에 집중됩니다. 최종 레이어에서 상위 5 개 프로브 선택 뉴런을 제거하면 객체 식별 정확도가 8.3%p 하락합니다. 신호는 희소하고 국소화되어 있습니다.
• 조기 융합/순환 (PaliGemma, Qwen2-VL): 신뢰성은 광범위하게 분포되어 있습니다. 이러한 모델들은 피크 레이어 잠재 차원의 약 50% 를 파괴해도 $\le$ 1%p 이하의 저하로 흡수합니다. PaliGemma 의 조기 통합과 Qwen2-VL 의 순환적 정제는 신호를 여러 레이어에 걸쳐 헤지하여 단일 유닛 손상에는 견고하지만 뉴런 수준의 해석에는 더 불투명하게 만듭니다.

4. 예측자 비교

• 잠재 상태 프로브: LLaVA/Qwen2-VL 의 경우 AUROC > 0.95 로 가장 강력한 단일 통과 내부 신호입니다.
• 자기 일관성: 가장 강력한 행동 예측자 ($R_{pb}=0.43$) 이지만 10 배의 추론 비용이 필요합니다.
• 주의 맵: 통계적으로 무의미함 (AUROC $\approx$ 0.50).

중요성 및 주장

본 논문은 주의 날카로움이 신뢰 신호로서 인식론적으로 오해의 소지가 있음을 입증하여 주의 - 신뢰성 가정을 반증한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 주의는 신뢰성과 다른 질문에 답한다: 주의는 어떤 특징이 검색되었는지를 나타내지만, 해당 특징이 올바르게 해석될지 여부는 나타내지 않는다.
2. 신뢰성은 늦고 MLP 에 의해 주도되는 현상이다: 올바른 답변과 잘못된 답변을 구분하는 계산은 잔여 스트림의 후기 단계에서 발생하며 MLP 연산에 의해 지배된다.
3. 모니터 설계 시사점:
   • 주의 히트맵 교체: 안전 민감 배포의 경우, 주의 맵 대신 잠재 상태 프로브를 주요 신뢰 신호로 대체해야 합니다.
   • 아키텍처 특이성: 모니터링은 모델 아키텍처에 맞게 조정되어야 합니다. LLaVA 와 같은 후기 융합 스택은 희소하고 취약한 후기 레이어 회로에 의존하는 반면, 조기 융합 스택은 신뢰성을 분산시키므로 밀집된 판독이 필요합니다.
   • 비용 - 편익 트레이드오프: 자기 일관성은 강력한 예측자이지만, 그 추론 비용으로 인해 저지연 응용 프로그램에서는 잠재 상태 프로브가 선호되는 솔루션입니다.

저자들은 "편안하지만 경험적으로 반증된 주의 - 신뢰성 비유"를 잠재 상태 및 일관성 기반 신뢰성 모니터링으로 대체해야 한다고 결론지었습니다.