기술 요약: 트랜스코더가 비전 - 언어 모델의 시각적 그라운딩과 할루시네이션을 추적함

문제 제기

Gemma 3 와 LLaVA 와 같은 생성형 비전 - 언어 모델 (VLM) 은 다중 모달 추론에서 최첨단 성능을 달성했습니다. 그러나 시각적 입력을 텍스트로 변환하는 내부 메커니즘은 여전히 잘 이해되지 않고 있습니다. 기존 해석 가능성 연구는 주로 정적 잔여 표현을 분해하기 위해 희소 오토인코더 (SAE) 에 의존합니다. SAE 는 대규모 언어 모델 (LLM) 연동에 대한 통찰력을 제공해 왔지만, 근본적으로 모델을 독립적인 상태들의 시퀀스로 취급합니다. 결과적으로 이들은 시각적 정보와 언어적 정보 간의 교차 모달 상호작용을 주도하는 특정 기능적 업데이트를 분리해 내지 못합니다. VLM 에 대한 현재 해석 가능성 작업은 대부분 대조적 인코더나 정적 상태 분석에 국한되어 있으며, 생성형 백본에서 추론 중 시각적 그라운딩이 어떻게 구현되는지에 대한 인과적 설명이 부족합니다.

방법론

저자들은 이러한 한계를 해결하기 위해 트랜스코더를 기반으로 한 기능 중심 프레임워크를 제안합니다. 정적 은닉 상태를 재구성하는 ($y=x$) SAE 와 달리, 트랜스코더는 MLP 하위 계층의 희소 근사체로 작용하며 계산 변환 자체를 재구성합니다 ($y = \text{MLP}(x)$). 상태 기반에서 기능 분해로의 이러한 전환은 트랜스코더가 계층별 계산을 위한 인과적 대리체로 기능할 수 있게 합니다.

실험 설정:

• 모델: 프레임워크는 Gemma 3-4B-IT에 적용되었습니다.
• 아키텍처: 트랜스코더와 SAE 는 16 배 확장 (40,960 개 특징) 으로 모든 계층에 통합되었습니다.
• 학습: 5 억 토큰으로 구성된 2 단계 커리큘럼: 2 억 토큰 텍스트 전용 워밍업 followed by COCO, VQAv2, CLEVR 을 사용한 3 억 토큰 다중 모달 단계.
• 희소성: L1 정규화 및 기타 톱 -k 변형보다 우수한 재구성 성능 (설명되지 않은 분율, FVU 로 측정) 을 제공하므로 톱 -64 희소성 설정이 채택되었습니다.

평가 프로토콜:

1. 시각적 그라운딩 (탈구동): 목표 토큰과 관련된 이미지 패치를 식별하기 위해 귀속 지도가 생성됩니다. 저자들은 이러한 패치를 탈구동하여 토큰 확률 ($\Delta p$) 과 엔트로피 ($\Delta H$) 의 변화를 측정합니다.
2. 반사실 분석 (거짓 시각적 그라운딩): 산술 및 기호 작업에 이미지를 결합하여 답변이 이미지와 무관할 때 귀속 방법이 부당한 시각적 관련성을 할당하는지 테스트합니다.
3. 할루시네이션 감지: 회로 추적에서 파생된 계산 그래프의 구조적 속성을 추출하여 올바른 출력과 할루시네이션 출력을 구분합니다. 로지스틱 회귀 분류기가 이러한 구조적 특징으로 훈련됩니다.

주요 기여

1. 다중 모달 기능 분해

본 연구는 SAE 에 비해 트랜스코더가 시각적으로 그라운딩된 토큰에 대해 더 안정적이고 의미론적으로 충실한 귀속을 생성함을 보여줍니다.

• 증거: 탈구동 연구에서 트랜스코더가 식별한 패치를 제거한 경우, SAE 가 식별한 패치를 제거한 경우보다 토큰 확률 감소가 훨씬 크고 엔트로피 증가가 훨씬 컸습니다.
• 특이성: "거짓 시각적 그라운딩" 반사실 분석은 트랜스코더 귀속이 비전 - 언어 상호작용에 특화되어 있음을 확인했습니다. 시각적 입력 없이 해결 가능한 작업에서 트랜스코더는 이미지 패치에 미미한 중요도를 부여한 반면, SAE 는 덜 차별적인 행동을 보였습니다.

2. 교차 모달 메커니즘 추적

저자들은 회로 추적을 활용하여 LLM 백본 내에서 시각적 임베딩과 텍스트 토큰을 연결하는 계산 경로를 식별합니다.

• 발견: 시각적으로 그라운딩된 토큰 (명사, 형용사) 은 이미지 영역의 작고 국소화된 하위 집합에 의존합니다. 이러한 경로는 구조화된 계산 사슬을 형성하여 특정 시각적 입력에서 토큰 생성에 영향을 미치는 정보 전파 방식을 드러냅니다. 이는 시각적 그라운딩 구현에 대한 메커니즘적 관점을 제공합니다.

3. 할루시네이션의 구조적 분석

이 논문은 계산 그래프 구조의 렌즈를 통해 할루시네이션을 분석하는 방법을 소개합니다.

• 지표: 평균 경로 깊이, 계층 범위, 토큰 거리, 기여 엔트로피, 톱 -1 특징 비율 등 다섯 가지 구조적 기술자가 추출되었습니다.
• 관찰: 할루시네이션 출력은 올바른 출력과 비교하여 미묘하지만 통계적으로 유의미한 차이를 보였으며, 구체적으로 더 낮은 토큰 거리, 더 낮은 기여 엔트로피, 더 높은 톱 -1 특징 비율을 나타냈습니다. 이는 할루시네이션이 더 국소화된 토큰 상호작용과 집중된 특징 사용을 수반함을 시사합니다.
• 예측: 이러한 다섯 가지 구조적 특징으로 훈련된 로지스틱 분류기는 할루시네이션과 올바른 생성을 구분하는 데 AUC 0.68을 달성하여 무작위 확률 및 다수 클래스 기준선보다 우수한 성능을 보였습니다.

결과 및 의의

이 논문은 상태 기반에서 기능 기반 분해로 전환함으로써 생성형 VLM 에 대한 더 유용한 메커니즘적 설명을 산출한다고 주장합니다. 주요 의의는 기능 중심 회로 분해가 다음을 달성할 수 있음을 입증하는 데 있습니다:

1. 인과 메커니즘 분리: 정적 상태 분석보다 더 명확한 교차 모달 상호작용 그림을 제공하며, 시각적 입력이 특정 텍스트 토큰을 어떻게 주도하는지 성공적으로 추적합니다.
2. 실패 모드 감지: 생성된 텍스트나 외부 참조에 접근하지 않고 계산 그래프의 내부 구조만을 기반으로 다중 모달 할루시네이션에 대한 예측 신호를 제공합니다.

저자들은 할루시네이션 감지에 대한 예측 성능 (AUC 0.68) 이 작고 예비적이지만, 내부 회로 구조가 모델 신뢰성과 관련된 정보를 담고 있다는 개념 증명 (proof-of-concept) 을 확립한다고 강조합니다. 그들은 이 작업을 향후 해석 가능성 도구 및 시각적 그라운딩 조종이나 할루시네이션 완화와 같은 잠재적 메커니즘적 개입의 기반으로 위치시키지만, 출력 수준 감지기에 대한 경쟁력 있는 성능은 주장하지 않는다고 명시합니다.

이 연구는 트랜스코더가 네트워크 계층 전반에 걸친 특징 귀속과 연결된 계산 그래프 분석 간의 간극을 메우는 VLM 의 "모듈식 회로"를 분석하기 위한 강력한 도구 세트를 제공한다고 결론지었습니다.