기술 요약: 대규모 시각-언어 모델이 어텐션에 혼란을 겪다

1. 문제 제기

훈련 패러다임의 급속한 발전에도 불구하고, 대규모 시각 - 언어 모델 (LVLM) 의 디코더 백본은 근본적으로 잔차 연결 (residual-connection) 트랜스포머 아키텍처에 기반하고 있습니다. 이전의 해석 가능성 연구가 모듈 기능에 대한 통계적 통찰 (예: 컨텍스트 의존적 추론으로서의 어텐션, 키 - 값 메모리로서의 피드포워드 네트워크 (FFN)) 을 제공해 왔음에도 불구하고, 이러한 접근법들은 종종 멀티모달 환경에서 서로 다른 서브모듈이 표현 구조에 어떻게 기여하는지를 명시적으로 대비할 수 있는 통합된 이론적 기반이 부족합니다.

구체적으로, 실증적 분석은 "시각적 어텐션 싱크 (visual attention sinks)"와 "어텐션 드리프트 (attention drift)"와 같은 현상을 밝혀냈으며, 이는 LVLM 이 종종 정보성 있는 시각적 증거에 어텐션을 충분히 할당하지 못함을 시사합니다. 그러나 누락된 관점이 존재합니다: 잔차 업데이트의 기하학적 및 엔트로피적 성격을 정량화하여 모듈이 의미 있는 혁신을 주도하는지 아니면 기존 정보를 단순히 재구성하는지 판단할 수 있는 원칙적인 프레임워크입니다. 이러한 격차는 현재 LVLM 이 시각적 컨텍스트를 효율적으로 활용하고 있는지, 아니면 어텐션 메커니즘 내에서 심각한 잘못된 할당과 중복으로 고통받고 있는지에 대한 질문을 동기부여합니다.

2. 방법론

저자들은 LVLM 잔차 스트림 내 모듈 수준의 기능적 기여를 정량화하고 대비하기 위해 정보 이론과 미분기하학에 기반한 통합 프레임워크를 제안합니다.

이론적 프레임워크

**매니폴드 가설 (manifold hypothesis)**을 채택하여, 저자들은 표현 행렬 $X \in \mathbb{R}^{S \times H}$ (여기서 $S$는 토큰 길이이고 $H$는 은닉 크기임) 에 포함된 정보를 쌍 $\mathcal{I}(X) = (\mathcal{S}_X, \mathcal{D}_X)$로 형식화합니다:

• 정보 복잡도 ($\mathcal{S}_X$): 표현의 규모를 나타내는 특이 스펙트럼의 **유효 랭크 (eRank)**로 정량화됩니다.
• 정보 지지 (Information Support, $\mathcal{D}_X$): 의미 방향과 토큰 종속성을 나타내는 좌우 특이 부분공간 (Grassmann 점) 으로 정의됩니다.

잔차 업데이트 $\Delta X$ (여기서 $X' = X + \Delta X$) 의 기여도를 측정하기 위해, 프레임워크는 두 가지 보완적 지표를 도입합니다:

1. 표현 정보 불일치 (RID): **혁신 (innovation)**을 측정합니다. 스펙트럼 복잡도의 변화 ($\Delta \mathcal{S}$) 와 부분공간 지지의 새로움 ($\Delta \mathcal{D}$) 을 합산하여 외부 정보 주입을 정량화합니다. 높은 RID 는 업데이트가 의미 부분공간을 확장하거나 스펙트럼 복잡도를 변경함을 나타냅니다.
2. 혼합 정보 이득 (MixIG): **재구성 (reconfiguration)**을 측정합니다. 기존 지지 내에서 토큰이 얼마나 광범위하게 상호작용하고 정보를 재분배하는지를 포착하는 **토큰 혼합 엔트로피 (TME)**의 변화를 정량화합니다. 높은 MixIG 는 반드시 새로운 의미 방향을 도입하지는 않더라도 상당한 내부 재구성이 있음을 나타냅니다.

실험 프로토콜

본 프레임워크는 광범위한 멀티모달 벤치마크 (POPE, 3DSRBench, MMMU, HallusionBench 포함) 에 걸쳐 세 가지 지배적인 아키텍처 (Qwen 계열, LLaVA-1.5 계열, LLaVA-NeXT 계열) 를 아우르는 15 개의 최첨단 LVLM에 적용되었습니다.

본 연구는 세 가지 비교 설정을 사용했습니다:

• 확률적 기준 (Stochastic Baselines): 어텐션 업데이트를 가우시안 잡음 (실증적 모멘트 일치) 으로 대체하거나 QKV 가중치를 무작위화하여 비구조적 교란에 대한 지표의 민감도를 검증합니다.
• 모듈 귀속 (Module Attribution): 어텐션과 FFN 모듈의 특정 기여도를 분리하기 위해 계층을 가로질러 RID 와 MixIG 의 진화를 추적합니다.
• 개입 (공유 어텐션 사전 - SAP): 학습된 어텐션 점수를 선택된 계층에서 사전 정의된 사전 (시각 인코더 어텐션 맵, 패치 복잡도 사전, 또는 가우시안 잡음) 으로 대체하여 학습된 어텐션 가중치의 기능적 필요성을 테스트합니다.

3. 주요 기여

• 이론적 프레임워크: 본 논문은 표현 정보를 정의하기 위해 매니폴드 가설에 기반한 엄격한 형식주의를 확립합니다. 잔차 업데이트의 기하학적 (혁신) 및 엔트로피적 (재구성) 영향을 정량화하기 위해 RID와 MixIG를 이중 지표로 도입하여, 단순한 귀속을 넘어 표현 역학을 탐구하는 일반화된 도구를 제공합니다.
• 모듈 수준 해석 가능성: 본 연구는 트랜스포머 블록 내의 고유한 역할에 대한 정량적 설명을 제공합니다. 어텐션과 FFN이 직교하는 영역에서 작동함을 보여줍니다:
  • 어텐션은 부분공간 보존 연산자로 작용하여 높은 재구성 (높은 MixIG) 이지만 낮은 혁신 (낮은 RID) 을 수행합니다. 주로 기존 정보를 재구성합니다.
  • FFN은 부분공간 확장 연산자로 작용하여 약한 재구성 (낮은 MixIG) 으로 의미 혁신 (높은 RID) 을 주도합니다.
• 실증적 진단: 본 연구는 LVLM 설계의 중요한 비효율성을 드러냅니다. 디코더 시각 어텐션이 질문 관련 시각적 증거에 대해 의미 있는 혼합을 수행하지 못하고 상당한 중복을 보임을 밝힙니다.

4. 결과

• 기능적 분리: 15 개의 LVLM 변형 전반에 걸쳐 일관된 분리가 나타났습니다. 어텐션 업데이트는 허용 오차 $\epsilon_{RoPE}$ 수준에 불과한 미미한 혁신을 보였으나 강력한 재구성을 나타냈습니다. 반면, FFN 업데이트는 약한 재구성과 함께 상당한 혁신을 보였습니다. 이는 어텐션이 기존 정보를 컨텍스트화하는 반면 FFN 이 새로운 의미 특징을 계산하는 날카로운 분업이 있음을 검증합니다.
• 시각 어텐션의 잘못된 할당: 계층별 분석에 따르면, 대부분의 계층에서 교차 토큰 상호작용은 희소하게 유지됩니다. 시각 어텐션은 종종 질문 관련 영역에 상호작용을 할당하지 못합니다. 잘못된 샘플에서 "키 - 영역 비율 (key-region degree ratio)"(관련 시각적 증거로 라우팅된 상호작용 질량) 은 정답 샘플 (13.1%) 에 비해 현저히 낮았습니다 (4.2%).
• 학습된 어텐션의 중복성: SAP 개입 실험에서, 선택된 계층에서 학습된 어텐션 점수를 사전 정의된 값 (예: 가우시안 잡음, 시각 인코더 맵, 또는 패치 복잡도 사전) 으로 대체한 결과, 대부분의 데이터셋에서 바닐라 모델과 비슷하거나 오히려 더 우수한 성능을 보였습니다. 예를 들어, Qwen-2.5-VL 과 LLaVA-1.5 변형에서 특정 계층 범위에서 어텐션을 잡음으로 대체해도 성능이 저하되지 않았으며, 일부 경우에는 오히려 향상되었습니다.

5. 중요성과 주장

본 논문은 현재 최첨단 LVLM 이 효과적으로 **"어텐션에 혼란을 겪는다 (get lost in attention)"**고 주장합니다. 연구 결과에 따르면, 시각 토큰의 통합은 종종 계산적으로 비용이 많이 들지만 정보적으로는 희소하며, 시각 어텐션 점수의 상당 부분이 기능적으로 불필요합니다.

이 연구의 중요성은 다음과 같습니다:

1. 진단 관점의 전환: 무엇이 존재하는지 (예: 특정 헤드 기능) 식별하는 것에서 잔차 업데이트 자체의 무엇이 부족하거나 과도한지 (혁신 대 재구성) 를 진단하는 것으로의 전환.
2. 아키텍처 가정의 도전: 결과는 심각한 잘못된 할당과 중복을 노출하여, LVLM 디코더의 표준 자기 어텐션의 2 차 계산 비용이 제공하는 정보 흐름에 의해 완전히 정당화되지 않을 수 있음을 시사합니다.
3. 미래 최적화: 이 연구는 유용한 혼합을 유지하면서 불필요한 점수를 줄이는 더 효율적인 어텐션 메커니즘이나 정규화기를 설계하는 등 표적화된 어텐션 중심 최적화를 동기부여하며, 잠재적으로 더 효율적인 LVLM 아키텍처로 이어질 수 있습니다.

저자들은 그들의 프레임워크가 LVLM 잔차 업데이트를 측정 가능한 혁신 - 재구성 역학으로 변환하여, 시각적 컨텍스트 통합을 위한 학습된 어텐션 점수에 대한 현재의 의존성이 종종 중복임을 입증한다고 결론지었습니다.