기술 요약: CoRe 헤드를 통한 멀티모달 LLM의 기능적 희소성에 대한 기계론적 통찰

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 복잡한 시각-언어 작업에서 놀라운 능력을 보여주었으나, 노이즈가 많고 복잡한 맥락으로부터 어떻게 쿼리와 관련된 시각적 특징을 추출하는지에 대한 내부 메커니즘은 여전히 불투명하다. MLLM은 고차원 시각 신호를 의미 공간으로 매핑하지만, 실제 입력에는 중복된 정보가 포함되는 경우가 많다. 견고한 멀티모달 추론은 모델이 희소하고 작업에 적합한 시각적 단서를 선택적으로 격리하는 능력에 달려 있다. 그러나 기존의 해석 가능성 프레임워크는 정적 이미지에 대해 주로 평가되는 거친 통계적 휴리스틱(예: 공간 엔트로피, 어텐션 집계)에 의존한다. 이러한 접근 방식은 조밀하거나 동적인 시공간 장면에서의 미세하고 쿼리 조건부인 토큰 수준 어텐션을 포착하지 못하므로, MLLM의 실패 모드와 내부 효율성을 이해하는 데 있어 중요한 간극을 남긴다.

2. 방법론

저자들은 교차 모달 검색을 담당하는 특화된 어텐션 헤드의 하위 집합을 식별하고 특징짓기 위해 CoRe(Context-aware Retrieval, 문맥 인식 검색) 헤드라고 명명된 체계적인 프레임워크를 제안한다.

2.1 Retrieval Attention Mass (RAM)

이러한 헤드들을 분리하기 위해, 저자들은 **Retrieval Attention Mass (RAM)**라는 토큰 수준의 지표를 도입한다. 일반적인 어텐션 지표와 달리, RAM은 특정 헤드 $h$가 지시적 쿼리 토큰($q$)으로부터 정답 시각적 엔티티($V^*$)로 할당하는 어텐션 질량을 정량화한다.
헤드의 RAM 점수는 다음과 같이 정의된다:
$$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$$
여기서 $\Omega(V^*)$는 토큰화된 공간적 또는 시간적 범위(span)를 나타내며, $A(h)_{x \to y}$는 어텐션 가중치이다. 높은 RAM 값은 일반적인 어텐션 축적이나 "어텐션 싱크(attention sinks)"가 아닌 타겟팅된 검색을 나타낸다.

2.2 통합 평가 프로토큘

본 연구는 서로 다른 모달리티와 복잡성을 가진 네 가지 다양한 데이터셋을 아우르는 통합 프로토콜을 사용한다:

• RefCOCOg: 정적 이미지 시각적 그라운딩 (경계 상자).
• VidSTG: 비디오 시공간 그라운딩 (시간적 튜브).
• MMLongBench: 롱 컨텍스트 다중 증거 추론 (증거 영역).
• MMDocIR: 문서 기반 검색 (페이지/도표 영역).

저자들은 연속적인 주석(공간 상자, 시간적 튜브)을 아키텍처별 전략(예: 어댑터 기반 모델을 위한 경계 태깅, 고정 확장 모델을 위한 균등 슬라이싱)을 사용하여 이산적인 토큰 인덱스 $\Omega(V^*)$로 매핑함으로써 정밀한 어텐션 측정을 보장한다.

2.3 인과적 개입 및 가속화

CoRe 헤드의 기능적 필요성을 검증하기 위해, 저자들은 추론 중 어텐션 마스킹을 통한 **인과적 개입(causal interventions)**을 수행한다. 그들은 RAM 순위가 높은 상위-$k$ CoRe 헤드를 제거(ablate)하고, 이를 하위 순위 또는 무작위 헤드를 제거했을 때와 비교한다.
또한, 시스템 수준의 가속화를 위해 CoRe-guided Hybrid Attention 메커니즘을 제안한다. 이 전략은 상위-$k$ CoRe 헤드에 대해서는 전체 글로벌 어텐션을 유지하는 반면, 나머지 필수적이지 않은 헤드들은 프리필(prefill) 단계 동안 로컬 슬라이딩 윈도우(Stream Sparse Attention)로 제한하여 이차 함수적 계산 복잡도를 줄이는 것을 목표로 한다.

3. 주요 기여 및 결과

3.1 기능적 희소성의 발견

분석 결과 심오한 구조적 특성이 드러났다: 바로 **기능적 희소성(functional sparsity)**이다. 소수의 특화된 어텐션 헤드(CoRe 헤드)가 전담 정보 추출기 역할을 하는 반면, 대다수의 헤드는 확산된 글로벌 어텐션 패턴을 보인다.

• 국지화(Localization): CoRe 헤드는 맥락 관련 시각적 엔티티(예: 비디오 내 특정 객체 또는 문서 내 텍스트 영역)를 정밀하게 국지화하며 배경 노이즈를 필터링한다.
• 차별화(Differentiation): 하위 순위 헤드(Bottom Heads)는 무관한 영역에 어텐션을 분산시키며 지시 사항을 그라운딩하는 데 실패한다.

3.2 구조적 진화 및 스케일링

• 스케일링 패턴: 모델 용량이 증가함에 따라(예: 4B에서 32B 파라미터로), CoRe 헤드는 산재된 분포에서 깊은 레이어(예: 32B 모델의 레이어 44–56)의 고도로 집중된 "병목(bottleneck)"으로 전이된다.
• 아키텍처적 분기: 서로 다른 모델 패밀리는 뚜렷한 토폴로지를 보인다. Qwen3-VL은 희소한 국지화를, LLaVA-OneVision은 중간 정도의 분산을, InternVL3.5는 조밀한 활성화를 보여준다. 이는 구조적 희소성이 베이스 LLM의 고유한 속성이 아니라 시각적 표현 밀도에 반응하는 동적인 할당 전략임을 시사한다.

3.3 교차 도메인 안정성

CoRe 헤드는 "전역적으로 일관되나 국지적으로 가변적인" 패러다임을 보인다. 약 30개의 특정 헤드가 다양한 작업(RefCOCOg, VidSTG, MMLongBench, MMDocIR) 전반에 걸쳐 보편적으로 활성화되며, 활성화 패턴에서 높은 Spearman 순위 상관관계(0.79–0.92)를 나타낸다. 이 헤드들은 중간에서 후반 레이어에 안정적으로 집중되어 있다.

3.4 인과적 필요성

인과적 개입은 Co-Re 헤드의 비중복적 필요성을 확인한다:

• 성능 저하: 상위 5%의 Co-Re 헤드만을 제거했을 때 멀티모달 추론 성능이 급격히 저하된다 (예: Qwen3-VL-4B에서 정확도가 약 45%에서 27%로 폭락).
• 중복성: 하위 순위 헤드를 제거하는 것은 영향이 미미하며, 이는 특화되지 않은 헤드들 사이에 상당한 기능적 중복성이 있음을 나타낸다.

3.5 가속화 및 효율성

이러한 희소성을 활용한 제안된 하이브리드 어텐션 메커니즘은 상당한 속도 향상을 달atik한다:

• 속도 향상: 롱 컨텍스트 작업(예: MLVU, Video-MME)에서 강력한 성능을 유지하면서 최대 2.3배의 프리필 속도 향상을 달성한다.
• 성능 유지: 일부 설정(예: LLaVA-OneVision에서 19.1%의 헤드를 유지할 때)에서는 하이브리드 모델이 풀 덴스(full dense) 베이스라인보다 약간 더 나은 성능을 보이는데, 이는 아마도 교차 모달 노이즈를 필터링하는 암묵적 정규화 효과 때문일 것이다.
• 확장성: 더 큰 모델(예: Qwen3-VL-32B)은 성능 손실 없이 더 높은 수준의 희소화(헤드의 4.9%까지)를 유지할 수 있으며, 이는 규모가 커질수록 기능적 중복성이 증가함을 시사한다.

4. 의의 및 주장

본 논문은 MLLM 내의 기능적 희소성의 구조적 원리를 밝혀냈다고 주장하며, 이는 기계론적 해석 가능성에 대한 현재의 이해를 정교화한다. 핵심적인 함의는 다음과 같다:

1. 기계론적 통찰: 멀티모달 추론은 다른 헤드들이 수행하는 글로벌 특징 집계와 구별되는, 교차 모달 추출을 위한 결정적 병목 역할을 하는 희소하고 일관된 하위 집합에 의해 제어된다.
2. 비중복성: 이러한 특화된 헤드들은 인과적으로 필수적이며, 네트워크의 나머지 부분이 이를 보완할 수 없다.
3. 최적화 잠재력: 이 발견은 효율적인 모델 최적화를 위한 이론적 토대를 제공한다. 핵심적인 소수 헤드에 대해서만 작동함으로써, 의미적 선택이나 작업 성능을 저해하지 않고도 추론(특히 롱 컨텍스트 시나리오에서)을 크게 가속화할 수 있다.

저자들은 RAM 계산을 위한 명시적인 정답 주석에 대한 의존성과 가속화를 위한 현재의 정적 헤드 구성 사용을 한계점으로 언급하며, 향로 연구에서 동적이고 입력 적응적인 라우팅 전략을 탐구할 수 있음을 시사했다.