기술 요약: 멀티모달 LLM을 위한 헤드 단위 표현 정렬 (HeRA)

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각-언어 작업에서 상당한 능력을 입증해 왔으나, 객체 카운팅, 공간 관계 이해, 밀집 시각 파싱과 같은 기초적인 시각적 추론 과제에서는 여전히 어려움을 겪고 있습니다. 현재 MLLM의 발전은 원칙적인 내부 메커니즘 개입보다는 주로 데이터와 모델 크기를 확장하는 것에 의해 주도되고 있습니다.

기존의 표현 정렬 방식(MLLM의 내부 표현을 외부 비전 인코더와 일치시키도록 규제하는 방식)의 주요 한계는 언어 백본의 고정된 레이어(예: 중간 레이어)를 정렬하는 데 의존한다는 점입니다. 이러한 접근 방식은 트랜스포머 모델의 미세한 내부 구조를 간과합니다. 또한, 강력한 사전 학습된 언어적 우선순위(prior)를 가진 MLLM에 대한 경직된 특징 매칭은 언어 모델링 목표와 충돌하여, 잠재적으로 최적화되지 않은 성능이나 파괴적 간섭(catastrophic interference)을 초래할 수 있습니다.

방법론: 헤드 단위 표현 정렬 (HeRA)

저자들은 고정된 레이어가 아닌 개별 어텐션 헤드(attention heads) 수준에서 교차 모달 정렬을 강제하는 방법인 HeRA를 제안합니다. 이 접근 방식은 서로 다른 모달리티 간의 표현이 전역적 기하학(global geometries)은 다를지라도 일관된 국소 이웃 구조(topology)를 공유한다는 **플라토닉 표현 가설(Platonic Representation Hypothesis, PRH)**에 근거합니다.

핵심 구성 요소

1. MKNN을 통한 위상 정렬 (Topological Alignment):
   이 방법은 텍스트 표현과 시각적 표현 사이의 국소 이웃 구조 간의 일치도를 측정하기 위해 상호 K-최근접 이웃(Mutual K-Nearest Neighbor, MKNN) 지표를 활용합니다. 높은 MKNN 점수는 의미론적으로 유사한 입력들이 언어 및 비전 잠재 공간 모두에서 유사한 이웃을 공유함을 나타냅니다.

2. 미분 가능한 대조적 프록시 (Differentiable Contrastive Proxy):
   MKNN 지표는 이산적인 이웃 인덱스에 의존하므로 미분이 불가능합니다. 따라서 HeRA는 미분 가능한 프록시로서 **대조적 목적 함수(contrastive objective)**를 도입합니다. 주어진 멀티모달 입력에 대해, 모델은 특정 샘플의 표현을 (동결된 티처 비전 인코더 공간에서 계산된) $k$-최근접 이웃들의 표현에 가깝게 끌어당기는 동시에, 배치 내 다른 샘플들로부터는 멀어지도록 학습됩니다. 이는 Multi-target 변형 InfoNCE 손실을 사용하여 구현됩니다.

3. 헤드 수준의 세밀도 (Head-Level Granularity):
   레이어의 전체 풀링된 출력을 정렬하는 대신, HeRA는 개별 어텐션 헤드의 투영된 기여도를 분리합니다. 멀티 헤드 어텐션 레이어의 경우, 출력은 각 레이어($l$)의 각 헤드($h$)로부터의 기여도로 분해됩니다. 대조적 손실은 이러한 특정 헤드 수준의 표현에 독립적으로 적용됩니다.

4. 전략적 헤드 선택 (Strategic Head Selection):
   핵심적인 설계 결정은 어떤 헤드를 정렬할 것인가를 결정하는 것입니다. 저자들은 멀티모달 학습 전(순수 텍스트 표현 상태)의 언어 모델을 사용하여 모든 헤드에 대한 MKNN 점수를 계산합니다. "가장 좋은" 헤드를 정렬해야 한다는 직관과는 반대로, 실험 결과 가장 정렬되지 않은 헤드(the "Worst-5")를 타겟팅하는 것이 가장 큰 성능 향상을 가져오는 것으로 나타났습니다. 이 전략은 이미 잘 정렬된 구조나 핵심 언어 모델링 작업을 방해하지 않으면서, 정렬이 부족한 구성 요소를 강화합니다.

주요 기여

• 미세한 정렬 (Fine-Grained Alignment): 고정된 레이어 정렬을 넘어 개별 어텐션 헤드 수준에서 작동함으로써 모델에 대한 더 원자적인 개입을 가능하게 합니다.
• 위상 중심 (Topological Focus): 엄격한 특징 매칭에서 벗어나 모달리티 간의 국소적 위상 구조(이웃 관계)를 보존하는 방향으로 전환하여 PRH와 일치하도록 합니다.
• 역직관적 선택 전략 (Counter-Intuitive Selection Strategy): 이미 잘 정렬된 헤드나 무작위 부분 집합을 정렬하는 것보다, 가장 정렬되지 않은 어텐션 헤드를 정렬하는 것이 우수한 규제 및 성능 향상을 제공함을 확인했습니다.
• 환각 방지 규제 (Regularization Against Hallucinations): 위상적 정렬이 모델의 언어적 우선순위에 대한 과도한 의존을 자연스럽게 억제하여 시각적 환각을 줄인다는 것을 입증했습니다.

실험 결과

저자들은 여러 MLLM(Vicuna, LLaMA3, Qwen2.5, Qwen3 제품군, 3B~14B 파라미터 범위)과 18개 벤치마크를 통해 HeRA를 평가했습니다.

• 비전 중심 작업 (Vision-Centric Tasks): HeRA는 도전적인 비전 중심 벤치마크(예: RWQA, MMVP, Blink, CVBench)에서 일관되게 성능을 향상시킵가. 예를 들어, Qwen3-8B는 비전 작업에서 평균 +3.6의 향상을 달성했고, Qwen2.5-14B는 +3.4의 이득을 보였습니다.
• 일반적 능력 (General Capabilities): 기존 방식들이 때때로 일반적인 언어 성능을 저하시키는 것과 달리, HeRA는 일반 지식, OCR 및 지식 작업에서의 점수를 유지하거나 개선하여 성공적인 파괴적 간섭 완화를 보여주었습니다.
• 환각 감소 (Hallucination Reduction): HeRA로 학습된 모델은 인지 점수를 유지하거나 개선하면서도 CHAIR 및 AMBER 벤치마크로 측정된 환각률이 감소함을 보여주었으며, 이는 시각적 증거에 대한 더 충실한 통합을 시사합니다.
• 어블레이션 연구 결과 (Ablation Findings):
  • "Worst-5" 헤드를 정렬하는 것이 "Top-5" 또는 무작위 헤드를 정렬하는 것보다 우수합니다.
  • 너무 많은 헤드(예: 10개)를 정렬하면 성능 저하가 발생하여, 선택적 정렬의 필요성을 확인했습니다.
  • 대조 학습 목적 함수가 동일한 세밀도에서 직접적인 특징 매칭(코사인 유사도)보다 우수한 성능을 보입니다.
  • DINO 기반 비전 인코더를 티처로 사용하는 것이 기본 비전 입력으로 사용된 인코더(SigLIP2)를 사용하는 것보다 더 나은 결과를 얻었습니다.

의의

이 논문은 HeRA가 시각과 언어 사이의 상호작용에 직접 개입함으로써 MLLM을 향상시키는 원칙적인 접근법을 제공한다고 주장합니다. 엄격한 특징 매칭 대신 특정 어텐션 헤드를 타겟팅하고 위상적 일관성을 강제함으로써, HeRA는 언어적 우선순위를 해치지 않으면서 MLLM의 시각적 지각 결함을 해결합니다. 이 연구는 멀티모달 모델의 "가장 덜 정렬된" 구성 요소가 개선을 위한 가장 중요한 타겟임을 시사하며, 멀티모달 학습을 위한 규제 전략에 새로운 방향을 제시합니다. 연구의 코드는 추가 연구를 촉진하기 위해 공개되었습니다.