기술 요약: 시각적 지시 미세 조정(Visual Instruction Tuning)은 추상화를 통해 모달리티를 정렬한다

문제 정의

시각 언어 모델(VLM)은 사전 학습된 대규모 언어 모델(LLM)을 적응시켜 이미지 정보를 처리함으로써 경험적인 성공을 거두었으나, 이러한 다중 모달 통합의 내부 메커니즘은 여전히 명확히 이해되지 않고 있다. 특히, 시각적 특징이 LLM 백본의 계층적 추상화 구조 내에 어떻게 임베딩되는지는 불분명하다. 텍스트 전용 LLM의 경우, 중간 레이어에 의미론적 내용이 집중된다는 추상적 표현의 계층 구조가 잘 문서화되어 있는 것과 달리, 시각적 지시 미세 조정(2단계) 과정에서 교차 모달 정렬(cross-modal alignment)의 위치와 인과적 역할은 파편화되어 있다. 기존 문헌은 단일 아키텍처 분석이나 상관관계 증거에 기반하여, 정렬이 초기 레이어, 후기 레이어, 또는 공유된 중간 허브에서 발생한다는 상충하는 견해를 제시하고 있다.

방법론

저자들은 특정 레이어의 기능적 역할을 조사하기 위해 7가지 오픈 웨이트 VLM 변체(LLaVA-1.5, LLaVA-OneVision, InternVL2, Cambrian, Llama-3.2-Vision 포함)를 사용하여 다각적인 접근 방식을 채택하였다.

1. 인과적 개입 (Causal Interventions):

   • 레이어 스킵 (Layer Skipping): 저자들은 특정 레이어 범위에 걸쳐 이미지 토큰의 계산을 우회하여 다운스트림 성능에 미치는 영향을 측정한다.
   • 어텐션 노크아웃 (Attention Knockout): 이미지 토큰에서 텍스트 토큰으로 향하는 어텐션 가중치를 $-\infty$로 설정하여, 단일 모달 상호작용은 유지하면서 교차 모달 정보 흐름을 효과적으로 차단한다.
   • 이러한 개입은 점진적으로 또는 슬라이딩 윈도우 방식으로 적용되어 교차 모달 통신의 "위치(locus)"를 식별한다.

2. 의미론적 프로빙 (Semantic Probing):

   • 레이블 중첩 (Label Overlap, LO) 및 선형 프로브 (Linear Probes): 저자들은 최종 토큰의 은닉 상태를 프로빙하여 레이어를 가로지르는 의미론적 추상화(예: 다지선다 과제에서의 분류 정확도)의 출현을 측정한다.
   • 로짓 렌즈 (Logit Lens): 선형적으로 분리 가능한 정답이 출력 어휘(vocabulary)와 언제 정렬되는지 평가하는 데 사용된다.

3. 기하학적 정렬 분석 (Geometric Alignment Analysis):

   • 정보 불균형 ($\Delta$): 의미론적으로 동등한 프롬프트(이미지+텍스트 vs. 텍스트 전용 캡션)의 은닉 표현을 비교하기 위해 방향성 지표를 사용한다. 이는 시각적 표현이 텍스트적 표현을 예측하는지, 혹은 그 반대인지를 측정하여 정보 내용의 비대칭성을 포착한다.
   • 대칭적 지표: 선형 CKA 및 이웃 중첩(Neighborhood Overlap)을 보완적인 유사성 측정 도구로 사용한다.

4. 국소적 미세 조정 (Localized Fine-Tuning):

   • 식별된 레이어의 기능적 필요성을 검증하기 위해, 저자들은 2단계 시각적 지시 미세 조정 과정을 중간 "추상화" 레이어로 제한한다.
   • 이들은 국소적 모델을 전체 미세 조정 베이스라인 및 보완적인 (초기 + 후기) 레이어에 대해 미세 조정된 모델과 비교한다.

주요 기여 및 결과

1. 중간 레이어가 다중 모달 통합의 핵심 위치이다

인과적 개입을 통해, 본 연구는 교차 모달 통합이 주로 중간 레이어에 국한되어 있음을 입증한다.

• 레이어 스킵: 초기 레이어(예: 처음 6개 레이어)에서 이미지 특징을 제거해도 성능에 미치는 영향은 미미하지만(90% 이상 유지), 중간 레이어에서 특징을 제거하면 성능이 무작위 수준으로 급격히 떨어진다.
• 어텐션 노크아웃: 초기 레이어에서 이미지-텍스트 어텐션을 차단해도 성능에 거의 영향을 주지 않는데, 이는 해당 레이어들이 단일 모달 처리를 담당함을 나타낸다. 성능 붕괴는 중간 범위에서 어텐션이 차단될 때 발생하며, 이는 이곳이 교차 모달 통신이 일어나는 지점임을 확인시켜 준다.
• 결론: 초기 레이어는 단일 모달 토큰 처리에 집중하는 반면, 중간 레이어는 시각-언어 통합을 위한 의미론적 핵심 역할을 수행한다.

2. 의미론적 추상화의 출현

프로빙 분석 결과, 고수준의 의미론적 추상화가 동일한 중간 레이어에서 출현함을 보여준다.

• 레이블 중첩: 최근접 이웃을 기반으로 입력을 분류하는 능력은 중간 레이어(예: LLaVA-7B의 경우 레이어 10, OneVision-4B의 경우 레이어 16)에서 정점을 찍은 후, 표현이 출력 어휘 정렬을 향해 이동함에 따라 후기 레이어에서 감소한다.
• 프로빙 정확도: 로지스틱 회귀 프로브는 이 중간 영역에서 모델의 전체 성능에 근접한 정확도를 달야내며, 이는 "추상화 단계"가 모델이 과제 관련 의미 개념을 구축하는 지점임을 시사한다.

3. 시각적 지시 미세 조정은 모달리티를 기하학적으로 정렬한다

정보 불균형을 사용하여 사전 학습된 모델과 미세 조정된 모델을 비교했을 때, 지시 미세 조정은 시각적 표현과 텍스트적 표현 사이의 정렬을 크게 강화한다.

• 정렬 구역 (Alignment Zone): 시각적 표현과 텍스트적 표현 사이의 가장 강력한 상호 예측 가능성은 개입을 통해 식별된 중간 레이어에서 발생한다.
• 비대칭성: 미세 조정 후에도 텍스트 표현이 시각적 표현보다 더 많은 정보를 유지한다(텍스트가 이미지를 더 잘 예측함). 그러나 중간 레이어는 두 모달리티 사이를 성공적으로 연결한다.

4. 국소적 미세 조정은 충분하며 효율적이다

저자들은 식별된 중간 추상화 레이어로 미세 조정을 제한하는 것이 전체 모델 성능을 복구하는 데 충분하다는 것을 입증한다.

• 성능: 중간 레이어(예: LLaVA-7B의 경우 레이어 6~16)만을 미세 조정하는 것은 다양한 벤치마크(MC VQA, OE VQA, Compositional, Captioning)에서 전체 미세 조정과 대등한 성능(베이스라인의 98.8%)을 달성한다.
• 효율성: 이 전략은 훈련 시간을 LLaVA의 경우 14%, OneVision의 경우 24% 단축시킨다.
• 시각 중심성: 국소적 튜닝의 성능 이점은 모델이 텍스트 사전 지식에 의존할 수 없는 "이미지 의존도(Image Reliance)"가 높은 작업(예: MMBench, ChartQA)에서 가장 두드러진다. 반대로 텍스트 비중이 높은 작업에서는 국소적 튜닝과 전체 튜닝 간의 격차가 좁아진다.

의의 및 주장

본 논문은 VLM에서의 다중 모달 통합이 LLM의 내부 추상화 엔진을 재목적화(repurposing)하는 데서 비롯된 국소적 현상이라고 주장한다.

• 메커니즘적 통찰: 본 연구는 시각적 지시 미세 조정이 LLM 백본을 균일하게 수정하는 것이 아니라, 구체적으로 중간 의미 레이어를 타겟팅하고 강화한다는 인과적 증거를 제공한다.
• 견해의 화해: 개입, 프로보잉, 기하학적 분석을 결합함으로써, 본 연구는 단일 모달 처리는 초기에 일어나고 생성은 후기에 일어난다는 기존의 상충하는 문헌들을 화해시키며, 결정적인 교차 모달 정렬은 중간에서 일어남을 확립한다.
• 실질적 함의: 연구 결과는 VLM의 전체 미세 조정이 반드시 필요하지 않을 수 있음을 시사한다. 중간 레이어에 대한 타겟팅된 적응만으로도, 특히 시각 중심적 작업에 대해 현저히 낮은 계산 비용으로 대등한 결과를 얻을 수 있다.

저자들은 자신의 분석이 오픈 웨이트 아키텍처에 국한되어 있으며, 경험적으로 근거를 둔 레이어 선택이 모든 잠재적 응용 분야에 대한 전역적 최적(global optimum)을 나타내지는 않을 수 있다는 점을 언급하며 주장에 신중함을 유지한다. 또한, 이러한 메커니즘이 다른 모달리티(오디오, 비디오) 및 다른 통합 전략(네이티브 엔드 투 엔드 학습)으로 확장되는지 조사하는 것을 향후 과제로 제안한다.