From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 로봇공학, 자율주행, 의료 영상 등 픽셀 수준의 비전 작업에 점점 더 많이 적용되고 있습니다. 특히 사전 훈련된 비전 인코더와 LLM 을 연결하는 어댑터 (Adapter) 방식의 아키텍처가 주목받고 있습니다.
• 문제: MLLM 이 이미지 분할 (Segmentation) 과 같은 공간 이해 작업에 얼마나 적합한지, 그리고 그 능력이 MLLM 스택의 어느 단계에서 발현되거나 저하되는지에 대한 메커니즘적 이해는 부족합니다.
• 핵심 의문:
  1. MLLM 전체 파이프라인 (비전 인코더 $\rightarrow$ 어댑터 $\rightarrow$ LLM) 을 거치면서 분할 성능은 어떻게 변화하는가?
  2. LLM 레이어를 통과하며 성능이 회복된다면, 이는 단순한 잔여 연결 (Residual connection) 의 부산물인가, 아니면 크로스 토큰 어텐션 (Cross-token attention) 에 의한 능동적인 자기 정제 (Self-refinement) 인가?
  3. 표준적인 인과적 어텐션 (Causal attention) 이 초기 이미지 토큰의 공간적 맥락 부재 (Context starvation) 를 초래하여 분할 성능을 제한하는가?

2. 방법론 (Methodology)

저자들은 MLLM 스택 전반에 걸친 분할 능력을 분석하기 위해 시스템적 개입 (Intervention-driven) 프레임워크를 제안했습니다.

가. 레이어별 선형 프로빙 (Layerwise Linear Probing)

• 프로세스: 고정된 (Frozen) MLLM 모델에서 비전 인코더 출력, 어댑터 출력, 그리고 각 LLM 레이어의 중간 은닉 상태 (Hidden state) 를 추출합니다.
• 평가: 각 단계에서 추출된 이미지 패치 토큰 표현에 대해 독립적인 선형 프로브 (Linear probe) 를 훈련하여 클래스 분류 정확도 (mIoU) 를 측정합니다.
• 목표: 분할 관련 정보가 어디에서 손실되고 (Drop-off), 어디서 회복되는지 (Recovery) 정량적으로 파악합니다.

나. 어텐션 녹아웃 (Attention Knockout) 실험

• 개념: 특정 클래스의 토큰이 다른 토큰의 어텐션에 미치는 영향을 차단하여 자기 정제 메커니즘을 검증합니다.
• 조건:
  1. 오분류된 클래스 차단: 모델이 잘못 분류한 토큰 (예: 천장을 하늘로 잘못 인식) 의 어텐션을 차단합니다.
  2. 정확 분류된 클래스 차단: 모델이 올바르게 분류한 토큰 (예: 천장) 의 어텐션을 차단합니다.
• 목표: 올바른 토큰이 '의미적 앵커 (Semantic Anchor)' 역할을 하여 오분류된 이웃을 올바른 라벨로 끌어당기는지 확인합니다.

다. 양방향 어텐션 (Bidirectional Attention) 도입

• 변경: 표준적인 인과적 어텐션 (이전 토큰만 참조) 대신, 이미지 토큰 간에만 양방향 어텐션을 허용하도록 마스크를 수정합니다. (텍스트 생성은 여전히 인과적 유지)
• 목표: 초기 이미지 토큰이 겪는 '맥락 기아 (Context starvation)' 현상을 완화하여 공간적 일관성이 개선되는지 확인합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

1. 어댑터에서의 표현력 저하 (Representation Drop-off)

• 발견: 비전 인코더에서 어댑터를 거쳐 LLM 임베딩 공간으로 프로젝션되는 과정에서 분할 성능 (mIoU) 이 일관되게 감소합니다.
• 이유: 어댑터는 세밀한 공간적 충실도 (Spatial fidelity) 를 희생하고 언어 임베딩 공간과의 교차 모달 정렬 (Cross-modal alignment) 을 우선시하기 때문입니다.
• 차이점: CLIP, SigLIP(텍스트 정렬된 인코더) 는 감소폭이 작고, DINOv2(비전 전용) 는 감소폭이 큽니다.

2. LLM 레이어를 통한 점진적 회복 (Progressive Recovery)

• 발견: 어댑터 이후 LLM 레이어를 통과할수록 분할 성능이 점진적으로 회복되어 최종적으로는 비전 인코더 베이스라인을 능가하거나 비슷해집니다.
• 메커니즘: 이는 단순한 잔여 연결의 효과가 아니라, 크로스 토큰 어텐션에 의한 능동적인 자기 정제 과정입니다.
• 증거 (어텐션 녹아웃):
  • 오분류 토큰 차단 시: 오분류가 빠르게 수정됨 (오류가 다른 토큰에 의해 강화되었음을 의미).
  • 정확 분류 토큰 차단 시: 자기 정제 능력이 현저히 저하됨. 이는 올바르게 분류된 토큰이 의미적 앵커 역할을 하여 오분류된 이웃을 올바른 라벨로 유도함을 시사합니다.

3. 초기 토큰의 맥락 기아 및 양방향 어텐션의 효과

• 문제: 인과적 어텐션 하에서는 이미지 순서상 앞선 토큰들 (특히 첫 번째 토큰) 이 이후의 시각적 맥락을 볼 수 없어 공간적 맥락이 부족합니다. 이로 인해 초기 패치들의 분류 정확도가 낮게 유지됩니다.
• 해결: 이미지 토큰 간 양방향 어텐션을 도입하면 초기 토큰의 정확도가 크게 향상됩니다 (예: 첫 번째 패치의 정확도 14.35%p 상승).
• 인코더 영향: 텍스트와 정렬된 인코더 (CLIP, SigLIP) 는 LLM 레이어의 정제 효과를 더 잘 활용하여 큰 개선을 보인 반면, 비전 전용 인코더 (DINOv2) 는 개선 폭이 작았습니다.

4. 언어 이해 능력 유지

• 이미지 토큰 간 양방향 어텐션을 도입하더라도 VQA(Visual Question Answering) 벤치마크 성능은 대부분 유지되거나 오히려 향상되었습니다. 이는 분할 성능 향상이 언어 능력을 해치지 않음을 의미합니다.

4. 의의 및 결론 (Significance)

• 메커니즘적 통찰: MLLM 이 분할 작업을 수행할 때, 어댑터에서 공간 정보가 일시적으로 손실되지만, LLM 레이어의 어텐션 메커니즘을 통해 '의미적 앵커'가 이웃 토큰을 정제함으로써 회복된다는 것을 밝혔습니다.
• 디자인 가이드:
  • 어댑터 설계: 어댑터가 공간 정보를 과도하게 희생하지 않도록 주의해야 함.
  • 어텐션 전략: 분할 작업이 주된 목적이라면, 텍스트 생성 순서만 유지하면서 이미지 토큰 간에는 양방향 어텐션을 허용하는 것이 초기 토큰의 성능 저하를 막는 데 효과적입니다.
  • 인코더 선택: 텍스트와 정렬된 비전 인코더 (CLIP, SigLIP 등) 를 사용하는 것이 LLM 레이어의 정제 능력을 극대화하는 데 유리합니다.
• 한계: 현재 연구는 LLaVA 유형의 아키텍처에 국한되어 있으며, 더 복잡한 헤드를 사용한 실제 분할 성능은 선형 프로빙보다 높을 수 있습니다.

요약하자면, 이 논문은 MLLM 이 분할 작업을 수행하는 과정에서 발생하는 '손실과 회복'의 메커니즘을 규명하고, 이를 통해 더 효율적이고 해석 가능한 분할 가능 MLLM 을 설계하기 위한 실용적인 지침을 제시합니다.