Why MLLMs Struggle to Determine Object Orientations

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 이미지 내 객체의 2 차원 방향 (Orientation) 을 추론하는 작업에서 현저히 낮은 성능을 보입니다. 기존 연구들 (Tong et al., Nichols et al. 등) 은 MLLM 의 이러한 실패 원인이 시각 인코더 (Visual Encoder) 에 있다고 가정했습니다.

• 기존 가설: CLIP, SigLIP 와 같은 널리 사용되는 시각 인코더는 이미지 - 텍스트 의미 정렬 (Semantic Alignment) 에 최적화되어 있을 뿐, 기하학적 추론이나 객체 방향 정보를 인코딩하도록 훈련되지 않았기 때문에, 방향 정보가 임베딩 벡터에 존재하지 않아 MLLM 이 이를 활용할 수 없다는 것입니다.

2. 연구 방법론 (Methodology)

저자들은 위 가설을 검증하기 위해 시각 인코더의 내부 표현 (Embeddings) 에서 방향 정보를 직접 추출할 수 있는지 실험적으로 검증했습니다.

• 사용 모델 및 인코더:
  • LLaVA-OneVision: SigLIP 인코더 사용.
  • Qwen2.5-VL-7B-Instruct: ViT (Vision Transformer) 인코더 사용.
  • LLaVA-1.5 및 1.6: CLIP 인코더 사용.
• 데이터셋 구성:
  • 전체 이미지 회전: ImageNet 의 전체 이미지를 1 도 단위로 회전시킨 데이터셋.
  • 배경 고정 객체 회전: SI-Score 데이터셋을 활용하여 배경은 고정하고 객체만 회전시킨 데이터셋.
  • 합성 이미지 (Blended Images): 자연스러운 배경 위에 원형 마스크를 적용하여 전경 (Foreground) 객체를 회전시킨 이미지 (LLaVA 1.5/1.6 테스트용).
• 실험 프로토콜:
  1. 각 모델에 회전된 이미지를 입력하여 시각 인코더의 임베딩 벡터를 추출합니다.
  2. 추출된 임베딩 벡터를 입력으로 사용하여 선형 릿지 회귀 (Linear Ridge Regressor) 를 훈련시켜 객체의 회전 각도 (sin/cos 값) 를 예측합니다.
  3. 가설: 만약 시각 인코더가 방향 정보를 포함하지 않는다면, 선형 모델은 임의의 각도를 예측할 수 없을 것입니다 (성능이 무작위 수준이어야 함).
• 추가 분석:
  • 오차 분포 분석: 예측 오차가 정규 분포 (Gaussian) 를 따르는지 통계적 검정 (Kolmogorov-Smirnov test) 을 수행.
  • 특성 치환 실험 (Feature Substitution): 방향 정보를 인코딩하는 데 몇 개의 특징 (Feature) 이 관여하는지 확인하기 위해, 기준 임베딩 (Anchor) 의 특징을 타겟 임베딩에 점진적으로 치환하며 예측기가 방향을 인식하는지 관찰.

3. 주요 결과 (Key Results)

A. 시각 인코더는 방향 정보를 잘 보존함 (Null Hypothesis Rejection)

• 예측 정확도: 선형 회귀 모델은 시각 인코더의 임베딩에서 객체의 회전 각도를 평균 절대 오차 (MAE) 3 도 이내로 매우 정확하게 예측했습니다.
• 모델별 성능: LLaVA-OneVision, Qwen2.5-VL, LLaVA 1.5/1.6 등 모든 테스트된 모델에서 SigLIP, ViT, CLIP 인코더가 방향 정보를 고도로 정확하게 인코딩하고 있음이 입증되었습니다.
• 결론: MLLM 이 방향 추론에 실패하는 원인은 시각 인코더가 방향 정보를 포함하지 않기 때문이 아님이 확인되었습니다. 기존 가설은 기각되었습니다.

B. 오차의 분포

• 방향 예측 오차는 무작위적이며 정규 분포 (Gaussian) 를 따르는 것으로 나타났습니다. 이는 신경망의 본질적인 확률적 특성 (Stochasticity) 에 기인한 것으로, 방향 정보가 명확하게 존재함을 시사합니다.

C. 방향 정보의 분산 (Diffuse Distribution)

• 특성 치환 실험 결과: 방향 정보를 인코딩하는 정보가 특정 몇 개의 특징에 집중되어 있는 것이 아니라, 수만 개 (수십만 개) 의 특징에 걸쳐 매우 분산 (Diffusely) 되어 있음이 발견되었습니다.
  • LLaVA-OneVision 의 경우 약 540,000 개 이상의 특징을 치환해야 예측기가 방향을 잘못 인식했습니다.
  • Qwen2.5-VL 의 경우 약 128,000 개 이상의 특징 치환이 필요했습니다.
• 이는 언어 모델 (LLM) 이 이러한 분산된 정보를 효과적으로 추출하고 활용하는 데 어려움을 겪고 있음을 시사합니다.

D. 배경의 영향

• 전경 객체의 방향 추정은 배경의 표준 방향 (Canonical Orientation) 에 민감하게 의존합니다. 배경이 회전된 경우, 전경의 방향 추정 성능이 급격히 저하되는 현상이 관찰되었습니다.

4. 기여도 (Contributions)

1. 가설 반박: MLLM 의 방향 추론 실패 원인이 시각 인코더 (CLIP/SigLIP/ViT) 의 부재가 아님을 실험적으로 증명했습니다. 인코더는 ±3 도 이내의 정밀도로 방향 정보를 보존합니다.
2. 정보의 분산 특성 규명: 방향 정보가 임베딩 벡터의 수만 개 특징에 걸쳐 분산되어 있음을 발견했습니다. 이는 MLLM 이 이러한 정보를 활용하지 못하는 새로운 원인을 제시합니다.
3. 배경 의존성 발견: 전경 방향 추정이 배경의 방향에 의존적임을 밝혀, 향후 MLLM 훈련 및 평가 시 배경의 중요성을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 MLLM 의 공간 추론 실패 원인을 단순히 "시각 인코더의 한계"로 돌리는 기존 관점을 뒤집었습니다. 핵심 문제는 정보가 존재하지 않아서가 아니라, 정보가 너무 분산되어 있어 언어 모델이 이를 효과적으로 '읽어내고' 추론하는 데 실패한다는 점입니다.

• 시사점: 향후 MLLM 의 공간 추론 능력을 향상시키기 위해서는 시각 인코더를 재훈련하는 것보다, 분산된 방향 정보를 언어 모델이 효과적으로 통합하고 활용할 수 있는 아키텍처 개선이나 훈련 전략 (예: 배경 회전 데이터 포함 등) 이 필요함을 시사합니다.
• 향후 과제: 분산된 정보를 집중화하거나, 언어 모델이 이러한 미세한 신호를 포착할 수 있도록 하는 메커니즘 연구가 필요하다고 결론지었습니다.