Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 가구나 제품 조립은 종종 2D 도면 (IKEA 매뉴얼과 같은) 으로 제공되며, 이는 추상적이고 이해하기 어렵습니다. 증강현실 (MR) 기반의 지능형 조립 보조 시스템은 사용자의 카메라 피드 (실제 영상) 와 도면 지시문을 실시간으로 정렬하여 오류를 감지하고 다음 단계를 안내해야 합니다.
• 핵심 문제 (Depiction Gap, 묘사 간극): 기존 비전 - 언어 모델 (VLM) 은 이 작업을 수행하기 어렵습니다. 그 이유는 도면 (schematic diagrams) 과 실제 영상 (photorealistic video frames) 이 동일한 조립 단계를 묘사함에도 불구하고 시각적 특징 (색상, 질감, 조명 등) 이 완전히 다르기 때문입니다.
• 한계: 기존 연구들은 정적 객체 인식이나 텍스트 기반 지시문에 집중했으나, 시간적 맥락이 포함된 '도면 - 영상' 정렬 과제를 체계적으로 평가할 벤치마크와 분석이 부족했습니다.

2. 방법론 (Methodology)

2.1 IKEA-Bench 벤치마크 구축

• 데이터: IKEA Manuals at Work 데이터셋을 기반으로 29 가지 IKEA 가구 제품에 대한 1,623 개의 질문을 구성했습니다.
• 작업 유형 (6 가지):
  • T1 (단계 인식): 영상에서 현재 수행 중인 조립 단계를 도면 옵션 중 하나와 매칭.
  • T2 (단계 검증): 영상과 특정 도면이 일치하는지 여부 판단.
  • T3 (진행 상황 추적): 전체 도면 목록 중 현재 영상 단계 위치 찾기.
  • T4 (다음 단계 예측): 현재 영상 이후의 다음 조립 단계 도면 예측.
  • D1 (영상 구별): 서로 다른 조립 단계의 영상을 구분하는 능력 (단일 모달리티 진단).
  • D2 (지시문 이해): 도면의 순서를 올바르게 배열하는 능력 (단일 모달리티 진단).
• 정렬 전략 (Alignment Strategies):
  1. Visual: 도면 이미지와 영상만 입력 (전체 묘사 간극 노출).
  2. Visual+Text: 도면 이미지와 함께 텍스트 설명을 추가 (간극을 텍스트로 연결).
  3. Text Only: 도면 이미지를 텍스트 설명으로 완전히 대체 (묘사 간극 제거).

2.2 실험 설정

• 모델 평가: 19 개의 VLM(17 개 오픈소스, 2 개 상용 모델) 을 평가했습니다. 파라미터 수는 2B~38B 범위이며, Qwen, InternVL, Gemma 등 8 가지 아키텍처 패밀리를 포함합니다.
• 메커니즘 분석 (3 층 구조):
  1. Layer 1 (ViT 표현): 도면과 영상이 시각 인코더 (ViT) 의 특징 공간에서 공유되는지 분석 (CKA, 선형 프로브, 크로스-모달 검색).
  2. Layer 2 (LLM 은닉 상태): 텍스트 추가가 모델이 도면 정보에 의존하는 정도를 줄이는지 분석 (코사인 유사도 기반 영향도 점수).
  3. Layer 3 (어텐션 라우팅): 텍스트가 시각적 입력 (도면, 영상) 으로 가는 어텐션 비중을 어떻게 분산시키는지 분석.

3. 주요 결과 (Key Results)

3.1 벤치마크 성능

• 낮은 정렬 정확도: 도면 - 영상 정렬 (T1) 의 평균 정확도는 오픈소스 모델 기준 약 45.6% 로 낮으며, 상용 모델 (Gemini) 이더라도 65% 수준에 그쳐 배포 수준의 신뢰성을 확보하지 못했습니다.
• 프로시저 추론의 어려움: 현재 단계 인식 (T1) 보다 다음 단계 예측 (T4) 의 성능이 현저히 떨어집니다 (평균 12.2%p 감소).
• 아키텍처의 중요성: 파라미터 수 (크기) 보다 모델 아키텍처 패밀리 (Family) 가 성능을 더 잘 예측합니다. 예를 들어, 같은 8B 크기라도 최신 Qwen3.5 가 이전 세대나 MoE 구조보다 성능이 뛰어납니다.
• 텍스트의 역설적 효과:
  • D2 (지시문 이해): 텍스트를 추가하거나 도면을 텍스트로 대체하면 이해도가 크게 향상됩니다 (+23.6%p).
  • T1 (정렬): 텍스트를 추가하면 오히려 도면 - 영상 정렬 성능이 악화됩니다 (-3.1%p). 텍스트가 시각적 매칭을 방해합니다.

3.2 메커니즘 분석 결과

• Layer 1 (불연속 표현 공간): 도면과 영상은 ViT(Visual Transformer) 수준에서 완전히 분리된 표현 공간 (Disjoint Subspaces, CKA ≈ 0) 에 존재합니다. 시각 인코더가 두 모달리티를 공유하는 공간으로 매핑하지 못합니다.
• Layer 2 & 3 (텍스트의 방해): 텍스트를 입력하면 모델이 도면 정보를 사용하는 정도가 감소하고, 어텐션이 텍스트 토큰으로 쏠려 시각적 입력 (도면 및 영상) 에 대한 처리 비중이 줄어듭니다. 즉, 텍스트가 시각적 추론을 방해 (Distraction) 합니다.
• 병목 현상: 조립 지시문 이해 (D2) 는 텍스트로 해결 가능하지만, 영상 이해 (D1) 는 모든 전략에서 낮은 성능을 보이며 해결되지 않는 '하드 병목 (Hard Ceiling)' 으로 확인되었습니다.

4. 주요 기여 (Key Contributions)

1. IKEA-Bench: 2D 조립 매뉴얼 기반의 지시 정렬을 평가하는 최초의 벤치마크 (6 가지 작업, 3 가지 전략, 1,623 개 질문).
2. 메커니즘 분석: 도면 - 영상 정렬 실패의 원인을 시각 인코더의 표현 공간 불일치와 텍스트에 의한 시각적 주의 분산에서 규명했습니다.
3. 실용적 가이드라인:
   • 모델 선택 시 파라미터 수보다 아키텍처 패밀리를 우선시해야 함.
   • 정렬 (Matching) 작업에는 'Visual' 전략이, 지시문 이해에는 'Text Only' 전략이 더 적합함.
   • 향후 연구는 시각 인코더의 개선 (도면 - 실제 영상 대비 학습) 에 초점을 맞춰야 함.

5. 의의 및 시사점 (Significance)

이 논문은 VLM 이 복잡한 실제 세계 작업 (조립) 에서 직면하는 근본적인 한계를 체계적으로 규명했습니다. 단순히 모델 크기를 키우거나 텍스트를 추가하는 것만으로는 '묘사 간극 (Depiction Gap)'을 해결할 수 없음을 증명했습니다. 특히, 시각 인코더가 추상 도면과 실제 영상을 통합하지 못한다는 점과 텍스트가 오히려 시각적 추론을 방해할 수 있다는 점은 향후 멀티모달 AI 개발에 중요한 통찰을 제공합니다. 이는 증강현실 기반 조립 보조 시스템, 로봇 조립, 그리고 기술 문서 이해 분야에서 더 강력한 비전 인코더와 새로운 학습 전략의 필요성을 강조합니다.