Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

"비전-언어 모델이 시선 방향을 머리 방향과 혼동한다: 비언어적 대화 단서" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

비전 - 언어 모델 (VLM) 은 인간 - 로봇 상호작용 및 사회적 AI 를 촉진하기 위해 시선과 같은 비언어적 의사소통 단서를 이해할 수 있어야 한다는 기대가 커지고 있습니다. 전문적인 시선 추정 모델이 존재하지만, 이러한 모델들은 VLM 이 가진 일반적 추론 능력을 갖추지 못했습니다. 그러나 제로샷 (zero-shot) 환경에서 VLM 이 시선 대상(사람이 무엇을 보고 있는지) 을 정확하게 추론할 수 있는지, 특히 눈의 외형(눈의 실제 방향) 과 머리 방향(얼굴이 향하는 방향) 을 구별할 수 있는지는 여전히 불분명합니다.

본 연구에서 조사된 핵심 문제는 VLM 이 미묘한 눈의 단서를 기반으로 시선을 추론할 수 있는 근본적인 능력을 갖추었는지, 아니면 눈이 다른 곳을 보고 있더라도 사람이 머리가 향하는 방향으로 보고 있다고 가정하는 휴리스틱 편향에 의존하는지 여부입니다.

2. 방법론

A. 데이터셋 및 자극 구성

저자들은 2~4 개의 물체가 있는 테이블에 앉아 있는 한 명의 사람이 등장하는 1,360 개의 실제 사진으로 구성된 통제된 데이터셋을 구축했습니다.

• 통제 변수:
  • 시선 대상: 사람이 보고 있는 특정 물체.
  • 머리 대상: 사람의 머리가 향하는 방향.
  • 조건:
    • 일치 조건 (Congruent): 머리와 눈이 같은 물체를 향함.
    • 불일치 조건 (Incongruent): 머리는 한 물체를 향하지만 눈은 다른 물체를 봄 (핵심 테스트 사례).
    • 자연 조건 (Natural): 머리 방향이 제약되지 않지만 편안함.
  • 조작 변수: 뷰 앵글 (정면, 왼쪽, 오른쪽), 물체 근접도 (13, 3 이 가장 가까움), 물체 수 (24 개).
• 참신성: 빛과 그림자의 통계적 규칙성을 보장하기 위해 실제 사진 (합성 이미지가 아님) 을 사용했으나, 학습 데이터와의 중복을 최소화할 만큼 충분히 새로운 이미지였습니다.

B. 실험 설계

• 평가된 모델: 사전 파일럿에서 111 개의 VLM 을 테스트했으며, 주요 연구에서는 최상위 성능 모델인 GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2, GLM-4.6V에 집중했습니다.
• 베이스라인: 전문 시선 기능을 갖춘 하이브리드 모델인 Moondream2와 미세 조정된 비전 모델인 GazeLLE와 같은 전문 모델을 포함했습니다.
• 작업: "이 사람이 보고 있는 물체는 무엇인가?"라는 객관식 질문 형식으로, 옵션은 무작위로 배치되었습니다.
• 평가 프로토콜: 각 VLM 은 통계적 검정력을 확보하기 위해 서로 다른 프롬프트 템플릿으로 1,360 장의 이미지를 16 회씩 보았습니다 (모델당 총 약 21,760 회 시도).

C. 특성화 프레임워크

저자들은 모델 행동을 다섯 가지 가설 유형으로 분류하기 위한 일련의 경험적 테스트를 제안했습니다 (논문의 Figure 2 참조):

1. 시선 유능 (Gaze-competent): 인간 수준의 정밀도.
2. 눈 인식 (Eye-aware): 인간보다 정밀도는 낮지만 머리 방향에 크게 편향되지 않음.
3. 머리 우세 (Head-dominant): 시선을 정확하게 해결하지 못함; 휴리스틱으로 머리 방향에 크게 의존함.
4. 머리 전용 (Head-only): 눈의 외형을 거의 무시함.
5. 눈 - 머리 양가적 (Eye-head ambivalent): 머리와 시선 대상 사이를 무작위로 오가며 선택함.

주요 테스트:

• 테스트 1 (성능 격차): VLM 정확도와 인간 참가자의 정확도를 비교.
• 테스트 2 (머리 편향): 머리와 시선이 다를 때 모델이 시선 대상보다 머리 대상을 더 자주 선택하는가? 불일치 조건에서 성능이 크게 떨어지는가?
• 테스트 3 (시선 반응성): 머리 대상과 시선 대상 사이의 거리가 증가함에 따라 모델의 오차 거리가 증가하는가?
• 테스트 4 (동전 던지기): 머리와 시선 대상 사이의 물체 수에 따라 모델의 선택 분포가 변하는가?

D. 완화 실험 (개념 증명)

편향이 아키텍처적인지 데이터 주도적인지 확인하기 위해 저자들은 GazeLLE 를 특정 자극 세트 (7:1:2 학습/검증/테스트 분할) 로 미세 조정했습니다.

3. 주요 결과

A. 성능 격차

• 인간: 파일럿 자극에서 **89%**의 정확도를 달성했습니다.
• VLM: 대부분의 모델은 무작위 추측 (42%) 에 가까운 성능을 보였습니다. 최상위 모델 (GPT-5.2, GPT-4o) 조차도 주요 연구 자극 (자연 조건) 에서 **3046%**의 정확도만 달성했습니다.
• 전문 모델: Moondream2 와 GazeLLE 도 제로샷 환경에서 인간 수준에 도달하지는 못했으나, GazeLLE 는 일반 VLM 보다 더 나은 성능을 보였습니다.

B. 머리 방향 편향

• 주된 실패 모드: 대부분의 VLM 은 강력한 머리 우세 (Head-Dominant) 편향을 보였습니다.
  • 불일치 조건에서 모델들은 눈이 보고 있는 물체보다 머리가 향하는 물체를 자주 선택했습니다.
  • 테스트 2.1: GPT-5.2 와 Qwen3 는 우연보다 훨씬 더 자주 (각각 62% 와 57%) 시선 대상보다 머리 대상을 선택했습니다.
  • 테스트 2.3: 머리 대상과 시선 대상이 다를 때 성능이 급격히 떨어졌습니다 (예: GPT-5.2 는 일치 조건에서 45% 였던 정확도가 불일치 조건에서 28% 로 하락).
• 근접도 효과: 물체가 서로 가까울수록 모델의 성능이 저하되어, 모델은 시각 정보를 사용하지만 세밀한 변별에는 어려움을 겪음을 시사합니다.
• 뷰 효과: 인간은 정면과 측면에서 모두 높은 정확도를 유지하는 반면, 모델들은 정면보다 측면에서 눈의 외형에 대한 민감도가 낮았습니다.

C. 원인 분석

저자들은 여러 대안적 설명을 배제했습니다:

• 해상도: 해상도를 높여도 (최대 1024x1024) 정확도가 향상되지 않았습니다.
• 물체 명명: 모델들은 물체를 정확하게 식별할 수 있었으며, 오류는 시선과 물체를 연결하는 데 있었습니다.
• 아키텍처/크기: 더 큰 모델 (더 많은 파라미터) 과 최신 릴리스는 유의미한 개선을 보이지 않았습니다.
• 결론: 편향은 아마도 데이터 주도적일 것입니다. 학습 데이터 (인터넷 이미지) 는 머리와 시선이 일치하는 경우를 과대표하고, "눈치 보는 시선"이나 불일치 단서를 과소대표하여, 모델에게 눈과 머리의 해리 (decoupling) 에 대한 사회적 뉘앙스를 가르치지 못했습니다.

D. 미세 조정 결과

• 특정 데이터셋으로 GazeLLE 를 미세 조정하면 편향이 크게 완화되었습니다.
• 불일치 조건: 정확도가 사전 학습된 **15.65%**에서 미세 조정 후 **34.15%**로 급증했습니다.
• 일치 조건: modest하게 향상되었습니다 (62.82% → 70.00%).
• 시사점: 모델은 충분한 반대 예시에 노출되면 눈의 외형에 의존하도록 학습할 수 있음을 보여주어, 데이터 분포 가설을 확인시켜 주었습니다.

4. 주요 기여

1. 경험적 특성화: 단순한 정확도 벤치마크를 넘어 모델이 어떻게 실패하는지 (예: 머리 우세 대 눈 인식) 이해하기 위해 VLM 시선 추론 행동을 분류하는 엄격한 프레임워크를 도입했습니다.
2. 데이터셋 제작: 머리 방향과 시선 방향을 분리하도록 특별히 설계된 1,360 개의 고품질 통제된 실제 이미지 데이터셋을 공개했습니다.
3. 편향 식별: 현재 최첨단 VLM 들이 눈의 외형을 분석하기보다 "머리 방향 휴리스틱"에 의존하여 인간과 비교해 상당한 성능 격차를 초래한다는 강력한 증거를 제시했습니다.
4. 데이터 중심 통찰: 미세 조정을 통해 이 편향이 선천적인 아키텍처적 한계가 아니라 학습 데이터 분포의 결과임을 입증하여 개선에 대한 명확한 경로를 제시했습니다.

5. 중요성과 향후 방향

• 사회적 AI: 로봇과 대화형 에이전트가 자연스럽게 상호작용하려면 참조 모호성을 해결하고 의도를 추론하기 위해 시선을 이해해야 합니다. 현재 VLM 은 이 작업에 신뢰할 수 없습니다.
• 평가 방법론: 이 논문은 인터넷 이미지에서의 벤치마킹 (여기서는 머리 휴리스틱이 종종 충분함) 이 아니라, 인지 과학과 유사한 "가설 주도 평가"와 통제된 행동 프로빙을 옹호합니다.
• 학습 권장 사항: 향후 VLM 은 몸/머리 방향과 눈의 외형 사이의 상호작용을 명시적으로 포착하는 학습 데이터, 특히 머리와 눈이 서로 다른 방향을 향하는 "불일치" 사례를 포함해야 합니다.
• 윤리적 고려사항: 저자들은 현재 모델은 이러한 기술을 갖추지 못하지만, 기술이 발전함에 따라 동의 없이 비언어적 단서를 해석할 수 있는 기계의 잠재력은 관리해야 할 사회적 위험이라고 경고합니다.

요약하자면, 이 논문은 현재 VLM 들이 고급 능력을 갖추고 있음에도 불구하고 인간의 미묘한 시선 단서에는 "맹목"이며, 단순하고 종종 잘못된 머리 방향 휴리스틱을 기본으로 사용한다는 것을 드러냈습니다. 이러한 한계는 표적 데이터 큐레이션과 미세 조정을 통해 해결 가능합니다.