Seeing Isn't Orienting: A Cognitively Grounded Benchmark Reveals Systematic Orientation Failures in MLLMs Supplementary

이 논문은 기존 벤치마크가 방향성 이해를 제대로 평가하지 못한다는 점을 지적하며, 인간 인지에 기반한 계층적 벤치마크 'DORI'를 제안하고 최신 멀티모달 모델들이 객체 중심 방향성 추론에서 체계적인 실패를 보임을 입증했습니다.

핵심

이 논문은 **"MLLM(멀티모달 대형 언어 모델) 은 물체를 '보는' 것만으로는 그 방향을 제대로 이해하지 못한다"**는 놀라운 사실을 발견한 연구입니다.

쉽게 비유하자면, AI 가 사진 속 사물을 '인식'하는 능력은 뛰어나지만, 그 사물이 '어떤 자세'로 서 있는지, 혹은 '어느 쪽을 보고' 있는지 이해하는 능력은 여전히 매우 초보적이라는 이야기입니다.

이 내용을 일상적인 언어와 재미있는 비유로 설명해 드릴게요.

---

1. 연구의 배경: "눈은 멀쩡한데, 방향감각은 왜 안 좋을까?"

우리는 사진을 보면 "저 차는 카메라를 향해 오고 있구나" 혹은 "저 의자는 옆으로 돌아있네"라고 금방 알 수 있습니다. 하지만 최신 AI 모델들은 이 간단한 질문에도 엉뚱한 답을 내놓습니다.

기존의 AI 테스트들은 "물체가 어디에 있나?", "무엇인가?" 같은 큰 그림을 물어봤습니다. 하지만 이 연구팀은 **"AI 가 물체의 방향을 얼마나 정확히 이해하는가?"**에 집중한 새로운 시험지, **'DORI'**를 만들었습니다.

2. DORI 란 무엇인가? (AI 의 '방향 감각' 시험지)

이 연구팀은 인간이 방향을 이해하는 과정을 4 단계로 나누어 AI 를 시험했습니다. 마치 운전 면허 시험에서 '좌회전', '우회전', '역주행'을 구분하듯이 말이죠.

1. 얼굴 보기 (Frontal Alignment): "저 물체가 카메라를 보고 있니, 아니면 등을 보이고 있니?"
   • 비유: 친구가 당신을 보고 있는지, 뒷모습만 보이고 있는지 구별하는 것.
2. 회전하기 (Rotational Transformation): "이 의자를 카메라 쪽으로 돌리려면 얼마나 돌려야 할까?"
   • 비유: 마당에 있는 의자를 테이블 쪽으로 돌릴 때, 몇 도를 돌려야 하는지 머릿속으로 시뮬레이션하는 것.
3. 서로 보기 (Relative Orientation): "저 두 자동차가 서로를 보고 있니, 아니면 같은 방향을 보고 있니?"
   • 비유: 두 사람이 서로 마주 보고 있는지, 아니면 나란히 서 있는지 파악하는 것.
4. 자연스러운 자세 (Canonical Orientation): "이 컵이 거꾸로 뒤집혀 있진 않니?"
   • 비유: 컵은 입구가 위로, 바닥이 아래로 있어야 '정상'인데, 거꾸로 되어 있으면 이상하다는 것을 아는 것.

3. 놀라운 결과: AI 는 여전히 '방향 감각'이 부족하다

연구팀은 24 개의 최신 AI 모델에게 이 시험을 보게 했습니다. 결과는 충격적이었습니다.

• 일반적인 공간 감각은 좋지만, 방향 감각은 엉망: AI 는 "물체가 왼쪽에 있다"는 건 잘 알아맞히지만, "물체가 45 도 각도로 기울어져 있다"거나 "어느 쪽을 보고 있다"는 건 거의 무작위 추측 (동전 던지기) 수준이었습니다.
• 단순한 건 잘하지만, 복잡한 건 못함: "앞을 보고 있니?" 같은 쉬운 문제는 잘 풀었지만, "이 물체를 90 도 돌린 후 다시 180 도 뒤집으면 어떻게 될까?" 같은 복잡한 회전 문제는 완전히 망쳤습니다.
• 가장 큰 문제는 '서로 보기': 두 물체가 서로를 향해 있는지 판단하는 문제는 AI 가 가장 어려워했습니다. 마치 거울 속의 나를 보고 내가 누구인지 모른 채, 옆에 있는 사람과 내가 서로 마주 보고 있는지 헷갈리는 것과 같습니다.

4. 왜 이런 일이 일어날까? (AI 의 두뇌 구조 문제)

연구팀은 AI 가 방향을 이해하지 못하는 이유를 인간의 뇌와 AI 의 뇌가 다르기 때문이라고 설명합니다.

• 인간의 뇌: 우리는 물건을 들거나, 돌리거나, 주변을 돌아다니며 (신체 경험) 방향감을 자연스럽게 배웁니다.
• AI 의 뇌: AI 는 수많은 사진과 텍스트를 '읽고' 패턴을 외웠을 뿐, 물리적으로 물건을 돌려본 경험이 없습니다.
  • 비유: 요리 책만 100 권 읽은 요리사는 '소금'이 무엇인지, '불'이 무엇인지 말로 설명할 수는 있어도, 실제로 소금을 넣고 불을 조절하며 요리를 해본 적은 없습니다. 그래서 "소금 3g 을 넣고 5 분 동안 끓여라"라는 지시를 들으면, 소금의 양이나 시간의 흐름을 직관적으로 이해하지 못해 엉뚱한 요리를 만들어냅니다.

5. 이 연구가 중요한 이유

이 발견은 로봇 공학이나 증강현실 (AR) 같은 분야에서 매우 중요합니다.

• 로봇 팔: 로봇이 컵을 잡으려면 컵의 손잡이가 어느 쪽을 보고 있는지 정확히 알아야 합니다. 방향을 모르면 컵을 엎어뜨리거나 잡을 수 없습니다.
• 자율주행: 차가 옆차와 충돌하지 않으려면, 옆차가 어느 방향으로 가고 있는지, 그리고 그 차가 나를 보고 있는지 등을 정확히 파악해야 합니다.

6. 결론: "보는 것 (Seeing) 은 방향을 아는 것 (Orienting) 이 아니다"

이 논문의 핵심 메시지는 **"AI 가 물체를 '인식'할 수 있다고 해서, 그 물체의 '방향'과 '자세'를 이해하는 것은 아니다"**라는 것입니다.

현재의 AI 는 사진 속의 개를 '개'라고 부르는 건 잘하지만, 그 개가 "누군가를 향해 달려가고 있는지, 아니면 그냥 서 있는지"를 깊이 있게 이해하지는 못합니다. AI 가 진짜로 현실 세계를 이해하고 로봇처럼 행동하려면, 단순히 더 많은 데이터를 학습하는 것을 넘어, 방향과 공간에 대한 새로운 학습 방식이 필요하다는 것을 이 연구는 보여줍니다.

한 줄 요약:

AI 는 사진 속 사물을 '이름' 부르는 건 천재지만, 그 사물이 '어느 쪽을 보고' 있는지 '어떻게 돌아있는지'를 이해하는 건 여전히 초보생입니다.

기술 요약

1. 문제 제기 (Problem)

현재 멀티모달 대규모 언어 모델 (MLLM) 은 다양한 공간 추론 작업에서 우수한 성능을 보이지만, 객체의 방향성 (Orientation) 이해에 있어서는 심각한 한계를 드러내고 있습니다. 기존 벤치마크들은 방향성을 단순한 위치 관계 (Positional relationships) 나 일반적인 장면 이해와 혼동하거나, 단순한 '왼쪽/오른쪽' 판단에 그치는 경우가 많습니다. 이로 인해 다음과 같은 문제점이 존재합니다.

• 인지적 깊이의 부재: 인간은 물체의 정면 인식, 정신적 회전 (Mental rotation), 객체 간 상대적 방향 추론, 그리고 물체의 자연스러운 정방향 (Canonical orientation) 파악 등 다단계 인지 과정을 통해 방향성을 이해합니다. 하지만 기존 평가는 이러한 복잡한 인지 과정을 포착하지 못합니다.
• 혼란 요인 (Confounds): 기존 데이터셋은 객체 인식의 난이도, 장면의 복잡함 (Clutter), 언어적 모호성 등이 방향성 추론 능력과 혼재되어 있어, 모델이 실제로 방향을 이해하는지 아니면 단순한 단서 (Heuristics) 에 의존하는지 구분하기 어렵습니다.
• 정량적 평가의 부재: 대부분의 벤치마크가 이산적인 (Categorical) 정답을 요구하며, 연속적인 각도 (Metric) 추정이 필요한 정밀한 평가가 부족합니다.

2. 방법론 (Methodology)

저자들은 인간 인지 과학 (Visuospatial cognition) 에 기반한 새로운 벤치마크인 DORI (Discriminative Orientation Reasoning Intelligence) 를 제안했습니다.

A. DORI 의 4 가지 핵심 차원

DORI 는 인간의 인지 발달 단계를 모방하여 방향성 추론을 4 가지 차원으로 세분화했습니다.

1. 정면 정렬 (Frontal Alignment): 물체의 정면이 시야 (카메라) 에 대해 어떻게 정렬되어 있는지 파악 (예: 정면, 측면, 배면).
2. 회전 변환 (Rotational Transformation): 물체가 회전했을 때의 변화를 이해 (단일 축 회전 및 복합 축 회전).
3. 상대적 방향 (Relative Orientation): 객체 간, 또는 객체와 관찰자 (Egocentric/Allocentric) 간의 상대적 방향 추론.
4. 정방향 (Canonical Orientation): 물체가 자연스러운 상태 (예: 자동차는 바퀴가 바닥에 닿은 상태) 에 있는지, 아니면 비정상적으로 뒤집히거나 회전되었는지 판단.

B. 데이터셋 구성 및 프롬프트 설계

• 데이터 규모: 14 개의 다양한 소스 (COCO, KITTI, 3D-Future, ShapeNet 등) 에서 13,652 개의 이미지를 수집하여 33,656 개의 객관식 질문을 생성했습니다. (실제 이미지 37%, 합성 이미지 63%).
• 계층적 평가: 각 차원을 ** coarse-grained (범주형)** 와 granular-grained (정밀 각도/계량형) 두 단계로 나누어 평가합니다.
• 혼란 요인 제거:
  • Bounding Box: 특정 객체를 명시적으로 지정하여 객체 인식 난이도를 배제.
  • 표준화된 용어: "정면 (Frontal)", "시계 방향 (Clockwise)" 등 명확한 공간 참조 프레임 사용.
  • 불확실성 처리: 방향이 모호한 경우 (예: 구형 물체) 를 위해 "판단 불가 (Cannot be determined)" 옵션을 모든 질문에 포함.
• 프롬프트 구조: 작업 설명, 맥락 정의, 단계별 지시, 선택지, 예시 (Few-shot) 로 구성된 구조화된 프롬프트를 사용하여 모델의 추론 과정을 유도했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 인지 기반 방향성 벤치마크: 단순한 공간 관계가 아닌, 인간 수준의 방향성 추론 능력을 평가하는 최초의 체계적인 벤치마크를 제시했습니다.
2. 정밀한 진단 도구: coarse-to-granular 설계를 통해 모델이 단순한 범주 추측 (Categorical heuristics) 에 의존하는지, 아니면 기하학적 추론을 수행하는지 구분할 수 있게 했습니다.
3. 광범위한 평가: 24 개의 최신 오픈소스 및 상용 MLLM (LLaVA, GPT-4o, Gemini, Qwen 등) 을 대상으로 포괄적인 평가를 수행했습니다.

4. 실험 결과 (Results)

24 개 모델에 대한 평가 결과는 MLLM 의 방향성 이해가 매우 취약함을 보여주었습니다.

• 전반적인 낮은 성능: 최상위 모델조차도 coarse(범주형) 기준에서 약 54.2%, granular(정밀) 기준에서 약 45.0% 의 정확도를 보였습니다. 이는 무작위 추측 수준에 가깝거나 그보다 조금 나은 수준입니다.
• 특정 작업에서의 실패:
  • 복합 회전 (Compound Rotation) 및 상대적 방향: 모델들은 단일 축 회전보다는 다중 축 회전이나 객체 간 상대적 방향 (Non-egocentric perspective) 을 이해하는 데 극도로 취약했습니다.
  • 정방향 (Canonical Orientation): 물체의 자연스러운 상태를 파악하는 능력은 거의 모든 모델에서 실패했습니다.
• 일반 공간 벤치마크와의 괴리: OmniSpatial 나 MMSI-Bench 등 일반적인 공간 추론 벤치마크에서는 상위권을 차지한 모델 (예: GPT-4o) 이 DORI 에서는 하위권으로 떨어지는 현상이 발생했습니다. 이는 장면 수준의 관계 추론 능력과 객체 중심의 기하학적 추론 능력이 분리되어 있음을 의미합니다.
• 아키텍처 및 학습의 중요성: 파라미터 수 (Scale) 보다는 토큰 기반 퓨전 (Token-based fusion) 아키텍처나 지시 튜닝 (Instruction Tuning) 이 방향성 추론 성능에 더 큰 영향을 미쳤습니다. (예: DeepSeek-1.3B-Chat 이 DeepSeek-7B-Base 보다 성능이 좋음).
• 파인튜닝의 효과: DORI 로 LoRA 파인튜닝을 수행한 모델은 다른 공간 추론 벤치마크 (BLINK, 3DSRBench 등) 에서 최대 27% 의 성능 향상을 보이며, 방향성 훈련이 일반화될 수 있음을 입증했습니다.
• 인간과의 격차: 전문가 인간 평가자는 92% 의 정확도를 보인 반면, 최상위 MLLM 은 약 20% 포인트 뒤처졌습니다.

5. 의의 및 결론 (Significance)

• MLLM 의 근본적 한계 규명: 현재 MLLM 은 시각적 정보를 '보고' (Seeing) 있을 뿐, 공간적 방향성을 '이해' (Orienting) 하지 못함을 증명했습니다. 모델들은 기하학적 변환을 시뮬레이션하는 대신, 학습된 통계적 단서에 의존하고 있습니다.
• 로보틱스 및 3D 응용의 중요성: 로봇 조작 (Grasping), 자율 주행, 증강 현실 (AR) 등 정밀한 공간 상호작용이 필요한 분야에서는 방향성 이해가 필수적이므로, DORI 의 발견은 이러한 분야의 AI 개발에 중요한 시사점을 줍니다.
• 향후 연구 방향: 단순한 스케일링 (Scaling) 이 아닌, 아키텍처 수준의 변화 (기하학적 인덕티브 바이어스 도입) 나 방향성 특화 훈련이 필요함을 강조합니다.

결론적으로, 이 논문은 MLLM 이 인간과 유사한 공간 인지 능력을 갖추기 위해서는 단순한 이미지 인식과 언어 생성을 넘어, 복잡한 방향성 추론을 위한 체계적인 학습과 평가가 시급함을 강력하게 주장합니다.