LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks

이 논문은 절대적 및 3D 공간 이해를 평가하기 위해 합성 데이터로 구성된 'LRR-Bench' 벤치마크를 제시하고, 최신 비전 - 언어 모델들이 인간에 비해 공간 인식 능력에서 현저히 낮은 성능을 보임을 규명합니다.

핵심

이 논문은 **"AI 가 정말로 '공간'을 이해하고 있을까?"**라는 아주 중요한 질문을 던지며 시작합니다.

저자들이 만든 **'LRR-Bench'**라는 새로운 시험지를 통해, 최신 AI 모델들이 실제로 사물의 위치나 움직임을 얼마나 잘 파악하는지 실험한 결과, AI 는 여전히 공간 감각이 매우 부족하다는 충격적인 사실을 발견했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 실험이 필요했을까요? (비유: 운전면허 시험)

우리가 자율주행차나 로봇을 만든다고 상상해 보세요. 이 로봇이 길을 가려면 "저기 왼쪽에 차가 있다", "앞으로 5 미터 가면 신호등이 있다", "내가 오른쪽으로 돌아서 이동했다" 같은 공간 감각이 필수적입니다.

기존의 AI 시험들은 주로 "이 사진에서 개가 고양이의 왼쪽에 있니?" 같은 정적인 질문만 냈습니다. 마치 운전면허 시험장에서 "정차선 앞에서 멈추는 법"만 가르치고, "비 오는 날 급커브를 어떻게 도는지"나 "옆차선이 갑자기 좁아지면 어떻게 해야 하는지" 같은 실전 상황은 전혀 가르치지 않은 것과 같습니다.

이 논문은 **"AI 가 진짜로 3 차원 공간에서 움직이는 것을 이해할 수 있는가?"**를 테스트하기 위해, 더 어렵고 현실적인 새로운 시험지 (LRR-Bench) 를 만들었습니다.

2. 시험지에는 어떤 문제가 있었나요? (비유: 3 가지 레벨의 미션)

저자들은 공간 이해 능력을 크게 두 가지로 나누어 시험했습니다.

• 레벨 1: 절대 위치 찾기 (2D 평면)

  • 문제: "사진 속 자동차가 왼쪽 아래 구석에 있나요?"
  • 비유: 책상 위에 놓인 사물을 보고 "오른쪽 구석에 있네"라고 말하는 것.
  • 결과: AI 는 이 정도는 꽤 잘했습니다. (하지만 인간은 100 점, AI 는 70~80 점 수준)

• 레벨 2: 3 차원 공간과 움직임 (3D 입체)

  • 문제: "카메라가 왼쪽으로 회전했나요?", "사물이 앞으로 움직였나요?", "사물의 머리가 움직이는 방향과 일치하나요?"
  • 비유: 이게 핵심입니다. AI 는 마치 눈이 가려진 상태에서 회전하는 방에 있는 사람처럼 느껴졌습니다.
    • 카메라가 움직일 때, AI 는 "아, 내가 돌아갔구나"라고 생각하지 못하고, "사물이 뒤집혔다"거나 "사물이 사라졌다"고 착각합니다.
    • 사물이 움직일 때, AI 는 "사물이 움직였다"기보다 "배경이 움직였다"고 헷갈려 합니다.
  • 결과: 대참사였습니다. 대부분의 최신 AI 모델이 이 부분에서 0 점에 가까운 점수를 받았습니다. 인간은 90 점 이상을 받는데, AI 는 거의 무작위 추측 수준이었습니다.

3. 흥미로운 발견들 (비유: "생각해 봐"라는 조언의 함정)

연구팀은 AI 가 더 잘할 수 있는 방법을 몇 가지 시도해 보았습니다.

• 비유 1: "생각해 봐 (Chain of Thought)"

  • AI 에게 "정답을 말하기 전에 먼저 단계별로 생각해 봐"라고 요청했습니다.
  • 결과: 간단한 문제에서는 도움이 되지만, 복잡한 공간 문제에서는 오히려 더 나빠졌습니다. 마치 복잡한 미로를 풀 때 "생각해 봐"라고 하면 오히려 혼란스러워져서 더 빨리 길을 잃는 것과 비슷합니다. AI 가 스스로 "생각"하는 과정에서 **환각 (Hallucination)**을 일으켜 엉뚱한 결론을 내렸습니다.

• 비유 2: "크기가 크면 무조건 좋을까?"

  • AI 모델의 크기를 키우거나 (720 억 개 파라미터), 3D 데이터를 더 많이 학습시켰습니다.
  • 결과: 크기가 커진다고 해서 공간 감각이 좋아지지 않았습니다. 오히려 특정 훈련을 받은 모델들은 기존 모델보다 더 나쁜 점수를 받기도 했습니다. 이는 "머리가 좋다고 해서 방향 감각이 좋은 건 아니다"라는 뜻입니다.

4. 결론: AI 는 여전히 "눈이 멀다"

이 논문의 핵심 메시지는 다음과 같습니다.

"현재의 AI 는 사진을 보고 '무엇이' 있는지 말하는 것은 잘하지만, '어디에' 있고 '어떻게 움직이는지'를 이해하는 공간 감각은 인간과 비교도 안 될 정도로 부족합니다."

AI 가 자율주행이나 로봇 조작 같은 안전이 중요한 분야에서 쓰이려면, 단순히 언어를 잘 다루는 것을 넘어 진짜 3 차원 공간을 이해하는 능력을 길러야 합니다. 하지만 지금 당장은 AI 가 "왼쪽, 오른쪽, 회전" 같은 기본적인 공간 개념에서도 여전히 헤매고 있다는 것이 이 연구의 결론입니다.

한 줄 요약:

AI 는 "사진 속 개"를 찾는 건 잘하지만, "카메라가 회전할 때 개가 어떻게 보이는지"를 이해하는 데는 여전히 눈이 멀어 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율 주행, 휴머노이드 로봇 조작 등 안전이 중요한 실세계 응용 분야에서는 정밀한 공간 지각 (Spatial Perception) 이 필수적입니다. 대규모 비전 - 언어 모델 (VLMs) 이 이러한 복잡한 환경을 탐색하고 안전을 보장하려면 정확한 공간 인식이 필요합니다.
• 문제점: 기존 공간 이해 벤치마크는 주로 자연 이미지 내 두 물체의 상대적 위치 (예: 왼쪽, 앞쪽) 를 추론하는 데 초점을 맞추고 있습니다. 그러나 동적 움직임 (Motion Perception), 상대적 이동, 연속적인 시퀀스 이해, 카메라의 회전 및 이동과 같은 더 현실적이고 복잡한 공간 관계 및 능력은 여전히 충분히 연구되지 않았습니다.
• 현황: 현재 VLM 들은 단순한 위치 추론에는 어느 정도 능하지만, 3 차원 공간 이해나 이미지 시퀀스를 통한 움직임 추론에서는 인간 성능에 크게 미치지 못하며, 오히려 무작위 추측 수준으로 떨어지는 경우가 많습니다.

2. 제안 방법론 (Methodology)

저자들은 LRR-Bench라는 새로운 공간 이해 평가 파이프라인과 벤치마크를 제안했습니다.

A. 데이터셋 구축 (Fully Synthetic)

• 완전 합성 데이터: 데이터 오염 (Dataset Contamination) 을 방지하고 저비용으로 대량의 테스트 샘플을 생성하기 위해 **Diffusion Model (Flux.1-S)**과 Minecraft 환경을 활용했습니다.
• 필터링 파이프라인: 생성된 이미지는 GroundingDINO를 통해 객체 존재 여부와 신뢰도 점수를 확인하고, **SAM (Segment Anything Model)**과 Depth-Anything-V2를 활용하여 깊이 정보를 추출하는 등 정교한 필터링 과정을 거쳐 고품질 데이터를 확보했습니다.

B. 태스크 분류 (Taxonomy)

공간 이해를 **절대적 공간 이해 (Absolute Spatial Understanding)**와 **3D 공간 이해 (3D Spatial Understanding)**로 구분하고, 이를 세부 태스크로 세분화했습니다.

1. 절대적 공간 이해 (Absolute Position):

   • Position (Pos.): 이미지 내 특정 객체의 절대 위치 (예: 좌상단, 중앙) 판별.
   • Position Combination (Pos. C.): 여러 하위 이미지를 하나의 합성 이미지로 조합하고, 각 하위 이미지 내 객체 위치를 순서대로 추론.
   • Position Sequence (Pos. S.): 서로 무관한 이미지 시퀀스 내 각 이미지의 객체 위치를 독립적으로 판별.

2. 3D 공간 이해 (3D Spatial Understanding):

   • Depth (Dep.): 객체 간의 깊이 (앞/뒤) 관계 파악.
   • Camera Rotation (Ca. R.): 카메라의 회전 방향 일관성 확인.
   • Camera Movement (Ca. M.): 카메라의 이동 방향 (전/후/좌/우) 파악.
   • Object Heading Direction (Obj. H. D.): 객체 (양) 의 머리 방향 (Heading) 감지.
   • Object Movement Direction (Obj. M. D.): 객체의 이동 방향과 머리 방향의 일치 여부 확인.
   • Object Movement (Obj. M.): 배경과 카메라가 움직이는 상황에서 객체의 이동 여부 판별.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 제안: 완전 합성 데이터를 기반으로 한 LRR-Bench를 제안하여, 데이터 오염 없이 저비용으로 확장 가능한 공간 추론 평가 파이프라인을 구축했습니다.
2. 다차원 평가 체계: 2D 절대 위치뿐만 아니라, 카메라/객체의 관점에서의 **회전 (Rotation)**과 **이동 (Movement)**을 포함한 3D 공간 이해 능력을 체계적으로 평가합니다.
3. 광범위한 실험 및 통찰: 20 개 이상의 최신 SOTA VLM (상용 및 오픈소스, 72B 파라미터까지) 을 평가하여 다음과 같은 중요한 통찰을 도출했습니다.
   • Reasoning 의 한계: CoT (Chain-of-Thought) 와 같은 고급 추론 기법이 모든 태스크에서 성능을 향상시키지 않으며, 오히려 일부 복잡한 태스크에서는 할루시네이션을 유발하여 성능을 저하시킵니다.
   • 학습 기법의 비효율성: 3D 데이터셋으로 파인튜닝하거나 선호도 최적화 (MPO 등) 를 적용하는 것이 공간 이해 능력을 일관되게 향상시키지 못하며, 경우에 따라 성능이 하락하기도 합니다.
   • 스케일링 법칙의 부재: 모델 크기를 늘린다고 해서 공간 이해 능력이 비례하여 향상되지 않습니다.

4. 실험 결과 (Results)

• 인간 vs 모델: 인간 평가자는 모든 태스크에서 약 90% 이상의 정확도를 보였으나, 현재 가장 성능이 좋은 VLM 들조차 가장 단순한 태스크 (Position) 에서만 인간 수준에 근접했습니다.
• 3D 태스크에서의 치명적 실패: 3D 공간 이해 태스크 (카메라 이동, 회전, 객체 움직임 등) 에서 대부분의 모델은 0 점에 가까운 점수를 기록했습니다.
  • 예: Camera Movement 태스크에서 GPT-4o 를 포함한 거의 모든 모델이 0 점에 가까운 점수를 기록했습니다.
  • Object Movement Direction 태스크에서는 큰 모델일수록 오히려 성능이 나빠지는 경향을 보였습니다.
• 모델별 편차: 특정 태스크에서는 특정 모델이 우수했으나, 모든 태스크에서 일관되게 우수한 모델은 존재하지 않았습니다.

5. 의의 및 결론 (Significance)

• 현실적 한계 규명: 현재의 VLM 들은 정적인 이미지 내 객체 인식에는 능숙하지만, 동적인 공간 관계, 3D 기하학적 변환, 그리고 시퀀스 기반의 움직임 추론에서는 근본적인 한계를 가지고 있음을 증명했습니다.
• 향후 연구 방향 제시: 단순히 모델 크기를 키우거나 3D 데이터로 파인튜닝하는 것만으로는 공간 이해 문제가 해결되지 않으며, **3D 기하학적 구조에 대한 내재적 표현 (Internal Representation)**을 학습할 수 있는 새로운 아키텍처나 학습 전략이 필요함을 시사합니다.
• 안전성 확보: 자율 주행 및 로봇 제어와 같은 안전 필수 (Safety-critical) 분야에서 VLM 을 적용하기 전, LRR-Bench 를 통해 공간 이해 능력을 엄격하게 검증해야 할 필요성을 강조합니다.

이 논문은 VLM 의 공간 이해 능력이 아직 초기 단계에 있으며, 특히 3D 동적 환경에서의 추론은 인간에 비해 현저히 낮음을 체계적인 벤치마크를 통해 입증했다는 점에서 중요한 의의를 가집니다.