GSU: 텍스트 기반 그리드 공간 추론을 위한 데이터셋 및 평가 프레임워크 기술 요약

이 논문은 GSU (Grid Spatial Understanding) 라는 새로운 데이터셋과 평가 프레임워크를 제안합니다. 이는 대규모 언어 모델 (LLM) 과 시각-언어 모델 (VLM) 의 공간 추론 능력을 시각적 입력 없이 순수한 텍스트와 좌표 구조를 통해 평가하기 위한 것입니다.

1. 문제 정의 (Problem)

기존의 공간 추론 연구는 주로 이미지, 포인트 클라우드 등 시각적 모달리티에 의존합니다. 그러나 시각적 입력은 모델이 실제 공간 개념을 이해하는지, 아니면 단순히 시각적 패턴을 매칭하는지 구분하기 어렵게 만듭니다. 또한, embodied agent(구현된 에이전트) 가 환경과 상호작용할 때 필요한 자아중심적 (Egocentric) 공간 참조 프레임 (예: "내 오른쪽", "앞으로") 을 텍스트만으로 추론하는 능력은 아직 명확히 평가되지 않았습니다.
이 연구는 시각적 입력을 배제하고 텍스트와 좌표 (Grid Coordinates) 만을 사용하여 모델이 물리적 공간에 대한 내재적 표현 (Internal Representation) 을 가지고 있는지, 그리고 이를 텍스트 지시사항으로 조작할 수 있는지 검증하고자 합니다.

2. 방법론 (Methodology)

2.1 GSU 데이터셋 구성

GSU 는 3 가지 핵심 공간 추론 태스크로 구성되며, 모두 텍스트 기반의 2D/3D 그리드 환경에서 수행됩니다.

1. 내비게이션 (Navigation):

   • 과제: 자연어 지시 ("오른쪽으로 2 칸 이동") 와 좌표 이동 간의 매핑을 수행.
   • 역할:
     • Follower: 지시사항을 듣고 최종 좌표를 예측.
     • Instructor: 좌표 경로를 보고 자연어 지시사항 생성.
   • 참조 프레임:
     • Cardinal (절대적): 고정된 축 (북, 남, 동, 서) 기준.
     • Egocentric (자아중심적): 에이전트의 현재 시선 방향에 따라 좌우/전후가 회전하는 동적 기준. (이것이 가장 어려운 과제임)

2. 객체 위치 파악 (Object Localization):

   • 과제: 특정 시점 (Viewer) 과 방향 (Heading) 에서 목표 객체의 상대적 위치를 설명.
   • 참조 프레임:
     • Egocentric: 에이전트 기준 ("내 오른쪽").
     • Allocentric: 다른 기준 객체 기준 ("기준 물체의 앞").

3. 구조 구성 (Structure Composition):

   • 과제: 개별 블록의 좌표 리스트를 입력받아 이를 구성하는 3D 형태 (행, 열, 큐브, 타워 등) 와 색상, 상대적 위치를 텍스트로 설명.
   • 난이도: 단일 색상 구조 (Simple), 다색 단일 구조 (Cohesive), 여러 구조가 결합된 복합 구조 (Composite) 로 구분.

2.2 실험 설정

• 평가 대상 모델:
  • 소형 텍스트 전용 LLM (Mistral-7b, Llama-8b, Qwen-7b 등)
  • 동급 크기의 시각 - 언어 모델 (VLM) (Pixtral, Llama-VL, Qwen-VL 등)
  • 최첨단 (Frontier) 모델 (GPT-4o, Gemini-3-Pro, Qwen-72b 등)
  • 파인튜닝된 소형 모델 (FlanT5-large, Llama-8b + LoRA)
• 평가 지표:
  • 정확도 (Exact Match), 거리 오차 (Distance), 공간 용어 중첩 (Spatial Overlap, $O_s$), 색상/형태/수치 중첩 점수.

3. 주요 기여 (Key Contributions)

1. GSU 데이터셋 제안: 시각적 노이즈를 제거하고 텍스트와 좌표만으로 공간 추론 능력을 진단할 수 있는 표준 벤치마크를 구축.
2. 시각 모달리티의 한계 규명: VLM 이 시각 정보를 학습했다고 해서 텍스트 기반 좌표 공간 추론 능력이 자동으로 향상되는 것은 아님을 입증. 오히려 소형 모델에서는 시각 정보가 공간 추론에 도움이 되지 않거나 오히려 방해가 될 수 있음을 보임.
3. 소형 모델의 잠재력 발견: 전체 파인튜닝 (Full Fine-tuning) 이나 LoRA 를 적용한 소형 모델이, 시각적 입력을 받지 않은 상태에서도 Frontier 모델의 성능을 따라잡거나 능가할 수 있음을 증명. 이는 특수화된 Embodied Agent 에 경량 모델 적용 가능성을 시사.

4. 실험 결과 (Results)

4.1 일반적 경향

• 자아중심적 (Egocentric) 추론의 어려움: 대부분의 모델 (심지어 GPT-4o, Gemini-3-Pro 포함) 이 고정된 절대적 좌표 (Cardinal) 에서는 잘 수행하지만, 에이전트의 시선 방향이 변하는 자아중심적 좌표 변환에서는 심각한 성능 저하를 보임.
• 시각 모달리티의 비효율성: VLM 이 LLM 대비 공간 추론에서 유의미한 향상을 보이지 않음. 특히 소형 VLM 은 동급 LLM 과 유사하거나 더 낮은 성능을 기록함. 이는 시각 정보가 3D 공간의 추상적 개념 (좌표계 회전 등) 을 학습하는 데 직접적으로 기여하지 않을 수 있음을 시사.

4.2 모델별 성능

• Frontier 모델: Gemini-3-Pro 는 대부분의 태스크에서 완벽한 성능을 보였으나, 매우 긴 시퀀스나 복잡한 3D 구조 결합 태스크에서는 여전히 오류를 범함. GPT-4o 는 자아중심적 내비게이션에서 방향 전환 시 헤딩 (Heading) 을 잊어버리는 등 일관성 부족을 보임.
• 소형 모델의 파인튜닝 효과:
  • Llama-8b + LoRA: 추론 과정 (Reasoning Trace) 을 포함한 데이터로 파인튜닝한 결과, 내비게이션 (Follower) 태스크에서 GPT-4o 를 능가하고 Gemini 와 유사한 성능을 달성.
  • FlanT5-large (Full Fine-tuning): 10 억 파라미터 미만의 경량 모델임에도 불구하고, 구조 구성 및 내비게이션 지시 생성 태스크에서 Frontier 모델과 대등하거나 더 나은 성능을 보임. 이는 공간 추론이 거대 모델의 '지능'보다는 특정 태스크에 대한 '학습'으로 해결될 수 있음을 의미.

4.3 주요 오류 유형

• 좌표계 회전 오류: 에이전트가 방향을 틀었을 때 X/Y 축의 관계를 올바르게 업데이트하지 못함 (예: "오른쪽"이 여전히 +X 로 고정됨).
• 전후/좌우 혼동: 기준점 (Reference) 과 관찰자 (Viewer) 의 관계를 혼동하여 "앞"과 "뒤"를 반대로 표현.
• 3D 형태 인식 실패: 좌표 리스트를 보고 큐브, 타워, 평면 등을 구분하는 데 실패하거나, 3D 형태를 2D (정사각형, 직사각형) 로 단순화하여 설명.

5. 의의 및 결론 (Significance)

이 연구는 Embodied AI(구현된 인공지능) 의 핵심인 공간 이해 능력이 시각적 지각에 의존하지 않고도 텍스트와 논리적 추론을 통해 달성될 수 있음을 보여줍니다.

• 실용적 함의: 지연 시간 (Latency) 이나 하드웨어 제약이 있는 실제 로봇 시스템에서, 무거운 VLM 대신 경량화된 텍스트 전용 모델을 파인튜닝하여 공간 지시 이해 및 경로 계획에 활용할 수 있음을 입증했습니다.
• 이론적 함의: VLM 이 시각 정보를 통해 3D 공간 개념을 내재화한다는 가설에 의문을 제기하며, 공간 추론 능력은 모델의 아키텍처나 입력 모달리티보다는 학습 데이터와 태스크 특화 훈련에 더 크게 의존할 수 있음을 시사합니다.
• 향후 방향: 연속적인 공간, 부분 관측성 (Partial Observability), 그리고 포인트 클라우드와 같은 더 풍부한 표현으로의 확장이 필요함을 제안합니다.

요약하자면, GSU 는 LLM 의 "공간적 사고"를 시각적 착시 없이 순수하게 측정하는 도구이며, 이를 통해 경량 모델로도 고성능의 공간 추론 에이전트를 구축할 수 있다는 중요한 통찰을 제공합니다.