🤖 machine learning

From Symbolic to Geometric: Enabling Spatial Reasoning in Large Language Models

이 논문은 공간적 위치를 일급 모달리티로 취급함으로써 기호적 패턴 매칭을 고유한 기하학적 추론으로 대체하여, 전용 학습 데이터셋과 새로운 평가 벤치마크를 통해 기존 LLM의 공간 추론 성능을 크게 능가하는 새로운 멀티모달 프레임워크인 공간 언어 모델(Spatial Language Model, SLM)을 소개한다.

원저자: Chen Chu, Bita Azarijoo, Li Xiong, Khurram Shafique, Cyrus Shahabi

게시일 2026-06-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chen Chu, Bita Azarijoo, Li Xiong, Khurram Shafique, Cyrus Shahabi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "지도만 읽는" 로봇 vs "실제 세상을 항해하는" 내비게이터

당신에게 세상의 모든 책, 지도 설명, 여행 블로그를 다 읽은 매우 똑똑한 로봇(대규모 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 만약 당신이 "파리는 프랑스에 있나요?"라고 묻는다면, 로봇은 학습 데이터에서 그 사실을 기억했기 때문에 정답을 말할 것입니다.

하지만 이 논문은 이 로봇이 실제 공간 추론 능력은 형편없다고 주장합니다. 이는 마치 수학 시험 답안을 통째로 외웠지만, 실제로 수학 문제를 푸는 법은 모르는 학생과 같습니다.

현재의 결함 (기호적 추론): 로봇에게 "지점 A에서 지점 B까지의 거리는 얼마인가요?" 또는 "이 두 도형이 겹치나요?"라고 물으면, 로봇은 이전에 보았던 단어들을 바탕으로 추측하려고 합니다. 이는 마치 지도를 보는 대신, 도시의 이름만을 보고 두 도시 사이의 거리를 때려 맞히려는 것과 같습니다.
결과: 로봇은 종종 환각 현상(Hallucination, 없는 사실을 지어냄)을 보이거나, 책에서 본 적 없는 새로운 장소에 대해 혼란을 느끼거나, 정밀한 기하학적 작업(예: 이상하게 생긴 다각형의 넓이 측정)에 실패합니다. 로봇은 공간을 물리적 실체가 아닌, 단어의 목록으로 취급합니다.

해결책: "공간 언어 모델" (SLM)

연구진은 SLM(Spatial Language Model)이라는 새로운 유형의 AI를 만들었습니다. 이것은 로봇에게 단순히 설명을 읽는 것이 아니라, 기하학을 직접 볼 수 있는 안경을 씌워주는 것과 같습니다.

기존처럼 로봇에게 "공원은 북위 34.05도, 서경 118.24도에 위치한다"라는 텍스트를 입력하는 대신, SLM은 공원의 실제 형태와 위치를 나타내는 수학적 "지문"(벡터)을 로봇에게 입력합니다.

비유:

기존 방식 (기호적): 친구를 보안 요원에게 설명할 때, "그는 키가 크고, 빨간 모자를 썼으며, 5번가에 삽니다"라고 말하는 것과 같습니다. 보안 요원은 당신이 말한 설명 목록을 바탕으로 누구인지 추측해야 합니다.
새로운 방식 (기하학적/SLM): 보안 요원에게 친구의 사진을 건네주는 것과 같습니다. 보안 요원은 추측할 필요가 없습니다. 사진을 통해 그가 누구이며, 다른 사람들 사이에서 정확히 어디에 서 있는지 바로 볼 수 있기 때문입니다.

어떻게 만들었나

로봇에게 이러한 새로운 시각 방식을 가르치기 위해, 연구진은 세 가지 새로운 요소를 구축해야 했습니다.

새로운 언어 (인터리브드 그라운딩 - Interleaved Grounding): 로봇과 대화하는 특별한 방법을 발명했습니다. 단순히 "롱비치"라고 쓰는 대신, <이름> <구절> <지오(GEO)>라고 썼습니다. 여기서 <GEO> 부분은 롱비치의 수학적 "지문"을 삽입하는 곳입니다. 이를 통해 로봇이 이름만이 아니라 형태와 위치를 강제로 바라보게 만듭니다.
새로운 교과서 (공간 지시 데이터셋): 로봇에게 수학적 지문을 사용하여 기하학을 수행하는 법을 가르치는 기존의 교과서는 존재하지 않았습니다. 그래서 저자들은 3만 개의 연습 문제가 담긴 새로운 "교과서"를 작성했습니다. 그들은 복잡한 질문을 작고 논리적인 단계(마치 '생각의 사슬'처럼)로 나누어, 로봇이 단순히 정답만 맞히는 것이 아니라 측정하고 비교하는 과정을 배울 수 있도록 했습니다.
새로운 시험 (SpatialEval): 로봇이 실제로 학습했는지 테스트하기 위해 새로운 시험을 만들었습니다. 단순한 상식 퀴즈를 던지는 기존 테스트와 달리, 이 테스트는 로봇에게 가공되지 않은 좌표를 주고 거리를 계산하거나, 도형이 맞닿아 있는지 확인하거나, 가장 가까운 물체를 찾도록 요구합니다.

결과는 어떠했나? (결과)

연구진은 기존의 "단어 기반" 방식을 사용하도록 설정된 최상위 로봇들(GPT-4 및 Llama 등)과 새로운 SLM을 비교하는 일련의 테스트를 진행했습니다.

정확도: 기존 로봇들은 기하학에 매우 취약했습니다. 거리를 측정하거나 넓이를 묻는 질문에 무작위로 추측하곤 했습니다. 반면, 새로운 SLM은 기하학을 실제로 "보고" 있었기에 훨씬 더 정확했으며, 수학적 계산을 제대로 수행했습니다.
일반화 능력: 기존 로봇들은 책에서 읽어본 적 없는 장소에 대해 질문하면 실패했습니다. 하지만 새로운 SLM은 장소의 이름이 아니라 공간의 규칙을 이해하고 있었기에, 본 적 없는 새로운 장소에 대해서도 처리할 수 있었습니다.
속도 및 효율성: 기존 로봇들은 간단한 수학을 하기 위해 페이지 분량의 텍스트를 써 내려가며 "생각을 밖으로 내뱉는" 경우가 많았고, 이는 많은 시간과 컴퓨터 자원을 소모했습니다. 반면 새로운 SLM은 내부적으로 즉시 수학적 계산을 수행하여 훨씬 적은 컴퓨터 자원을 사용했습니다.

핵심 요약

이 논문은 AI가 물리적 세계에 대해 진정으로 똑똑해지려면, 단순히 더 많은 책을 읽히는 것만으로는 부족하다고 결론짓습니다. 우리는 AI에게 공간을 기하학으로서 이해하는 법을 가르쳐야 합니다.

위치를 문장 속의 단어 중 하나가 아닌, 텍스트나 이미지와 같은 데이타의 주요 유형(First-class citizen)으로 취급함으로써, 새로운 SLM은 어휘력을 바탕으로 추측하는 것이 아니라 형태, 거리, 위치를 직접 이해함으로써 인간이 세상을 이해하는 방식대로 공간을 추론할 수 있게 됩니다.

기술 요약: 기호적 추론에서 기하학적 추론으로: 대규모 언어 모델의 공간 추론 능력 강화

문제 정의

현재의 대규모 언어 모델(LLM)은 외견상 공간 추론 능력을 보여주지만, 이는 기하학적이라기보다는 **기호적(symbolic)**인 것에 가깝다. LLM은 연속적인 공간 표현에 대한 명시적인 기하학적 계산을 수행하기보다, 텍스트 코퍼스에서 학습된 이산적인 언어 토큰(예: 지명, 좌표 문자열)에 대한 패턴 매칭에 의존한다. 이러한 기호적 추론에 대한 의존은 다음과 같은 몇 가지 결정적인 한계를 초래한다:

취약성(Brittleness): 모델은 구조화된 공간 추론(예: 위상적 추론, 메트릭 일관성)에 어려움을 겪으며, 정밀한 수치 연산이 필요한 작업에 직면했을 때 모순되거나 논리적으로 유효하지 않은 결론을 내리는 경우가 많다.
일반화 실패(Generalization Failure): 추론이 훈련 중에 명시적으로 인코딩된 엔티티에 국한된다. 즉, 모델은 보지 못한 위치나 새로운 공간 구성으로 일반화하는 데 실패한다.
계산 비효율성(Computational Inefficiency): 현재의 접근 방식은 지도 API를 호출하거나 검색 엔진을 사용하기 위해 외부 도구(에이전트 프레임워크)나 복잡한 프롬프트 엔지니어링에 의존하는 경우가 많다. 이는 지연 시간, 높은 토큰 소비, 그리고 모델의 내재적 능력이 아닌 외부 지식원에 대한 의존성을 유발한다.
네이티브 지원 부족(Lack of Native Support): LLM은 연속적인 공간 표현, 명시적인 기하학적 계산, 그리고 구조화된 공간 연산자를 지원하는 네이티브 기능을 갖추고 있지 않다.

방법론

저자들은 지리 공간 정보를 제1의 모달리티로 취급하여, 추론 과정 내에서 내재적인 기하학적 공간 추론을 가능하게 하는 최초의 멀티모달 LLM인 **공간 언어 모델(Spatial Language Model, SLM)**을 제안한다.

1. 통합 기하학적 표현 (Unified Geometric Representation)

공간 관계를 텍amp으로 암묵적으로 인코딩하는 대신, SLM은 이질적인 지리 공간 엔티티(점, 폴리라인, 폴리곤, 지역)를 공유 임베딩 공간으로 매핑한다.

인코더(Encoder): 모델은 원시 지리 공간 엔티티를 기하학적 형태와 절대적 위치를 모두 포착하는 벡터 표현( $V_E$ )으로 변환하기 위해 Geo2Vec을 통합 공간 인코더로 활용한다.
어댑터(Adapter): 공간 어댑터( $f_{ada}$ )는 이러한 기하학적 벡터를 LLM의 사전 학습된 단어 임베딩 공간으로 투영하여, 언어 모델이 공간 데이터를 텍스트와 함께 네이티브하게 처리할 수 있도록 한다.

2. 인터리브형 기하학적 그라운딩 (Interleaved Geometric Grounding)

자연어에 등장하는 공간 엔티티를 처리하기 위해, 저자들은 인터리브형 프롬프트 형식인 <NAME> <PHRASE> <GEO>를 도입한다.

추론 과정에서 <GEO> 토큰은 특정 엔티티의 학습된 공간 표현 벡터( $V'_E$ )로 교체된다.
이를 통해 모델은 텍스트 기반의 지명과 관련된 지식을 검색하는 대신, 기하학적 임베딩을 직접 사용하여 추론을 수행할 수 있다.
훈련을 위해, 모델은 엔티티를 구분하기 위한 인덱스 토큰(예: <E_0>)을 제시받으며, 프리트레이닝/파인튜닝 단계에서 실제 지명과 그에 대응하는 공간 위치를 정렬한다.

3. 공간 지시문 데이터셋 구축 (Spatial Instruction Dataset Construction)

공간 표현과 추론을 정렬하는 훈련 데이터의 부족을 해결하기 위해, 저자들은 공간 지시문 데이터셋(30k 쿼리)을 구축하였다.

구조: 복잡한 쿼리는 원자적 기하 연산(예: Area(<NAME>), Distance(<NAME_0>, <NAME_1>))을 사용하는 지리 공간 체인 오브 쏘트(geospatial chain-of-thought) 형식으로 분해된다.
카테고리: 데이터셋은 세 가지 유형의 질문을 다룬다:
1. 단일 지리 엔티티: 속성 추출 (예: 면적, 길이).
2. 공간 관계: 엔티티 간의 메트릭 및 위상 관계 (예: 거리, 포함 관계).
3. 공간 한정사(Spatial Qualifier): 여러 엔티티 간의 비교 계산.
프롬프트 진화: 언어적 다양성을 확보하고 과적합을 방지하기 위해, 전문가의 시드 질문을 LLM(Llama-3.3-70B, ChatGPT)을 사용하여 동일한 공간 추론 의도를 유지하면서 다양한 표현으로 확장하였다.
에이전트 가이드 답변 구축: 복잡한 쿼리에 대해 구조화되고 최소화되며 논리적으로 일관된 추론 흔적을 생성하기 위해 LLM 에이전트를 사용하여, 모델이 비구조화된 환각이 아닌 구성적 추론 패턴을 학습하도록 보장하였다.

4. SpatialEval 벤치마크

저자들은 기호적 공간 추론과 기하학적 공간 추론을 모두 평가하기 위해 설계된 새로운 벤치마크인 SpatialEval을 도입했다.

설계: 텍스트에만 의존하는 기존 벤치마크와 달리, SpatialEval은 쿼리에 언급된 엔티티의 실제 지리 좌표 또는 벡터 임베딩을 명시적으로 포함한다.
범위: 메트릭 추론(거리), 기하 추론(면적), 위상 추론(분류)을 다양한 입력 모달리티(이름, 좌표, 임베딩)를 사용하여 평가한다.

주요 기여 (Key Contributions)

SLM 아키텍처: 공간 표현을 주요 모달리티로 취급함으로써 내재적인 기하학적 공간 추론을 통합하는 최초의 지리 공간 멀티모달 LLM이다.
공간 지시문 데이터셋: 공간 표현, 원자적 기하 연산, 자연어 지시문을 정렬하여 다양한 입력 유형을 지원하는 최초의 데이터셋이다.
SpatialEval 벤치마크: 이질적인 공간 입력을 사용하는 LLM의 기하학적 공간 추론 능력을 평가하기 위해 설계된 종합적인 평가 프레임워크이다.
통합 표현 학습: 복잡한 기호적 공간 엔티티 표현을 단일 벡터 표현으로 압축하여, 이질적인 엔티티 유형 간의 효율적인 추론을 가능하게 하는 방법론이다.

실험 결과

베이징, 로스앤젤레스, 미국 경계 등 POI, 도로 네트워크, 건물 발자국을 포함하는 세 가지 데이터셋에서 실험이 수행되었다.

베이스라인 대비 성능: SLM은 기호적 추론이나 외부 도구에 의존하는 기존 LLM 기반 접근 방식(Qwen3, DeepSeek-R1, Llama-3.3, Gemini, ChatGPT 등)을 크게 앞질렀다.
- 정확도: SLM은 면적 및 길이 추정에서 가장 낮은 평균 절대 오차(MAE)를 기록했으며, 위상 및 최근접 이웃 작업에서 가장 높은 정확도를 달дя했다. 예를 들어, 거리 추정에서 SLM(MAE ~784.9)은 기호적 베이스라인(예: 약 7816.0의 MAE를 보인 Qwen3-8B)을 압도했다.
- 유효성: SLM은 모든 작업에서 100% 응답 유효성을 유지한 반면, DeepSeek와 같은 추론 중심 모델은 계산 오류나 토큰 제한으로 인해 유효한 답을 내놓지 못하는 경우가 많았다.
일반화:
- 제로샷 전이(Zero-Shot Transfer): SLM은 도시 간 전이(예: 로스앤젤레스에서 베이징으로) 시 강력한 일반화 능력을 보여주었으며, 기호적 모델이 큰 어려움을 겪는 것과 달리 관계적 작업에서 최소한의 성능 저하만을 보였다.
- 쿼리 복잡도: SLM은 훈련 중에 보지 못한 6~7개의 엔티티가 포함된 쿼리에도 일반화되어 안정적인 정확도를 유지했다.
효율성:
- 토큰 소비: SLM은 기호적 추론 방식의 수천 개 토큰이나 에이전트 방식의 높은 오버헤드와 비교하여, 일정하고 최소한의 입력/출력 토큰(~30개)만을 필요로 했다.
- 지연 시간: SLM의 추론 시간은 추론 흔적이 없는 기호적 방식(~1.9초)과 유사했으나, 훨씬 더 높은 정확도를 제공했다.
수렴성: 파인튜닝 과정에서 기하학적 SLM은 오차가 꾸준히 감소하는 모습을 보였으나, 텍ex트 기반 좌표를 사용하는 기호적 파인튜닝은 불안정성을 보이며 거리 추정과 같은 복잡한 작업에서 수렴에 실패했다.

의의 및 주장

본 논문은 공간 언어에 대한 기호적 추론과 공간에 대한 진정한 기하학적 추론 사이의 근본적인 간극이 SLM에 의해 메워졌다고 주장한다.

내재적 능력: 기하학적 표현을 모델에 직접 통합함으로써, SLM은 외부 도구나 에이전트 파이프라인에 의존하지 않고도 견고한 공간 추론을 달성한다.
효율성 및 확장성: 이 접근 방식은 토큰 소비와 지연 시간을 줄이면서 정확도를 높여, 공간 지능을 위한 더 효율적이고 확장 가능한 솔루션을 제공한다.
미래 방향: 저자들은 내재적 공간 이해가 미래 LLM의 근본적이면서도 아직 충분히 탐구되지 않은 능력이라고 상정하며, 이는 에이전트 방식에 대한 보완적인 방향을 제시한다. 또한 이러한 능력이 LLM이 자신의 의미론적 공간을 더 잘 조직하고 일반적인 GeoQA 작업의 성능을 향상시키는 데 도움이 될 수 있다고 제언한다.

이 연구는 기호적 추론이 데이터에 의해 제한되고 취약한 반면, 통합된 표현을 통한 기하학적 추론은 모델이 보지 못한 엔티티로 일반화하고 정밀한 공간 계산을 네이티브하게 수행할 수 있게 해준다는 점을 강조한다.