기술 요약: 집합의 상실: LLM 공간 탐색을 위한 다중 스케일 진단 벤치마크

문제 정의

대규모 언어 모델(LLM)은 내비게이션 및 경로 계획과 같은 공간 작업의 플래너로서 점점 더 많이 배치되고 있습니다. 그러나 LLM은 순차적 공간 추론에서 취약성을 보이며, 긴 호라이즌(long horizons) 동안 일관된 공간 상태를 유지하는 데 종종 실패합니다. LLM이 내비게이션에 실패한다는 것은 이미 입증되었으나, 공간 인지 파이프라인 내에서 구체적인 실패 지점이 어디인지는 여전히 불분명합니다. 결함이 국소적 기하 구조를 인지하는 능력의 부재인지, 분기점에서 위상 구조를 읽는 능력의 부재인지, 전역 헤딩(global heading)을 유지하는 능력의 부재인지, 혹은 긴 순차적 계획 과정에서 이러한 역량들을 스케일 간에 통합하는 능력의 부로 인해 발생하는 것인지 알 수 없습니다. 단순한 종합 성공률은 이러한 가설들을 구별하기에 불충분합니다. 왜냐하면 이 가설들은 근본적으로 다른 개선 전략(예: 더 나은 인지 vs 더 나한 위상 추론 vs 아키텍처적 위임)을 시사하기 때문입니다.

방법론

저자들은 인간의 공간 인지에서 유도된 세 가지 인지 수준으로 미로 탐색을 분해하도록 설계된 다중 스케일 진단 벤치마크를 소개합니다:

1. Fine (미세): 국소적 통과 가능성 (어떤 인접 셀이 열려 있는가).
2. Meso (중간): 위상적 매핑 (교차로에서 올바른 분기를 선택하고 막다른 길을 인식하는 것).
3. Macro (거시): 전역 목표 지향성 (목적지를 향한 올바른 헤딩을 유지하는 것).

이 벤치마크는 깊이 우선 탐색(DFS)과 무작위 Prim 알고리-즘을 사용하여 생성된 1,050개의 위상 주석이 달린 미로로 구성됩니다. 이 미로들은 트리 구조(비순환)이며, 이는 경로 사이에 유일한 경로를 보장하여 최단 경로 최적화를 혼란 변수에서 제거합니다. 미로는 7가지 유효 크기(3×3 ~ 30×30)와 3가지 난이도 티어를 포괄합니다.

평가는 세 가지 연구 질문(RQ)을 다루는 세 가지 모듈로 구성됩니다:

• 모듈 1 (입력 획득): 네 가지 입력 형식(자연어 단어, 구조화된 좌표, ASCII 지도, 렌더링된 이미지)을 비교하여 어떤 형식이 LLM 내비게이션을 가장 잘 지원하는지 결정합니다.
• 모듈 2 (다중 스케일 표현): 단일 질문 객관식 과제를 통해 각 인지 수준을 격리하여 조사하고, 이를 엔드 투 엔드(end-to-end) 원샷 내비게이션 성능과 비교합니다. 또한, 궤적이 실패하는 특정 단계를 국지화하기 위해 "멀티 핫 퍼스트 에러(multi-hot first-error)" 분석을 사용합니다. 일반적인 장기 문맥 저하를 배제하기 위해 비공간적 제어 변수(예: 열린 셀 개수 세기)가 포함됩니다.
• 모듈-3 (계층적 경로 계획): 결정론적 워커(deterministic walker)가 저수준 실행(복도 통과, 막다른 길 후퇴)을 담당하고, LLM은 교차로에서만 호출되는 위임 체제를 테스트합니다. 이는 "위상맹(Topology-blind)" 체제(일반 프롬프트)와 "위상보조(Topology-aided)" 체제(명시적 셀 유형 프롬프트 및 알고리즘적 후퇴)를 비교합니다.

세 가지 인스트럭션 튜닝된 채팅 모델(GPT-4o, DeepSeek-V3, Llama-3.3-70B)이 고정된 온도가 0인 생각의 사슬(chain-of-thought) 프롬프팅을 사용하여 평가되었습니다.

주요 결과

1. 입력 형식 (RQ1)

구조화된 좌표 텍스트는 가장 탐색 가능한 입력 형식이며, 렌더링된 이미지나 ASCII 지도보다 성능이 현저히 높습니다. 가장 강력한 모델인 DeepSeek-V3의 경우, 좌표 입력은 작은 미로에서 70%의 성공률을 달성한 반면, 렌더링된 이미지는 5%에 그쳤습니다. 결정적으로, 엔드 투 엔드 성공률이 거의 0으로 붕괴했을 때도 유효 이동 비율(Valid-Move Ratio, VMR)은 높게 유지되어(>0.62), 모델이 국소적으로 합법적인 이동은 생성할 수 있지만 전역 경로 조립에는 실패함을 나타냈습니다.

2. 집합의 결핍 (RQ2)

주요 발견은 스케일링 실패가 개별적인 지각 또는 방향 역량의 결함이 아니라, **교차 스케일 집합(cross-scale aggregation)**의 실패라는 점입니다.

• 격리된 역량: 격리된 상태에서 조사했을 때, 모델은 대형 사이즈(30×30)에서도 높은 정확도를 유지하며 Fine(32–56%), Meso(50–64%), Macro(42–67%) 과업에서 우연 수준을 훨씬 상회했습니다.
• 엔드 투 엔드 붕로: 원샷 내비게이션 성공률은 모든 모델에서 10×10 크기에 도달했을 때 거의 0으로 붕괴했습니다.
• 격차: 결합된 Meso×Macro 프로브(위상적 및 방향적 추론을 모두 요구)는 개별 구성 요소보다 더 빠르게 감쇠했지만, 여전히 엔드 투 엔드 내비게이션보다는 높은 성능을 보였습니다.
• 퍼스트 에러 분석: 실패는 **Meso 교차로 선택(59%)**과 **Fine 지각(39%)**으로 국지화되었으며, 전역 방향(Macro)은 첫 번째 실패 지점인 경우가 드물었습니다(1%).
• 집합 비용: 격리된 교차로 정확도와 궤적 내 교차로 정확도 사이의 격차는 미로 크기가 커짐에 따라 넓어졌습니다(예: 30×30에서 28포인트 하락). 이는 비용이 단순히 오류의 곱셈적 누적이 아니라, 긴 시퀀스 동안 결정을 바인딩하는 모델의 능력이 저하되는 것임을 증명합니다.

3. 위임 및 하이브리드 에이전트 (RQ3)

저수준 제어를 결정론적 알고리즘에 위임하는 것은 성능을 크게 향상시키지만, 스케일링 벽을 제거하지는 못합니다.

• 위상 보조 위임: 알고리즘이 막다른 길 후퇴를 처리하고 LLM이 교차로에서 명시적인 셀 유형 정보와 함께 프롬프트될 때, GPT-4o의 성공률은 중간 크기(예: 7×7에서 2%에서 94%로)에서 최대 92포인트 상승했습니다.
• 한계: 이러한 개선은 명시적인 위상적 프레이밍에 의존했습니다. "위상맹" 체제는 유의미한 이득을 얻지 못했습니다. 또한, 위임을 하더라도 30×30에서는 다시 성능이 붕가되었는데, 이는 위임이 탐색 가능한 호라이즌을 연장할 수는 있지만, 긴 순차적 계획을 위한 근본적인 스케일링 장벽을 제거하지는 못함을 시사합니다.

의의 및 주장

본 논문은 LLM의 공간적 실패에 대한 이해를 일반적인 "추론" 능력의 부재에서, 개별적으로 가용한 역량들을 긴 순차적 계획 전반에 걸쳐 통합하는 능력의 부재로 전환하는 정밀한 진단 도구를 제공한다고 주장합니다.

• 실패의 재정의: 저자들은 LLM이 반드시 국소적 지각이나 전역 방향성이 부족한 것이 아니라, 오히려 이러한 신호들을 단계별로 바인딩(binding)하는 데 실패한다고 주장합니다. "Macro" 수준(전역 헤딩)은 격리된 상태에서는 놀라울 정도로 견고하지만, 순차적 실행 과정에서 Meso와 Fine 오류에 의해 반복적으로 무너집니다.
• 아키텍처적 함의: 하이브리드 GIS 및 경로 탐색 에이전트를 위해, 본 논문은 구체적인 역할 분담을 제안합니다: 알고리즘은 Fine 실행과 막다른 길 후퇴를 소유해야 하며, LLM은 교차로 수준의 결정권자 역할을 해야 합니다. 그러나 이 역할이 효과적이려면 프롬프트에 명시적인 위상적 프레이밍이 필요합니다.
• 입력 양식: 결과는 현재의 LLM에게 공간 구조가 시각적 표현보다는 기호적이고 관계적인 데이터(좌표)로서 처리되는 것이 가장 좋음을 시사합니다.

저자들은 트리 위상(순환 없음)의 사용, 영어 전용 채팅 모델에 대한 초점, 그리고 휴리스틱한 퍼스트 에러 태깅 등의 한계를 명시적으로 언급했습니다. 이들은 본 벤치마크를 특히 순환적이거나 메트릭 가중치가 부여된 환경에서 바인딩 병목 현상을 더 미세하게 국지화할 수 있는 재사용 가능한 도구로 위치시킵니다.