From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 지시 따르기, 내비게이션, 로봇 공학 등 공간 이해가 필요한 분야에서 빠르게 발전하고 있습니다. 그러나 LLM 이 공간 추론 벤치마크에서 높은 성능을 보이는 것이 **구조화된 내부 공간 표현 (structured internal spatial representations)**에 기반한 것인지, 아니면 **표면적인 언어적 휴리스틱 (linguistic heuristics)**이나 암기에 의존한 것인지 여부는 여전히 불분명합니다.

기존 연구는 주로 출력 정확도 (benchmark accuracy) 에 초점을 맞추어 왔으나, 이는 모델이 실제로 공간 정보를 어떻게 내부적으로 표현하고 처리하는지에 대한 메커니즘적 통찰을 제공하지 못합니다. 인간은 인지 지도 (cognitive maps), 정신 회전 (mental rotation), 경로 통합 (path integration) 등을 통해 공간 정보를 처리하지만, LLM 의 경우 이러한 내부 메커니즘이 명확히 규명되지 않았습니다.

2. 방법론 (Methodology)

이 연구는 인간 공간 인지 이론에서 영감을 받아 공간 추론을 세 가지 핵심 **계산 원리 (computational primitives)**로 분해하고, 이를 통제된 태스크를 통해 LLM 의 내부 표현을 분석하는 메커니즘적 접근법을 제시합니다.

A. 태스크 분류 체계 (Task Taxonomy)

공간 능력을 세 가지 원리로 분해하여 각각에 대한 통제된 태스크 패밀리를 설계했습니다.

1. 관계적 공간 추론 (Relational Spatial Reasoning): 다수의 쌍별 관계 (예: A 는 B 의 왼쪽, B 는 C 의 위쪽) 를 통합하여 간접적으로 연결된 개체 간의 관계를 추론하는 작업 (관계적 구성).
2. 관점 변환 및 정신 회전 (Perspective Transformation & Mental Rotation): 초기 공간 구성이나 기준 좌표계가 주어졌을 때, 회전, 반사, 시점 변경 등의 전역 변환을 적용하여 결과를 보고하는 작업 (표상 변환).
3. 공간 프로그램 실행 (Spatial Program Execution): 초기 위치와 일련의 이동/변환 명령어 시퀀스를 입력받아 최종 위치를 계산하는 작업 (상태 유지적 공간 업데이트).

B. 실험 설계

• 다국어 평가: 언어적 단서와 공간 계산을 분리하기 위해 영어, 중국어, 아랍어로 동일한 계산적 동등성 (computational equivalence) 을 가진 태스크를 독립적으로 구축했습니다.
• 모델: Qwen2.5-7B 와 Llama-3-8B (Base 및 Instruction-tuned 버전) 를 사용했습니다.
• 추론 프로토콜: 체인 오브 씽킹 (CoT) 이나 명시적 추론 흔적을 유도하지 않고, **단일 패스 추론 (single-pass inference)**으로 모델이 내재된 표현을 직접 활용하는지 평가했습니다.

C. 분석 기법

1. 선형 프로빙 (Linear Probing): 은닉 상태 (hidden states) 에서 상대적 위치 벡터, 방향 벡터, 절대 좌표 등 태스크 관련 변수를 디코딩하여 $R^2$ 점수를 측정했습니다.
2. 희소 오토인코더 (Sparse Autoencoder, SAE): 해석 가능한 특징 (interpretable features) 을 추출하여 공간 선택성을 가진 뉴런을 식별하고, 그 중요도를 분석했습니다.
3. 인과적 개입 (Causal Interventions):
   • 활성화 패칭 (Activation Patching): 중간 층의 활성화를 반사실적 (counterfactual) 공간 상태로 교체하여 모델 출력에 미치는 인과적 영향을 측정했습니다.
   • 특징 제거 (Feature Ablation): SAE 로 식별된 공간 관련 특징을 제거하여 성능 저하를 확인했습니다.

3. 주요 결과 (Key Results)

A. 공간 표현의 존재와 한계

• 중간 층에서의 인코딩: 태스크 관련 공간 정보는 모델의 **중간 층 (intermediate layers)**에서 명확하게 인코딩되는 것으로 나타났습니다 (최대 $R^2 \approx 0.37 \sim 0.40$).
• 일시성과 단편화: 그러나 이러한 표현은 최종 층 (final layers) 으로 갈수록 급격히 감소하며, 최종 예측에 통합되지 못합니다. 즉, 공간 구조가 구축되지만 유지되지 못합니다.
• 인과적 영향: 중간 층의 공간 활성화에 개입하면 모델의 출력이 반사실적 궤적으로 체계적으로 이동하는 것을 확인하여, 이 표현들이 단순한 디코딩 가능한 정보가 아닌 기능적으로 행동에 영향을 미친다는 것을 입증했습니다.

B. 태스크별 성능 및 실패 패턴

• 관계적 추론: 복잡도가 증가함에 따라 정확도가 비단조적으로 변동하며, 다중 제약 조건 구성이 부분적으로 붕괴되는 경향을 보입니다.
• 관점 변환 (방향 추적): 방향 추론 태스크에서는 성능이 우연 수준에 머무르며, 프로빙 $R^2$가 거의 0 에 가깝습니다. 이는 모델이 방향을 조작 가능한 내부 변수로 표현하지 않고, 언어적 사전 지식 (예: 북쪽, 동쪽의 빈도) 에 의존함을 시사합니다.
• 공간 프로그램 실행: 좌표 기반 업데이트 태스크는 상대적으로 높은 성능을 보였으나, 이는 공간 추론 능력보다는 산술 능력에 더 크게 기인한 것으로 분석되었습니다.

C. 언어 의존성과 기계적 퇴화 (Mechanistic Degeneracy)

• 행동적 유사성, 내부적 차이: 영어, 중국어, 아랍어 모델은 유사한 행동적 성능을 보이지만, SAE 분석 결과 서로 다른 내부 특징 (features) 과 경로를 통해 동일한 기능을 수행하는 '기계적 퇴화' 현상이 관찰되었습니다.
• 좌표 기반 태스크의 불변성: 좌표 기반 태스크는 언어 간 차이가 가장 작았으나, 관계적 추론 태스크에서는 언어별 성능 격차가 컸습니다.

4. 주요 기여 (Key Contributions)

1. 메커니즘적 평가 프레임워크: 벤치마크 정확도 중심의 평가를 넘어, 인간 공간 인지 이론에 기반한 계산 원리 (관계적 구성, 표상 변환, 상태 업데이트) 를 분리하여 LLM 의 내부 공간 표현을 체계적으로 분석하는 프레임워크를 제시했습니다.
2. 공간 표현의 본질 규명: LLM 이 공간 정보를 인코딩할 수 있음을 입증했으나, 그 표현이 일시적 (transient), 단편적 (fragmented), 그리고 태스크 의존적임을 밝혔습니다. 이는 인간과 같은 강건하고 일반적인 공간 추론과는 거리가 있음을 의미합니다.
3. 다국어 메커니즘 분석: 동일한 공간 추론 능력이 언어에 따라 서로 다른 내부 메커니즘 (경로) 으로 구현될 수 있음을 보여주어, 공간 추론이 언어 중립적이지 않을 수 있음을 시사했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 현재 LLM 이 표면적인 패턴 매칭과 인간과 유사한 강건한 공간 인지 사이에 위치하고 있음을 시사합니다. LLM 은 특정 조건에서 공간 정보를 처리할 수 있지만, 이를 통합적이고 일관된 내부 지도로 유지하지는 못합니다.

• 실용적 함의: 공간 추론이 하위 시스템에 통합될 때, 단순한 벤치마크 점수만으로는 모델의 견고성 (robustness) 을 판단할 수 없으며, 내부 표현의 메커니즘적 평가가 필수적입니다.
• 미래 방향: 인간과 유사한 공간 추론을 달성하기 위해서는 처리 단계 전반에 걸쳐 공간 표현을 보존하고 통합하는 새로운 아키텍처나 학습 방법이 필요하며, 이를 위해 메커니즘적 해석 가능성 연구가 더욱 중요해짐을 강조합니다.

요약하자면, 이 논문은 LLM 이 "공간을 이해하는가?"라는 질문에 대해 "일부 공간 정보를 인코딩하지만, 그것이 인간과 같은 구조화된 공간 인지 시스템으로 통합되지는 않는다"는 결론을 내리며, 공간 추론 연구의 패러다임을 행동적 평가에서 메커니즘적 분석으로 전환할 것을 촉구합니다.