Limits of Imagery Reasoning in Frontier LLM Models

논문 요약: 최전선 LLM 모델의 이미지 추론 한계

저자: Sergio Y. Hayashi, Nina S. T. Hirata (상파울루 대학교)
날짜: 2026 년 3 월 31 일 (가상 날짜)

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 대형 언어 모델 (LLM) 은 언어적 추론 능력은 탁월하지만, '심상 (Mental Imagery)'을 필요로 하는 공간적 작업 (예: 심상 회전, 3D 객체 조작) 에서는 심각한 어려움을 겪습니다.
• 가설: 인간은 '마음의 눈'으로 3D 객체를 시각화하고 조작할 수 있지만, 현재 최전선 다중 모달 LLM(MLLM) 은 이미지를 토큰 시퀀스로만 처리하여 인간과 같은 전체적이고 변형 가능한 심상 능력을 결여하고 있습니다. 저자들은 이를 **'기능적 아판타시아 (Functional Aphantasia)'**라고 명명했습니다.
• 핵심 질문: 외부 도구를 통해 3D 객체의 유지 및 조작 (이미지 렌더링) 을 대신하게 하더라도, LLM 이 이를 효과적으로 활용하여 공간 추론 문제를 해결할 수 있을까?

2. 방법론: 의인적 이미지 아키텍처 (Methodology)

저자는 LLM 의 추론 능력을 보완하기 위해 외부 '이미지 모듈'을 연결한 이중 모듈 에이전트 루프를 설계하고 실험했습니다.

• 시스템 아키텍처:
  1. 추론 모듈 (Reasoning Module): 최전선 MLLM(GPT-5.2 등) 이 담당. 3D 기하학을 직접 조작하지 않고, 이미지 모듈에게 회전 명령을 내리고 결과를 관찰하여 추론합니다.
  2. 이미지 모듈 (Imagery Module): Python(PyVista) 기반 도구. 3D 객체의 상태를 유지하고, LLM 의 명령에 따라 객체를 회전시켜 2D 스냅샷을 렌더링하여 LLM 에게 제공합니다.
• 작업 (Task): SpatialViz 3D 회전 벤치마크 사용. 하나의 원본 객체와 세 가지 선택지 (A, B, C) 가 주어졌을 때, 회전만으로 얻을 수 없는 (기하학적으로 일치하지 않는) 객체를 찾는 문제입니다.
• 실험 조건:
  • 조건 1 (리셋 가능): 객체를 표준 시점으로 리셋하여 2D 이미지 비교만 수행.
  • 조건 2 (360 도 검색 힌트): 360 도 전체 회전을 수행하여 일치하는 시점을 찾게 함.
  • 조건 3 (점진적 회전): LLM 이 직접 회전 명령을 내리며 점진적으로 각도를 맞춰가는 방식 (주 실험).

3. 주요 결과 (Results)

예상과 달리 외부 도구를 제공했음에도 LLM 의 성능은 기대 이하였습니다.

• 성능 한계:
  • 조건 1 (리셋): 2D 비교만 가능할 때 정확도는 **97.5%**까지 상승 (문제의 본질적 난이도가 낮음을 시사).
  • 조건 2 (360 도 검색): 360 도 뷰를 제공했음에도 정확도는 **52.5%**에 그침. 모델이 긴 이미지 시퀀스에서 일치하는 프레임을 찾지 못하고 언어적 추론으로 회귀함.
  • 조건 3 (점진적 회전): 실제 3D 공간 추론이 필요한 조건에서 정확도는 50.0% ~ 62.5% 수준. 이는 인간 (약 79.16%) 보다 낮고, 도구 사용 없이 직접 푼 경우 (50.0%) 와 큰 차이가 없음.
• 핵심 실패 원인 분석:
  1. 저수준 공간 신호 추출 실패: 모델은 두 개의 연속된 이미지를 '움직임의 시퀀스'로 인식하지 못함. 회전 방향 (좌/우, 상/하) 을 판단하는 데 실패하고, 정적 특징 (예: 윗면이 보임) 을 근거로 잘못된 방향을 추론함.
  2. 동적 상태 예측 불가: "회전 후의 상태"를 예측하거나 생성하는 능력이 전무함. 이미지 생성 모델조차 회전된 이미지를 올바르게 생성하지 못함.
  3. 상징적 추론 편향: 모델은 시각적 기하학적 특징을 주의 깊게 관찰 (Contemplative attention) 하기보다, 객체의 구성 요소 (예: "큐브 5 개") 를 언어적 기호로 연결하여 추론하는 경향이 강함.

4. 주요 기여 및 발견 (Key Contributions)

1. 기능적 아판타시아의 실증: 외부 도구 (이미지 모듈) 가 3D 상태 유지의 부담을 덜어주더라도, LLM 이 이를 활용하기 위한 **기초적인 시각 - 공간 원시 능력 (Visual-Spatial Primitives)**이 결여되어 있음을 입증했습니다.
2. 결여된 원시 능력의 구체화:
   • 깊이 (Depth): 2D 투영에서 3D 구조를 추출하는 능력.
   • 운동 (Motion): 연속된 이미지를 시간적 시퀀스로 해석하여 움직임을 감지하는 능력.
   • 동적 예측 (Dynamic Prediction): 기하학적 변환 후의 상태를 예측하는 능력.
3. 아키텍처 vs 학습 전략: 특수화된 비전 모델 (VGGT 등) 은 카메라 외인성 (Pose) 을 정확히 추출할 수 있음을 보여줌. 이는 Transformer 아키텍처 자체가 병목이 아니라, 일반 목적 LLM 의 학습 전략과 데이터 편향이 공간 추론 능력을 저해한다는 것을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현재의 한계: 단순히 LLM 에 렌더링 엔진을 연결하거나 병렬 이미지 분기를 추가하는 것만으로는 진정한 공간 추론을 달성할 수 없습니다. LLM 이 외부 도구를 '인지 보조기 (Cognitive Prosthetic)'로 활용하려면, 도구가 생성한 시각적 피드백을 해석할 수 있는 내재적인 공간 인식 능력이 먼저 갖춰져야 합니다.
• 미래 방향:
  • 단순한 토큰 기반 추론을 넘어, **지속적인 상태 추적 (State-tracking)**과 **사유적 시각 주의 (Contemplative Visual Attention)**를 지원하는 근본적인 아키텍처 혁신이 필요합니다.
  • 카메라 외인성 (Pose) 추적 및 투영을 명시적으로 모델링하는 훈련 전략이 필요합니다.

이 논문은 최전선 AI 모델이 인간의 '심상 (Mental Imagery)'과 유사한 추론을 수행하기 위해서는 단순한 도구 사용 능력을 넘어, 시각적 세계를 동적으로 이해하고 예측하는 기초적인 인지 원시 능력의 부재가 핵심 장벽임을 지적합니다.