From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning

1. 연구 배경 및 문제 제기 (Problem)

• 핵심 질문: 멀티모달 대규모 언어 모델 (MLLM) 이 시각적 공간 작업 (예: 미로 찾기) 을 해결할 때, 인간과 유사한 '진정한 공간 계획 (Spatial Planning)'을 수행하는가, 아니면 토큰 공간에서의 '무차별 대입 검색 (Brute-force Search)'을 수행하는가?
• 현황: 최근 MLLM 은 비주얼 퀘스천 애너싱 (VQA) 등 다양한 작업에서 뛰어난 성과를 보이지만, 인간 (심지어 어린이) 이 쉽게 해결하는 시각적 공간 추론 작업에서는 여전히 어려움을 겪는 것으로 알려져 있습니다.
• 가설: 모델이 높은 정확도를 기록하더라도, 이는 인간과 유사한 직관적인 공간 이해를 바탕으로 한 것이 아니라, 이미지를 텍스트 그리드로 변환한 후 자연어 토큰 단위로 경로를 하나하나 나열하며 해답을 찾는 비효율적인 방식 때문일 가능성이 있습니다.

2. 방법론 (Methodology)

2.1 MAZEBENCH 벤치마크 개발

• 데이터셋: 110 개의 절차적 생성 (Procedurally Generated) 미로 이미지로 구성.
• 제어 변수: 9 개의 실험 그룹으로 세분화되어 다양한 난이도와 조건을 통제합니다.
  • 난이도: 5x5 에서 20x20 까지 격자 크기 조절.
  • 복잡도: 벽 밀도 (055%), 함정 (Trap) 개수 (025), 경계 벽 유무 등.
  • 그룹 구성: 진단용 (A), 격자 규모 (B), 벽 밀도 (C), 함정 제거 (D), 도달 불가 (E), 경계 벽 (F), 복합 난이도 (G), 팔레트 스트레스 (H), 초고난이도 (X: 20x20).
• 평가 지표: 도달 가능성 판단, 최단 경로 길이, 그리고 U/D/L/R 로 구성된 정확한 경로 시퀀스 매칭. 부분 점수는 부여되지 않음.

2.2 실험 설정

• 모델: OpenAI (GPT-5.4, GPT-5.4-mini), Anthropic (Claude Opus/Sonnet/Haiku 4.x), Google (Gemini 3.1 Pro/Flash), Alibaba (Qwen 3.5) 등 총 16 가지 모델 구성.
• 추론 예산 (Reasoning Budget) 제어: OpenAI 의 reasoning_effort (none/low/medium) 와 Anthropic 의 adaptive thinking 등을 활용하여 추론 노력의 양을 체계적으로 조절.
• 토큰 효율성 분석: 문제 해결에 소요된 총 토큰 수 (생각 + 출력) 를 측정하여 모델의 전략적 차이를 분석.

3. 주요 결과 (Key Results)

3.1 높은 정확도 이면의 비효율성

• 성능: GPT-5.4 (medium) 가 91%, Gemini 3.1 Pro 가 79% 의 높은 해결율을 보임.
• 비효율성: 하지만 이 모델들은 인간이 몇 초 만에 해결하는 미로를 풀기 위해 1,710~22,818 개의 토큰을 소비합니다.
• 전략: 모델들은 이미지를 텍스트 그리드로 변환한 후, 경로를 하나씩 나열하며 (Serial Path Enumeration) BFS(너비 우선 탐색) 를 자연어 토큰으로 시뮬레이션합니다. 이는 진정한 공간 계획이 아닌 텍스트 기반의 무차별 대입 검색입니다.

3.2 추론 예산과 성능의 관계

• GPT-5.4: 추론 노력 (Reasoning Effort) 이 'none'에서 'low'로 증가하면 해결율이 12% 에서 85% 로 급격히 상승하지만, 'medium'으로 가면 91% 로 소폭 증가하며 체감 수익 체감 (Diminishing Returns) 을 보입니다.
• Claude 모델: 모델 크기 (Haiku vs Opus) 나 추론 노력 설정과 무관하게 해결율이 2~6% 로 매우 낮게 유지됩니다. 이는 추론 능력 부족이 아니라 시각적 그리드 추출 (Visual Extraction) 실패가 주원인임을 시사합니다.

3.3 시각적 추출 vs 추론 능력 (Ablation Study)

• 텍스트 그리드 실험: Claude Sonnet 4.6 에게 이미지 대신 정확한 텍스트 그리드를 직접 입력했을 때, 해결율이 6% 에서 80% 로 급증했습니다.
• 결론: Claude 의 추론 엔진 자체는 우수하나, 이미지에서 그리드를 추출하는 시각적 파싱 단계에서 오류 (벽 위치 오류, 격자 크기 오인식 등) 를 범하여 실패합니다.

3.4 모델 크기의 한계

• 규모의 법칙 부재: 가장 큰 모델인 Claude Opus 4.6 이 가장 작은 Haiku 4.5 와 유사한 낮은 성능 (4%) 을 보였습니다. 이는 공간 추론 능력이 모델 크기 (Scale) 에 의해 자연스럽게 발현 (Emergent) 되지 않음을 의미합니다.

3.5 초고난이도 (Ultra-Hard) 한계

• 20x20 미로 (경로 길이 28~42 단계) 에서 GPT-5.4 의 성능은 91% 에서 30% 로 급락했습니다.
• 모델은 경로가 너무 길어 토큰 예산을 초과하면, 경로가 존재하지 않는다고 잘못 판단하거나 (False Negative) 토큰 한계에 도달하여 실패합니다. 이는 모델이 경로를 '보고' 해결하는 것이 아니라, 토큰 예산 내에서 '열거'할 수 있는지에 따라 성패가 결정됨을 보여줍니다.

4. 핵심 기여 (Key Contributions)

1. MAZEBENCH 벤치마크 도입: 시각적 공간 추론 능력을 평가하기 위해 절차적 생성 미로와 통제된 실험 변수 (난이도, 추론 예산, 토큰 효율성) 를 포함한 새로운 벤치마크를 제시.
2. 전략적 통찰: MLLM 이 높은 정확도를 달성하는 방식이 '시각적 계획'이 아니라 **'이미지-텍스트 변환 후 토큰 단위의 무차별 대입 검색 (BFS in prose)'**임을 규명.
3. 비효율성과 취약성 증명: 높은 정확도가 인간과 유사한 이해를 의미하지 않으며, 토큰 예산이 부족하면 실패하는 등 계산 비용 대비 비효율적이고 취약한 전략을 사용함을 입증.
4. 시각적 추출의 병목 현상: 일부 모델 (Claude) 의 낮은 성능이 추론 능력 부족이 아니라 시각적 파싱 (이미지 -> 그리드) 실패에서 기인함을 텍스트 그리드 실험을 통해 분리 증명.

5. 의의 및 시사점 (Significance)

• 벤치마크 해석의 재고: 벤치마크 점수 (정확도) 만으로는 모델의 실제 능력 (공간 이해, 계획 수립) 을 판단하기 어렵습니다. 높은 점수는 단순히 더 많은 계산 자원 (토큰) 을 사용하여 brute-force 로 정답을 찾았을 뿐일 수 있습니다.
• 평가 지표의 확장: 단순 정확도뿐만 아니라 전략 (Strategy), 효율성 (Token Efficiency), 실패 모드 (Failure Mode) 를 함께 평가해야 진정한 멀티모달 모델의 진전을 측정할 수 있습니다.
• 미래 연구 방향: 모델이 인간처럼 직관적으로 공간을 이해하고 계획하는 능력을 갖추기 위해서는, 현재와 같은 토큰 기반의 순차적 검색을 넘어선 새로운 아키텍처나 학습 방식이 필요함을 시사합니다.

결론적으로, 이 논문은 최신 MLLM 이 시각적 미로 문제를 해결하는 방식이 인간의 공간적 직관과는 근본적으로 다르며, 높은 정확도 이면에는 비효율적인 토큰 기반의 무차별 대입 검색이 숨겨져 있음을 강력하게 경고합니다.