Visual Planning: Let's Think Only with Images

이 논문은 언어에 의존하지 않고 시각적 표현을 통해 추론하는 '비주얼 플래닝 (Visual Planning)'이라는 새로운 패러다임을 제안하고, 강화학습 (VPRL) 을 통해 시각 내비게이션 작업에서 기존 텍스트 기반 추론을 능가하는 성능을 입증했습니다.

핵심

🎨 그림으로만 생각하는 AI: "시각적 계획 (Visual Planning)"의 세계

이 논문은 인공지능 (AI) 이 어떻게 '생각'하는지에 대한 새로운 방식을 제안합니다. 기존 AI 는 그림을 보고도 글자 (텍스트) 로 설명을 먼저 적어낸 뒤 답을 찾았지만, 이 연구는 "그림만 보고 그림으로 답을 그려내는" 새로운 방법을 제시합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 문제: "그림을 글로 번역하는" 번거로움

기존의 Multimodal AI(멀티모달 AI) 는 그림을 볼 때, 마치 눈이 좋은 번역가처럼 행동합니다.

• 상황: 미로 (미로 찾기) 나 얼음 위를 걷는 게임에서 길을 찾아야 합니다.
• 기존 방식: AI 는 먼저 그림 속의 벽, 길, 장애물을 보고 "여기엔 벽이 있고, 저기엔 구멍이 있어"라고 글로 설명을 적어냅니다. 그 다음에 "그럼 오른쪽으로 가자"라고 결론을 내립니다.
• 한계: 그림을 글로 바꾸는 과정에서 정보가 왜곡되거나, 복잡한 공간 관계를 글로 설명하려다 지치는 경우가 많습니다. 마치 지도 없이 "저기 저 빨간 건물이 보이는 곳에서 오른쪽으로 3 걸음"이라고 말로 길만 알려달라고 하는 것과 비슷합니다.

2. 해결책: "그림으로만 생각하기" (Visual Planning)

이 논문은 **"왜 굳이 그림을 글로 바꾸나요? 그림으로 바로 생각하면 안 될까요?"**라고 질문합니다.

• 새로운 방식: AI 는 그림을 보고 "글"을 쓰지 않습니다. 대신, 다음에 그려질 그림을 상상합니다.
• 비유: 우리가 길을 찾을 때 종이에 "동쪽으로 100m, 북쪽으로 50m"라고 적지 않고, 머릿속으로 길을 그려보며 "여기서 저기서 꺾어야지"라고 상상하는 것과 같습니다.
• 핵심: AI 는 현재 상태의 그림을 보고, "다음 단계의 그림"을 직접 그려냅니다. 이 과정이 반복되어 최종 목표에 도달하는 **그림의 연속 (시각적 궤적)**을 만듭니다.

3. 학습 방법: "시각적 강화 학습 (VPRL)"

그림으로만 생각하게 하려면 어떻게 가르쳐야 할까요? 저자들은 두 단계로 나누어 가르쳤습니다.

• 1 단계: 무작위 산책 (탐험)
  • AI 에게 "그림만 보고 아무렇게나 그려봐"라고 합니다.
  • 비유: 미로에 들어간 아이가 처음엔 막연하게 여기저기 돌아다니며 "어디로 가야 할지" 감을 잡는 단계입니다.
• 2 단계: 보상 기반 학습 (GRPO)
  • 이제 AI 가 그린 그림이 목표에 가까워졌는지를 점수로 매겨줍니다.
  • 비유: 아이가 올바른 길로 걸으면 "잘했어! (점수 +1)", 벽을 뚫고 가거나 구멍에 빠지면 "아이고! (점수 -5)"라고 합니다.
  • AI 는 이 점수를 보고 "어떤 그림을 그려야 더 좋은 점수를 받을지" 스스로 학습합니다.

4. 실험 결과: 그림이 더 빠르고 정확하다!

저자들은 미로 찾기 (MAZE), 얼음 위 이동 (FROZENLAKE) 같은 게임으로 실험을 했습니다.

• 기존 AI (글로 생각): 복잡한 미로가 나오면 글로 설명하느라 지쳐서 길을 잘못 찾거나, "그림을 글로 바꾸는" 과정에서 실수를 많이 했습니다.
• 새로운 AI (그림으로 생각): 정확도가 27% 나 더 높았습니다! 특히 미로가 더 복잡해지거나 크기가 커져도 성능이 떨어지지 않았습니다.
• 결론: 공간적인 문제를 풀 때는 그림으로 직접 생각하는 것이 글로 번역해서 생각하는 것보다 훨씬 효율적이라는 것이 증명되었습니다.

5. 요약 및 의의

이 연구는 AI 의 사고 방식에 큰 변화를 가져옵니다.

• 기존: 그림 → 글 (번역) → 생각 → 답
• 새로운: 그림 → 그림 (상상) → 답

마치 화가가 스케치북에 연필로 그림을 그리며 문제를 해결하는 것처럼, AI 도 이제 그림으로만 생각하며 복잡한 공간 문제를 해결할 수 있게 되었습니다. 이는 로봇이 환경을 이해하거나, 복잡한 구조물을 설계할 때 훨씬 더 직관적이고 강력한 도구가 될 것입니다.

한 줄 요약:

"AI 가 그림을 보고 답을 찾을 때, 더 이상 '글'이라는 번역기를 거치지 않고, 그림 그 자체로 상상하며 길을 찾게 되었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 최근 대규모 언어 모델 (LLM) 과 멀티모달 대규모 언어 모델 (MLLM) 은 복잡한 추론 능력을 보여주지만, 시각 정보가 포함된 작업에서도 추론 과정을 텍스트 (언어) 로만 표현하고 구조화하는 경향이 강합니다.
• 문제점:
  • 모달리티 간격 (Modality Gap): 시각적, 기하학적, 공간적 정보가 풍부한 작업 (예: 미로 찾기, 로봇 경로 계획) 에서 시각 정보를 텍스트로 변환 (Grounding) 한 후 추론을 수행하는 방식은 정보 손실을 초래하고 비효율적일 수 있습니다.
  • 비효율성: 복잡한 공간 관계를 언어로 설명하는 것은 번거롭고 정확도가 떨어질 수 있으며, 인간이 스케치나 시각화를 통해 미래를 구상하는 방식과 달리 모델은 여전히 텍스트에 의존합니다.
  • 기존 접근법의 한계: 기존 연구들은 시각적 스케치나 도구를 추론의 보조 수단으로 사용하지만, 최종 의사결정과 추론의 핵심은 여전히 텍스트 기반입니다.

2. 제안 방법: 비주얼 플래닝 (Visual Planning)

이 논문은 언어의 중재 없이 순수한 이미지 시퀀스를 통해 계획 (Planning) 을 수행하는 새로운 패러다임인 **'비주얼 플래닝 (Visual Planning)'**을 제안합니다.

• 핵심 개념:
  • 모델이 텍스트 설명을 생성하는 대신, 입력 이미지에서 목표 상태에 도달하기 위한 중간 상태 (Intermediate Visual States) 의 이미지 시퀀스를 직접 생성합니다.
  • 이는 인간의 '시각적 사고 (Mental Imagery)'와 유사하며, 텍스트를 거치지 않고 시각적 상태 전이 (Visual State Transitions) 로만 추론이 이루어집니다.
• 학습 프레임워크: VPRL (Visual Planning via Reinforcement Learning)
  • 배경 모델: 텍스트 데이터 없이 이미지와 비디오 프레임만으로 사전 훈련된 **Large Vision Model (LVM-7B)**을 사용합니다. 이는 언어적 편향 (Confounding factor) 을 제거하기 위함입니다.
  • 2 단계 강화학습 (Two-stage RL) 프레임워크:
    1. Stage 1 (Policy Initialization): 환경 내 무작위 탐색 (Random Walk) 을 통해 생성된 무작위 궤적으로 모델을 초기화합니다. 이는 모델이 유효한 이미지 시퀀스를 생성하는 능력을 익히고, 다양한 탐색 (Exploration) 을 할 수 있도록 준비하는 단계입니다.
    2. Stage 2 (Reinforcement Learning with GRPO): GRPO (Group Relative Policy Optimization) 알고리즘을 적용합니다.
       • 보상 설계 (Reward Design): 생성된 다음 시각 상태가 목표에 대한 진전 (Progress) 을 이루는지, 환경 제약 (예: 벽 통과 금지) 을 위반하지 않는지를 평가합니다.
         • Optimal: 목표에 가까워지는 유효한 행동 → 긍정적 보상
         • Non-optimal: 유효하지만 진전이 없는 행동 → 0 보상
         • Invalid: 환경 규칙 위반 (벽 통과, 물체 소멸 등) → 큰 패널티
       • 동역학 해석기 (Dynamics Interpreter): 이미지 쌍을 분석하여 행동 (Action) 을 추론하고 유효성을 판단하는 규칙 기반 또는 신경망 모듈을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 추론 패러다임 제안: 텍스트를 전혀 사용하지 않고 순수한 이미지 시퀀스만으로 계획과 추론이 가능한지 검증한 최초의 시도입니다.
2. VPRL 프레임워크 개발: 이미지 생성을 통해 순차적 계획을 수행하기 위해 강화학습 (RL) 을 적용한 2 단계 훈련 프레임워크를 제안했습니다.
3. 실험적 입증: 시각적 공간 계획 작업에서 기존 텍스트 기반 추론 및 지도 학습 (SFT) 기반 방법론보다 월등히 뛰어난 성능과 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 평가 작업: FROZENLAKE, MAZE, MINIBEHAVIOR 등 3 가지 그리드 기반 내비게이션 작업.
• 성능 비교 (Table 1):
  • **VPRL (제안 방법)**은 모든 작업에서 가장 높은 성능을 기록했습니다.
  • FROZENLAKE: VPRL 은 **91.6% (Exact Match)**의 정확도를 달성하여, 텍스트 기반 SFT 기반 모델 (68.6%) 보다 약 23%p 이상, 그리고 텍스트 기반 CoT 모델 (27.6%) 보다 약 64%p 높은 성능을 보였습니다.
  • 평균 성능: 3 가지 작업의 평균 정확도 (EM) 에서 VPRL 은 **80.6%**를 기록하여, 텍스트 기반 방법론들을 압도했습니다.
• 일반화 (Generalization):
  • OOD (Out-of-Distribution) 성능: 훈련된 그리드 크기보다 더 큰 환경 (예: 6x6 → 7x7 이상) 에서 VPRL 은 성능 저하가 훨씬 완만했습니다. 반면, 텍스트 기반 모델 (Gemini 2.5 Pro 등) 은 복잡도가 증가함에 따라 정확도가 급격히 떨어졌습니다.
  • 유효성 제어: VPRL 은 유효하지 않은 행동 (Invalid Actions) 을 수행하는 실패 비율을 VPFT(지도 학습) 대비 크게 줄였습니다 (예: FROZENLAKE 에서 60.6% → 36.9%).
• 비용 분석: 이미지 생성으로 인한 계산 비용 (토큰 수) 은 텍스트 CoT 보다 높지만, 'Thinking' 모델 (Gemini 2.5 Pro 등) 이 생성하는 방대한 텍스트 토큰 수에 비하면 여전히 실용적인 수준으로 분석되었습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 언어가 모든 추론의 유일한 매체가 될 필요는 없음을 보여주었습니다. 특히 공간적, 기하학적, 물리적 동역학이 중요한 작업에서는 **시각적 추론 (Visual Reasoning)**이 언어적 추론보다 더 직관적이고 효과적일 수 있음을 입증했습니다.
• 강화학습의 역할: 단순한 지도 학습 (SFT) 이 아닌, 보상 기반의 강화학습 (RL) 이 모델로 하여금 다양한 행동을 탐색하고 환경의 제약 조건을 내재화하도록 하여, 복잡한 계획 능력을 획득하게 했음을 확인했습니다.
• 미래 전망: 이 연구는 로봇 공학, 내비게이션, 보조 기술 등 시각적 지각과 의사결정이 밀접하게 연결된 분야에서 언어에 의존하지 않는 더 직관적이고 강력한 AI 시스템 개발의 새로운 방향을 제시합니다.

결론적으로, 이 논문은 "시각으로만 생각하자 (Think Only with Images)"는 개념을 통해, 멀티모달 AI 가 텍스트를 매개로 하지 않고도 순수한 시각적 상태 전이를 통해 복잡한 계획을 수행할 수 있음을 성공적으로 증명했습니다.