See, Symbolize, Act: Grounding VLMs with Spatial Representations for Better Gameplay

이 논문은 비전 - 언어 모델 (VLM) 의 게임 플레이 성능 향상을 위해 시각적 프레임과 상징적 표현을 결합하는 방식을 연구한 결과, 상징 추출의 정확도가 신뢰할 수 있을 때만 상징적 그라운딩이 효과적이며, 인식의 질이 향후 VLM 기반 에이전트의 핵심 병목 요소임을 밝혔습니다.

핵심

🎮 핵심 주제: "눈 (시각) 만 믿을지, 아니면 '지도 (상징)'도 함께 볼지?"

AI 가 게임을 할 때 두 가지 방법을 고려했습니다.

1. 눈만 믿는 방법 (Frame-only): 화면에 보이는 픽셀만 보고 "저게 공이네, 저게 배트네"라고 직접 판단합니다.
2. 지도도 함께 보는 방법 (Symbolic Grounding): 화면을 보면서도 AI 가 "공의 좌표는 (x, y), 배트의 좌표는 (x, y)"처럼 숫자로 된 **정확한 지도 (상징 정보)**를 함께 읽습니다.

연구진은 "AI 가 이 '지도'를 스스로 만들어서 쓰면 더 잘할까? 아니면 지도가 틀리면 오히려 망할까?"를 확인했습니다.

---

🕵️‍♂️ 실험 내용: 세 가지 AI 선수와 네 가지 게임 방식

연구진은 Claude-4, GPT-4o, Gemini-2.5라는 세 명의 AI 선수를 데리고 아타리 게임 (퐁, 브레이크아웃, 스페이스 인베이더) 을 시켰습니다. 그리고 다음과 같은 네 가지 방식으로 게임을 시켰습니다.

1. 눈만 믿기: 화면만 보고 플레이.
2. 지도 + 눈 (정답): 게임 내부 데이터 (RAM) 에서 나온 완벽한 좌표를 AI 에게 줌.
3. 지도 + 눈 (스스로): AI 가 화면을 보고 스스로 좌표를 추정해서 줌.
4. 지도만 보기: 화면은 안 주고 좌표 숫자만 줌.

---

📊 주요 발견: "지도가 정확해야만 소용있다!"

이 실험에서 나온 가장 중요한 결론은 다음과 같습니다.

1. 완벽한 지도를 주면 AI 는 천재가 됩니다.

게임 내부 데이터에서 나온 **정확한 좌표 (정답)**를 AI 에게 주면, 모든 AI 가 훨씬 잘했습니다. 마치 정확한 GPS 내비게이션을 들고 운전하는 것과 같습니다. 길을 잃지 않고 목표물을 정확히 맞출 수 있죠.

2. 하지만 AI 가 스스로 만든 지도가 엉망이면, 오히려 더 못합니다.

AI 가 화면을 보고 스스로 "공이 여기 있겠지?"라고 좌표를 추정하게 했을 때, 상황이 달라졌습니다.

• 클로드 (Claude): 이 AI 는 눈이 매우 밝아서 스스로 만든 지도도 꽤 정확했습니다. 그래서 스스로 만든 지도를 받으면 게임 실력이 급상승했습니다.
• GPT-4o 와 지미니 (Gemini): 이 AI 들은 눈이 조금 흐릿했습니다. 스스로 만든 지도가 엉망진창이었죠. 공이 어디 있는지 잘못 알려주니, AI 는 **"아, 지도가 틀렸네!"**라고 혼란을 겪으며 오히려 게임 실력이 떨어졌습니다.

💡 비유:

• 정확한 지도 (정답): "서울역은 동쪽 3km, 남쪽 2km 에 있습니다." → 도착 성공!
• 잘못된 지도 (AI 의 실수): "서울역은 북쪽 10km, 서쪽 5km 에 있습니다." → 길을 잃고 헤매다가 지쳐서 포기함.

3. 지도만 주고 화면은 안 주면? (완전 실패)

화면은 안 주고 좌표 숫자만 주면 AI 는 게임을 못했습니다. 좌표만으로는 "저게 적인가? 아군인가? 장애물인가?"를 알 수 없기 때문입니다. 화면 (시각) 이 있어야 지도 (좌표) 를 제대로 해석할 수 있습니다.

---

🔍 왜 이런 일이 일어날까? (원인 분석)

연구진은 왜 어떤 AI 는 잘하고 어떤 AI 는 망하는지 파헤쳤습니다.

• 해상도의 중요성: 화면을 너무 작게 (원래 아타리 크기) 주면 AI 가 물체를 못 봅니다. 화면을 **고화질 (HD)**로 늘려주면 AI 가 물체 위치를 훨씬 정확히 파악합니다.
  • 비유: 안경을 쓴 사람 (고해상도) 은 멀리 있는 글자를 읽지만, 안경을 안 쓴 사람 (저해상도) 은 글자가 뭉개져서 못 읽습니다.
• 잡음 (Noise) 에 약함: 좌표에 아주 작은 오차 (16~20 픽셀) 만 생겨도 AI 의 실력은 뚝 떨어졌습니다.
  • 비유: 내비게이션이 "300m 전 좌회전"이라고 했을 때, "300m 전"이 아니라 "320m 전"이라고 잘못 알려주면, 운전자는 이미 지나쳐버리고 길을 잃습니다.

---

🚀 결론: AI 가 게임을 잘하려면?

이 논문의 결론은 매우 명확합니다.

**"AI 가 게임을 잘하려면 '상징적 지도 (좌표)'가 필수적이지만, 그 지도를 만드는 **AI 의 눈 (시각 인식 능력)이 먼저 정확해야 합니다."

• 눈이 좋은 AI (Claude): 스스로 만든 지도를 믿고 잘합니다.
• 눈이 흐릿한 AI (GPT-4o 등): 스스로 만든 지도를 믿으면 오히려 망합니다.
• 미래의 과제: AI 가 게임을 잘하려면, AI 가 화면을 보고 **물체를 정확히 찾아내는 능력 (인식)**을 먼저 키워야 합니다. 그다음에야 좌표 정보를 활용해서 더 똑똑해질 수 있습니다.

한 줄 요약:

"AI 에게 정답이 있는 지도를 주면 천재가 되지만, AI 가 스스로 엉터리 지도를 만들어서 주면 바보가 됩니다. 결국 중요한 건 **정확한 눈 (인식)**입니다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

시각 - 언어 모델 (VLM, Vision-Language Models) 은 시각 장면을 기술하는 데 뛰어나지만, 이를 정밀하고 현실적인 행동 (Action) 으로 전환하는 데에는 한계가 있습니다. 특히 로봇 공학, embodied AI, 게임 환경과 같은 상호작용적 영역에서는 **정밀한 공간 이해 (Spatial Understanding)**가 필수적이지만, 현재 VLM 은 이를 신뢰할 수 있게 수행하지 못합니다.

• 핵심 문제: VLM 이 게임 (Atari 등) 에서 객체를 잘못 식별하거나, 공간적 위치를 오인하여 비효율적인 행동을 반복하거나 정밀한 제어를 실패하는 경우가 많습니다.
• 기존 접근법의 한계:
  • 게임별 수천 개의 궤적으로 VLM 을 파인튜닝하면 제로샷 (Zero-shot) 일반화 능력이 떨어집니다.
  • 시각 프레임 (Frame) 만을 입력으로 사용하는 경우 (예: Atari-GPT), 공간 추론이 여전히 어렵습니다.
  • VLM 이 시각 입력으로부터 객체와 좌표를 정확히 추출할 수 있는지, 그리고 추출된 기호 (Symbol) 의 정확도가 의사결정에 어떤 영향을 미치는지에 대한 체계적인 연구가 부족했습니다.

2. 방법론 (Methodology)

이 연구는 VLM 의 게임 플레이 성능을 향상시키기 위해 시각 프레임과 **상징적 표현 (Symbolic Representation)**을 결합하는지, 그리고 그 조건을 규명하기 위해 체계적인 실험을 수행했습니다.

2.1 실험 설정

• 게임 환경: 복잡도가 다른 Atari 게임 3 종 (Pong, Breakout, Space Invaders) 과 3D/사진 현실적 환경 (VizDoom, AI2-THOR) 을 사용했습니다.
• 평가 모델: 최신 VLM 3 종 (Claude-4-Sonnet, GPT-4o, Gemini-2.5-Pro) 을 파인튜닝 없이 제로샷 (Zero-shot) 으로 평가했습니다.
• 비교 파이프라인 (4 가지):
  1. Frame-only (F): 원시 게임 프레임만 입력.
  2. Frame + Ground-Truth Symbols (F+S-GT): 게임 RAM 에서 추출한 완벽한 객체 좌표 (OCAtari 사용) 와 프레임을 함께 입력. (상한선 기준)
  3. Frame + Self-Extracted Symbols (F+S-self): VLM 이 스스로 프레임에서 객체와 좌표를 추출한 후, 이를 프레임과 함께 입력받아 행동 결정.
  4. Symbol-Only (S-GT): 시각 프레임 없이 완벽한 객체 좌표 정보만 입력.

2.2 평가 지표

• 게임플레이 지표: 누적 보상 (Cumulative Reward).
• 검출 지표: VLM 이 추출한 기호의 정확도를 평가하기 위해 F1 점수와 IoU(Intersection over Union) 를 사용했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

3.1 상징적 Grounding 의 효과는 모델 능력에 의존함

• Claude-4-Sonnet: 시각적 추론 능력이 상대적으로 낮았으나, 정확한 기호 추출이 가능할 때 프레임만 사용할 때보다 성능이 비약적으로 향상되었습니다. (예: Breakout 에서 0.0 → 12.0 점).
• GPT-4o, Gemini-2.5-Pro: 시각적 추론 능력이 더 뛰어났으나, **복잡한 장면 (Space Invaders 등)**에서 스스로 기호를 추출할 경우 객체 검출 오류가 발생하여 오히려 성능이 저하되었습니다.
• 결론: 상징적 정보 (Symbolic Information) 는 추출된 기호의 정확도가 높을 때만 VLM 의 성능을 향상시킵니다.

3.2 시각적 컨텍스트의 필수성

• Symbol-Only 파이프라인 실험 결과, 완벽한 좌표 정보만 제공받더라도 시각적 프레임이 없으면 성능이 급격히 하락했습니다.
• 이는 VLM 이 좌표 데이터를 올바르게 해석하고 신뢰하기 위해서는 **시각적 컨텍스트 (Visual Grounding)**가 필수적임을 보여줍니다. 기호 정보만으로는 게임 상태의 전체적인 표현을 포착할 수 없습니다.

3.3 검출 정확도가 성능의 병목 현상

• 검출 품질 분석: Claude-4-Sonnet 은 객체 검출 F1 점수 (0.715) 가 GPT-4o (0.124) 나 Gemini (0.189) 보다 훨씬 높았습니다. 이로 인해 Claude 는 기호 기반 접근법의 이점을 누릴 수 있었으나, 다른 모델들은 오류가 누적되어 성능이 떨어졌습니다.
• 해상도 영향 (Ablation Study): 입력 해상도를 높이면 (160x210 → 1280x720) 객체 검출 정확도가 크게 향상되어 (F1 0.31 → 0.68) 상징적 Grounding 의 효과를 극대화할 수 있었습니다.

3.4 노이즈에 대한 민감성

• 좌표에 작은 노이즈 (Gaussian noise) 가 추가되더라도 (σ=0.1, 약 16-20 픽셀 오차), 모델의 성능은 크게 저하되었습니다. 이는 정밀한 검출이 상징적 제어 루프에서 얼마나 중요한지를 보여줍니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 VLM 기반 에이전트의 성능 향상을 위한 핵심 통찰을 제공합니다:

1. 신뢰할 수 있는 지각 (Perception) 이 핵심 병목: 상징적 Grounding 그 자체의 아이디어가 나쁜 것이 아니라, 시각 입력으로부터 정확한 기호를 추출하는 능력이 관건입니다. 추출된 기호에 노이즈가 많으면 오히려 의사결정을 방해합니다.
2. 시각과 기호의 상호 보완: VLM 은 완벽한 기호 정보만으로는 작동하지 않으며, 시각적 프레임과 기호 정보가 결합되어야 최적의 성능을 발휘합니다.
3. 해상도의 중요성: 고해상도 입력은 객체 검출 정확도를 높여 상징적 Grounding 의 효과를 극대화합니다.
4. 미래 방향: 향후 연구는 VLM 의 추론 능력보다는 강건한 기호 추출 (Robust Symbol Extraction) 방법 (예: 하이브리드 검출기, 경량화된 비전 모듈 파인튜닝 등) 에 집중해야 함을 시사합니다.

요약하자면, **"See(시각), Symbolize(기호화), Act(행동)"**의 과정에서 '기호화' 단계의 정확도가 전체 시스템의 성패를 좌우하며, 이를 해결하기 위해서는 높은 검출 정확도와 시각적 컨텍스트의 유지가 필수적입니다.