기술 요약: VideoGameBench

문제 제기

비전 - 언어 모델 (VLM) 이 고급 수학 및 코딩과 같은 복잡한 인간 도전 과제를 수행하는 데 능숙함을 입증해 왔음에도 불구하고, 선천적 인간 귀납적 편향—특히 지각, 공간 탐색, 그리고 기억 관리—에 의존하는 과제를 수행하는 능력은 여전히 충분히 연구되지 않았습니다. 기존 벤치마크는 종종 단순화된 그리드 월드, 텍스트 전용 환경, 또는 게임별 구조 (예: 내부 상태 접근, 시각적 오버레이, 또는 맞춤형 도구) 에 의존하는데, 이는 실제 상호작용의 제약을 반영하지 못합니다. 이 논문은 1990 년대 (32 비트 시대) 의 실제 비디오 게임이 인간에게 직관적으로 설계되어 동일한 귀납적 편향을 활용하므로 이상적인 테스트베드라고 주장합니다. 다루어진 핵심 문제는 게임별 힌트, 내부 상태 데이터, 또는 인간의 개입 없이 오직 원시 시각 입력과 고수준 목표 설명만을 사용하여 프런티어 VLM 이 전체 비디오 게임을 완수할 수 있는지 평가하는 것입니다.

방법론

저자들은 1990 년대의 인기 있는 비디오 게임 10 개 (Game Boy, Game Boy Color, MS-DOS 플랫폼) 와 13 개의 게임으로 구성된 개발 세트를 포함하는 VideoGameBench를 소개합니다. 이 벤치마크는 다음과 같은 세 가지 새로운 특징으로 설계되었습니다:

1. 현실성과 복잡성: 이전 작업의 단순화된 환경을 넘어선 계획, 퍼즐 해결, 전략적 사고가 필요한 2D 및 3D 환경을 활용합니다.
2. 일반화 테스트: 과적합을 방지하고 에이전트의 보이지 않는 환경에 적응하는 능력을 테스트하기 위해 세 개의 테스트 게임은 비밀로 유지됩니다.
3. 최소 구조 지원: 에이전트는 원시 게임 프레임과 컨트롤 및 목표에 대한 고수준 설명만 받습니다. 시각적 오버레이, 내부 RAM 접근, 또는 게임별 도구는 허용되지 않습니다.

에이전트 프레임워크 (VG-Agent)

평가에는 ReAct(추론, 행동, 관찰) 프레임워크를 기반으로 한 VG-Agent가 사용됩니다. 에이전트는 다음과 같이 작동합니다:

• 원시 게임 프레임을 입력으로 받습니다.
• 자연어로 행동을 출력합니다 (예: press_key "A", click [x,y]).
• 기억과 계획을 위한 텍스트 스크래치패드를 유지합니다.
• 엄격한 제약 하에 작동합니다: 인간 개입 금지, 화면 너머의 게임 상태 접근 금지, 무한 루프 방지를 위한 실행 시간 제한.

VideoGameBench Lite

실시간 설정에서의 주요 병목 현상인 추론 지연과 추론 능력을 분리하기 위해 저자들은 VideoGameBench Lite를 소개합니다. 이 변형에서는 에이전트가 정보를 처리하고 행동을 결정하는 동안 게임 에뮬레이터가 일시 정지되어, 실시간 게임을 턴제 상호작용으로 효과적으로 변환합니다.

평가 지표

진전은 지각적 이미지 해싱을 사용하여 자동으로 추적됩니다. 시스템은 온라인 walkthrough(예: YouTube) 에서 체크포인트 이미지를 스크랩하여 해밍 거리를 사용하여 에이전트의 현재 게임 프레임과 비교합니다. 도달한 가장 먼 체크포인트에 상대적인 게임 완료百分比를 기반으로 점수가 계산됩니다.

주요 기여

1. VideoGameBench 벤치마크: 보조 정보 없이 실시간, 복잡하고 다양한 게임 환경에서 VLM 을 평가하기 위한 표준화되고 도전적인 벤치마크.
2. VideoGameBench Lite: 반응 시간 제약으로부터 추론 성능을 분리하기 위한 지연 시간 제어 변형.
3. 자동화된 진전 추적: 스크랩된 walkthrough 에 대한 지각적 해싱을 사용하여 이진 통과/실패 지표를 피하는 세분화된 점수 산출을 위한 새로운 방법.
4. 실증 분석: GPT-4o, Claude 3.7 Sonnet, Gemini 2.5 Pro, Llama 4 등 프런티어 모델에 대한 포괄적 평가를 통해 현재 VLM 능력의 상당한 한계를 드러냄.

결과

실험은 프런티어 VLM 이 어떤 게임의 초기 단계를 넘어 진전하는 데 크게 어려움을 겪음을 보여줍니다:

• VideoGameBench 성능: 가장 잘 수행된 모델인 Gemini 2.5 Pro와 Claude 3.7 Sonnet은 전체 점수가 불과 **0.48%**에 불과했습니다. 대부분의 모델은 대부분의 게임에서 0% 점수를 기록하여 첫 번째 주요 체크포인트조차 도달하지 못했습니다.
• VideoGameBench Lite 성능: 지연 시간이 제거되었음에도 성능은 여전히 낮았습니다. 최상위 모델은 Lite 하위 집합에서 **1.6%**만 달성했습니다. 실시간 설정에 비해 정량적으로 성능이 향상되었지만, 에이전트들은 게임을 완수하거나 중요한 마일스톤에 도달하지 못했습니다.
• 연습 게임: 더 간단한 연습 작업 (위치 클릭, 마우스 드래그, 2D 탐색) 에서 모델들은 혼합된 결과를 보였습니다. 일부 모델은 기본 클릭 작업을 완수할 수 있었지만, 드래그와 탐색에서는 어려움을 겪어 공간 제어 및 실행의 근본적인 약점을 시사했습니다.

실패 모드

이 논문은 세 가지 주요 실패 모드를 식별합니다:

1. 알고 - 행동 간극: 모델은 종종 목표 (예: "문까지 아래로 이동") 를 올바르게 식별하지만 잘못된 행동을 실행합니다 (예: 캐릭터를 문과 정렬하지 않고 "아래"를 반복적으로 누름). 이로 인해 정체 상태가 됩니다.
2. 시각 처리 오류: 모델은 시각 입력을 자주 오해합니다. 예를 들어, 적이 죽었을 때 살아 있다고 믿거나, 발생하지 않은 NPC 와의 상호작용을 환각하는 것입니다.
3. 기억 및 계획 결핍: 에이전트는 장기 목표나 게임 상태를 추적하지 못합니다. 종종 기억을 덮어쓰거나, 주요 목표 (예: Pokémon Crystal에서 패키지 배달) 를 잊어버리거나, Doom II의 존 사이를 오가는 것과 같은 반복적 루프에 갇힙니다.

중요성 및 주장

이 논문은 VideoGameBench 가 AI 에이전트에서의 인간과 유사한 귀납적 편향 (지각, 공간 추론, 기억) 의 평가를 공식화한다고 주장합니다. 결과는 코딩과 수학에서의 강력한 성능에도 불구하고, 현재 프런티어 VLM 이 동적 환경에서의 실시간, 다중 모드 상호작용에 필요한 견고함을 결여하고 있음을 시사합니다.

저자들은 벤치마크가 일반화와 자율성을 위한 엄격한 테스트 역할을 한다고 강조합니다. 게임별 구조 지원을 제거함으로써, 이 벤치마크는 현재 에이전트들이 내재적 추론 능력보다는 외부 지원에 크게 의존하고 있음을 부각시킵니다. 저자들은 이 공식화가 새로운 보이지 않는 환경에서 작동할 수 있는 에이전트 개발을 촉진하여 로봇 공학 및 드론 제어와 같은 실제 세계의 구체적 AI 응용 분야에 잠재적 영향을 미칠 것이라고 희망합니다. 이 논문은 벤치마크가 1990 년대 게임으로 제한되어 있지만, 현재 AI 능력과 인간 수준의 과제 완수 사이의 격차를 이해하는 데 필요한 기초를 제공한다는 점을 지적하며 겸손한 어조를 유지합니다.