기술 요약: 포인트 앤 클릭 퍼즐 게임용 비전 - 언어 모델을 위한 VLATIM 벤치마크

1. 문제 제기

비전 - 언어 - 행동 모델 (VLA) 과 비전 - 언어 모델 (VLM) 은 시각적 지각, 언어 이해, 행동 생성을 통합하는 데 유망한 성과를 보여 왔으나, 기존 벤치마크들은 종종 연속적인 행동 공간과 복잡한 물리적 추론이 결합된 특정 과제를 포착하지 못합니다. 현재 평가는 지나치게 단순한 이산적 입력 (예: 격자 퍼즐) 이나 피드백 루프가 지나치게 제한적이거나 너무 노이즈가 많은 지나치게 복잡한 오픈 월드 환경 (예: 마인크래프트, 젤다) 에 의존하는 경우가 많습니다.

VLM 이 다음이 요구되는 환경에서 인간과 유사한 논리적 문제 해결 능력을 수행할 수 있는지 평가하는 데에는 중요한 격차가 존재합니다.

1. 고수준 추론: 인과 관계와 물리적 메커니즘 (예: 연쇄 반응) 을 이해하는 능력.
2. 정밀한 실행: 그래픽 인터페이스 내에서 클릭, 드래그, 호버링과 같은 연속적이고 정밀한 마우스 상호작용으로 그 추론을 변환하는 능력.

저자들은 모델이 추론 능력을 보유할지라도, 게임 환경 내에서 이러한 능력을 정밀한 물리적 행동으로 변환하는 것은 아직 검증되지 않은 가설이라고 주장합니다.

2. 방법론: VLATIM 벤치마크

이 격차를 해소하기 위해 저자들은 고전적인 물리 퍼즐 게임인 The Incredible Machine 2(TIM) 를 기반으로 한 VLATIM(Vision-Language Against The Incredible Machine) 벤치마크를 소개합니다. TIM 은 중력, 마찰, 기계적 상호작용을 포함한 복잡한 연쇄 반응을 통해 간단한 과제를 해결해야 하는 루비 골드버그 스타일의 장치에 의존하므로 선정되었습니다.

2.1 벤치마크 구조

이 벤치마크는 제로샷 지각부터 전체 퍼즐 해결까지 이어지는 다섯 단계의 진화적 부분으로 나뉩니다.

• 1 부: 시각적 그라운딩 (Visual Grounding): 단일 선택형 질문 - 답변과 좌표 출력을 사용하여 객체 분류 및 국소화 (바운딩 박스) 를 평가합니다. 지표로는 Intersection over Union(IoU) 과 유클리드 거리가 포함됩니다.
• 2 부: 도메인 이해: 객체 상태 (예: 쥐를 피해 달리는 고양이) 와 물리적 속성 (예: 마찰, 질량) 에 대한 지식을 테스트합니다. 여기에는 명시적 속성 설명 유무에 따른 텍스트 기반 식별이 포함됩니다.
• 3 부: 사건 추론: 연쇄 반응에서의 원인, 결과 및 결과에 대한 추론 능력을 평가합니다. 과제는 텍스트 (사건 설명) 와 시각 (영향 영역 표시) 구성 요소로 나뉩니다.
• 4 부: 조작 (Manipulation): 모델이 비전 - 행동 루프를 통해 게임 인터페이스와 상호작용하도록 요구합니다. 행동 공간에는 click(클릭), hover(호버), drag(드래그), wait(대기), finished(완료) 가 포함됩니다. 과제는 객체를 배치, 이동, 회전, 늘리기, 제거하는 것을 포함합니다.
• 5 부: 전체 퍼즐 해결: 모델에게 고수준 목표 ("퍼즐을 해결하라") 만 제공되며, 화면에서 목표를 읽고, 해결책을 계획하고, 퍼즐을 완료하기 위해 행동 시퀀스를 실행해야 합니다.

2.2 실험 설정

• 평가된 모델: 다섯 개의 VLM 이 테스트되었습니다.
  • UI-TARS 1.5 (7B): 컴퓨터 사용을 위해 훈련된 GUI 에이전트.
  • Qwen2.5 VL (7B): UI-TARS 의 기본 모델.
  • Qwen3 VL (235B): 컴퓨터 사용 능력을 갖춘 시각적 그라운딩 에이전트.
  • Gemini 2.5 Flash: 강력한 세계 지식을 가진 폐쇄형 소스 모델.
  • GPT-5 Mini: 강력한 세계 지식을 가진 폐쇄형 소스 모델.
• 평가 프레임워크: 4 부와 5 부의 경우, 모델이 현재 스크린샷과 행동 이력을 수신하고 생각과 행동을 생성한 후 pyautogui 를 통해 행동을 실행하고 새로운 스크린샷을 수신하는 비전 - 행동 루프가 구현되었습니다. 성공률은 복잡한 과제의 경우 인간 평가를 통해, 분류의 경우 문자열 매칭을 통해 결정되었습니다.

3. 주요 결과

3.1 추론과 실행 간의 불일치

결과는 모델이 시나리오에 대해 추론하는 능력과 필요한 물리적 행동을 실행하는 능력 사이의 근본적인 단절을 드러냅니다.

• 시각적 그라운딩 (1 부): 독점 모델 (Gemini, GPT) 은 우수한 객체 분류를 보였으나 정밀한 국소화에서는 크게 실패했습니다. 이들은 종종 해상도가 낮은 좌표 (10 단위 반올림) 나 바운딩 박스에 정확하게 매핑되지 않는 상대적 좌표를 출력했습니다. 반면, Qwen2.5 와 Qwen3 은 더 나은 국소화 능력을 보였으나 분류에서는 어려움을 겪었습니다.
• 도메인 및 사건 추론 (2 부 및 3 부): 대형 모델 (Qwen3, Gemini, GPT) 은 텍스트 추론에서 소형 모델보다 우수한 성과를 보였습니다. 그러나 더 많은 컨텍스트 (예: 전체 부품 설명) 를 제공하는 것이 일관되게 성능을 향상시키지는 못했으며, 일부 시각적 과제에서는 오히려 성능을 저하시켰습니다.
• 조작 (4 부): 성공률은 전반적으로 낮았습니다.
  • "배치"와 "제거"와 같은 단순한 과제는 일부 성공을 거두었습니다.
  • "회전"과 "늘리기"와 같은 복잡한 공간 과제는 거의 성공적으로 해결되지 않았습니다.
  • 어떤 모델도 "Multi"(여러 행동 결합) 과제를 성공적으로 완료하지 못했습니다.
• 전체 퍼즐 해결 (5 부): 0% 성공률. 크기와 아키텍처에 관계없이 다섯 개의 모델 중 어느 것도 시작부터 끝까지 완전한 퍼즐을 성공적으로 해결하지 못했습니다.

3.2 실패 유형

저자들은 두 가지 뚜렷한 실패 모드를 식별합니다.

1. "맹목적인 전략가" (Gemini, GPT): 이러한 모델은 물리를 이해하고 논리적 계획을 수립하는 강력한 추론 능력을 보유하고 있습니다. 그러나 시각적 그라운딩에 실패하여 정밀하지 않은 좌표를 생성함으로써 성공적인 실행을 방해합니다.
2. "단시야 운영자" (UI-TARS, Qwen2.5): 이러한 모델은 정밀한 클릭을 실행하고 GUI 를 효과적으로 탐색할 수 있지만, 다단계 계획을 수립할 고수준 추론 능력이 부족하여 종종 루프에 갇히거나 작업이 완료되었는지 인식하지 못합니다.
3. Qwen3 VL: 중간에 위치하며 개선된 추론과 그라운딩으로 격차를 해소하려 시도하지만, 전체 퍼즐을 해결할 만큼 계획을 신뢰성 있게 실행하지는 못합니다.

4. 주요 기여

• VLATIM 벤치마크: 물리 기반 퍼즐 환경에서 논리적 추론과 연속적 행동 실행 간의 격차를 평가하도록 특별히 설계된 새로운 벤치마크.
• 종합적 평가: 시각적 그라운딩, 도메인 지식, 사건 추론, 조작, 전체 퍼즐 해결을 포괄하는 구조화된 5 단계 평가.
• 한계에 대한 경험적 증거: 이 연구는 현재 최첨단 VLM 이 고수준 계획과 정밀한 저수준 제어를 동시에 유지하지 못하기 때문에 이러한 환경에서 인간과 유사한 문제 해결 능력을 아직 보유하지 못한다는 결정적인 증거를 제공합니다.

5. 의의 및 결론

이 논문은 VLM 이 빠르게 발전하고 있지만, 현재 포인트 앤 클릭 퍼즐 게임에서 인간 수준의 성능에는 크게 미치지 못한다고 결론지었습니다. 주요 한계는 고립된 추론 능력의 부족이 아니라 정밀한 시각적 그라운딩과 복잡한 논리적 계획을 통합하지 못하는 능력입니다.

저자들은 "맹목적인 전략가"와 "단시야 운영자" 유형이 이러한 모달리티를 더 잘 통합할 수 있는 향후 아키텍처의 필요성을 강조합니다. 이 벤치마크는 향후 연구를 위한 엄격한 테스트베드로서, 단순히 모델을 확장하거나 더 많은 컨텍스트를 제공하는 것만으로는 연속적 행동 공간과 정밀한 공간 추론의 특정 과제를 해결하지 않는 한 불충분함을 시사합니다.

이 논문은 제로샷 성능이 낮지만, 향후 연구는 게임 메커니즘에 특화된 인 - 컨텍스트 학습 (퓨샷 예시) 또는 파인튜닝을 탐구할 수 있음을 겸손하게 언급하며, 이는 현재 연구의 범위를 벗어났다고 덧붙였습니다. 궁극적으로, 이 발견들은 상호작용 물리 환경에서 인간과 유사한 자율성을 달성하는 것이 현재 VLM 능력만으로는 불가능함을 시사합니다.