기술 요약: Twin – 테스트 타임 디지털 트윈을 이용한 미지의 게임 플레이

문제 정의

본 논문은 에이전트가 사전 지침, 시연, 또는 명시적인 규칙 없이 미지의 상호작용형 그리드 월드 게임을 학습하는 과제를 다룹니다. 구체적인 벤치마크는 ARC 추론 벤치마크의 후속 모델인 ARC-AGI-3로, 각 태스크는 $64 \times 64$ 크기의 유색 그리드 게임입니다. 에이전트는 다음을 발견해야 합니다:

1. 역학(Dynamics): 행동(예: 클릭)에 반응하여 세상이 어떻게 변화하는가.
2. 목표(Goal): 숨겨진 승리 조건 (술어 $R: S \to \{0, 1\}$).

평가 지표는 **행동 효율성(action efficiency)**으로, 처음 게임을 플레이하는 인간보다 적은 행동으로 게임을 클리어하는 에이전트에게 높은 점수(0–100)를 부여합니다. 기존의 프런티어 모델들은 명시적인 환경 모델을 구축하고 그 안에서 추론하는 능력이 부족하기 때문에 대부분의 게임에서 실패합니다 (점수 약 7.8%).

방법론: Twin 시스템

Twin 시스템은 "테스트 타임 월드 모델 추론(Test-time World-model Inference)" 접근 방식을 채택합니다. 에이전트는 환경을 블랙박스로 보고 반응하는 대신, 게임의 월드 모델에 대한 실행 가능한 가설로서 역할을 하는 파이썬 프로그램(이하 "트윈")을 작성합니다. 이 모델은 검증, 탐색, 계획의 루프를 통해 지속적으로 정교해집니다.

핵심 구성 요소

1. 실행 가능한 트윈 (The Executable Twin):

   • step(grid, action) -> grid와 goal_reached(grid) -> bool을 구현하는 파이썬 파일입니다.
   • 이는 아이덴티티 스텁(identity stub)으로 시작하여 반복적으로 수정됩니다.
   • 이를 통해 정확한 재현, 결정론적인 장기 롤아웃(long-horizon rollouts), 그리고 판독 가능한 결과물을 생성할 수 있습니다.

2. 검증-탐색-계획 루프 (The Validation-Explore-Plan Loop):
   시스템은 **비대칭적 목적(asymmetric objective)**을 강제하는 엄격한 하네스(harness) 하에서 작동합니다:

   • 적합성 (강한 제약 조건): 트윈은 점수가 매겨지는 행동을 취하기 전에 반드시 이전에 관찰된 모든 전이를 재현해야 합니다.
   • 도달 가능성 (낙관적 탐색): 역학이 검증되면, 에이전트는 목표를 향한 경로를 탐색합니다.

   이 루프는 네 단계로 구성됩니다 (논문의 그림 1 참조):

   • 관찰 및 기록 (Observe & Log): 에이전트는 현재 그리드를 관찰하고 전이 $(s, a, s')$를 추가 전용 로그 $D$에 기록합니다.
   • 검증 (Validate): 하네스는 현재 트윈 코드에 대해 전체 로그 $D$를 재생합니다. 불일치가 발생하면(즉, "반례" 발생 시), 트윈은 행동이 차단됩니다.
   • 탐색 (Explore):
     • 역학 벽 (Dynamics Wall): 검증에 실패하면, 시스템은 오류 빈도와 다양성에 따라 수정 대상을 순위화하여 에이전트에게 step 함수를 수정하도록 유도합니다.
     • 목표 벽 (Goal Wall): 검증은 통과했으나 목표로 가는 경로가 존재하지 않는 경우, 시스템은 "진전 신호"(예: 색상 변화, 영역의 조밀함)를 기반으로 후보 목표 상태를 제안합니다. 그 후 잠정적인 goal_reached 술어를 생성합니다.
   • 계획 (Plan): 검증된 트윈 내부에서 최단 경로를 찾기 위해 너비 우선 탐색(BFS)을 실행합니다.
   • 실행 확인 (ExecuteChecked): 에이전트는 행동을 하나씩 제출합니다. 실제 결과가 트윈의 예측과 일치하면 계획이 계속됩니다. 만약 불일치가 발생하면 행동이 중단되고, 전이가 로그에 추가되며, 루프가 다시 시작됩니다.

목표 발견 전략

목표를 추론하는 것은 더 어려운 절반의 문제입니다. 왜냐로써 보상이 주어지기 전까지는 아무런 정보가 없기 때문입니다. Twin은 승리 조건을 하나의 가설로 취급합니다:

• 보상이 존재하기 전이라도, 시스템은 진전이 있는 것처럼 보이는 도달 가능한 상태들을 기반으로 후보 목표 술어를 제안합니다.
• 후보는 관찰된 비-목표(non-goals) 프레임들에 대해 false를 반환할 때만 테스트됩니다 (일관성 확보).
• 레벨 경계(level boundary)는 가설을 확정하며, 경계 없이 후보 상태에 도달하는 것은 해당 가설을 영구적으로 기각합니다.

주요 기여

1. 테스트 타임 월드 모델 추론: 에이전트는 자신이 계획할 시뮬레이터를 직접 작성합니다. 환경은 블랙박스가 아니라 검사 가능하고, 반증 가능하며, 수리 가능한 실행 가능한 가설이 됩니다.
2. 하네스 기반 검증 강제: 프롬프트 지침에 의존하는 다른 에이전트들과 달리, Twin의 하네스는 트윈이 전체 상호작용 이력을 재현할 때까지 점수가 매겨지는 행동을 기계적으로 차단합니다. 이는 오류의 누적을 방지합니다.
3. 비대칭적 목적 처리: 시스템은 관찰된 역학을 맞추는 강한 제약 조건과 목표를 위한 탐색적 검색을 분리합니다. 시스템은 보상이 도착하기 전에 목표를 가설화함으로써 첫 번째 행동부터 목표 지향적 계획을 수행할 수 있게 합니다.
4. 효율성: 시스템은 183개 레벨 중 179개를 클리어(97.8%)했으며, 클리어한 레벨 중 88.3%에서 인간보다 적은 행동을 사용했습니다.

실험 결과

25개의 공개 ARC-AGI-3 게임(183개 레벨)에 대해 평가되었습니다:

• 성능: Twin은 평균 점수 93.3/100을 달성하였으며, 25개 게임 중 23개를 클리어했습니다.
• 비교:
  • 기본 모델 (GPT-5.6 Sol): 7.8% 점수 (1개 게임 클리어).
  • 기성 하네스 (Codex): 61.1% 점수 (13개 게임 클리어).
  • Twin (본 연구): 93.3% 점수 (23개 게임 클리어).
  • 타 시스템: OPINE-World (78.4), Prime Agent (78.3), EWM (63.8).
• 행동 효율성: Twin은 클리어된 게임에서 인간이 사용하는 행동 수의 0.61배를 사용했습니다. 모든 시스템이 동일한 레벨을 클리어한 13개의 게임 중 11개에서 경쟁자들보다 적은 행동을 사용했습니다.
• Ablation (제거 실험): Twin 하네스를 제거했을 때(기본 모델만 남김) 점수가 61.1로 떨어졌으며, 이는 성능 향상이 단순히 기본 모델 덕분이 아니라 방법론에서 온 것임을 확인시켜 줍니다.
• 목표 추론: 첫 번째 목표 가설이 올바른 경우는 클리어된 레벨의 87.2% (179/156)였습니다. 나머지 레벨은 탐색을 통해 해결되었습니다.
• 역학 정확도: 트윈은 "처음 본" 상태-행동 쌍의 79.0%를 정확히 예측하여, 단순 재현을 넘어선 일반화 능력을 보여주었습니다.

의의 및 주장

본 논문은 사용 가능한 월드 모델을 구축하는 것이 예상보다 간단하다는 반면, 올바른 목표를 추론하는 것이 더 어려운 문제라고 주장합니다.

• 패러다임의 전환: Twin은 미지의 게임과의 상호작용을 실행 가능한 가설의 구축으로 다룰 수 있음을 보여줍니다. 이는 초점을 "샘플링 답변"(많은 출력을 생성하고 필터링)에서 "월드 모델 추론"(컴퓨팅 자원을 투입하여 검증된 모델을 구축)으로 전환합니다.
• 견고성: 하네스에 의해 강제된 재생 검증은 모델 오류가 누적되지 않도록 보장하며, 이는 장기적인 게임에서 다른 시스템들이 실패하는 핵심 이유를 해결합니다.
• 한계점: 본 시스템은 결정론적 역학과 작고 이산적인 상태를 가정합니다. 프레임에 나타나지 않는 진정한 잠재 상태(latent state)나 확률적 역학을 다루는 데 어려움이 있습니다. 또한 고정된 탐색 예산에 의존하므로, 탐색 범위 너머의 목표는 발견되지 않을 수 있습니다.

저자들은 현재 시스템이 인간 수준의 행동 효율성을 달升하지만, 향-후 과제는 목표 추론 속도를 개선하고 더 복적으로 관찰되거나 확률적인 환경을 다루는 데 있다고 결론짓습니다.