기술 요약: Tycho – ARC-AGI-3를 위한 프로그래밍 가능한 월드 모델을 활용한 능동적 추상화

문제 정의

본 논문은 에이전트가 오직 관찰과 행동만을 통해 낯선 게임의 규칙, 숨겨진 상태, 그리고 목표를 추론해야 하는 인터랙티브 벤치마크인 ARC-AGI-3를 다룹니다. 정적인 추론 과제와 달리, ARC-AGI-3는 엄격한 **행동 예산(action budget)**을 부과합니다. 즉, 모든 움직임은 점수에 반영되므로, 에이전트는 증거 수집을 위한 탐색(exploration)과 레벨 완수를 위한 활용(exploitation) 사이에서 균형을 잡아야 합니다.

핵심 과제는 **능동적 추상화(active abstraction)**입니다. 에이전트는 환경에 대해 무엇이 참인지 결정할 뿐만 아니라, 모델을 구축하고, 이를 사용하여 계획을 세우고, 실패 시 모델을 수리하거나, 혹은 모델을 완전히 우회하는 것이 언제 가치가 있는지를 결정해야 합니다. 본 논문은 이러한 환경을 **매개변수화된 렌더링 결정론적 무어 머신(parameterized rendered deterministic Moore machines)**으로 정형화하며, 이는 기저 상태(카운터나 카메라 오프셋 같은 숨겨진 변수 포함), 전이 역학(transition dynamics), 그리고 관측 형성(rendering)을 구분합니다. 주요 난점은 동일하게 렌더링된 그리드가 서로 다른 기저 상태에 대응할 수 있다는 점(비마르코프적 관측)이며, 이로 인해 에이전트는 모호성을 해결하기 위해 상호작용의 이력을 유지해야 합니다.

방법론: Tycho 시스템

Tycho는 상호작용 중에 프로그래밍 가능한 월드 모델을 구축하고 활용하도록 설계된 코딩 에이전트 시스템입니다. 이 시스템은 에이전트가 추론하고 행동을 확정하는 **액터(actor)**와, 모델을 구축하거나 수리하는 선택적 **워크벤치(workbench)**로 구성된 공유 태스크 타임 아키텍처(그림 1 참조)를 기반으로 작동합니다.

1. 정형 프레임워크

• 렌더링된 무어 머신(Rendered Moore Machines): 환경은 행동이 기저 상태 $s$를 업데이트하고, 해당 상태가 관측값(그리드), 가능한 행동, 그리고 결과를 생성하는 결정론적 시스템으로 모델링됩니다. 전이는 결정 프레임에 안착하기 전 중간 애니메이션 프레임(과도적 증거)을 방출할 수 있습니다.
• 타입화된 상호작용 이력(Typed Interaction History): 시스템은 결정 프레임, 행동, 과도적 프레임, 그리고 종단 결과로 구성된 구조화된 이력을 기록합니다. 이를 통해 에이전트가 애니메이션 프레임을 결정 지점과 혼동하는 것을 방지합니다.
• 부분 예측(Partial Prediction): 불확실성을 처리하기 위해, 모델의 렌더러는 결정할 수 없는 픽셀에 대해 **기권(abstain)**하거나($\perp$ 반환), 양자화 모호성(예: 숨겨진 카운터를 나타내는 HUD 바)에 대해 제한된 집합의 **관측 변체(observation variants)**를 반환할 수 있습니다.

2. 실행 가능한 가설 언어

Tycho는 네 가지 핵심 함수를 구현하는 Python 프로그램으로서 월드 모델을 표현합니다:

• init_state: 초기 그리드와 레벨 인덱스를 모델링된 상태로 매핑합니다.
• transition: 행동에 따라 상태를 진전시킵니다.
• render: 상태를 다시 그리드로 매핑합니다(기권 지원).
• outcome: 상태를 진행 중, 레벨 완료, 또는 게임 오버로 분류합니다.
  모델은 **자유 형식(free-form)**이며, 에이전트는 특정 게임 메커니즘에 따라 상태 표현(예: 객체 리스트, 셀룰러 오토마타, 카운터 등)을 선택할 수 있습니다.

3. 메타추론 정책

본 논문은 액터와 모델 간의 상호작용을 관리하기 위한 네 가지 뚜렷한 정책을 평가합니다:

1. 월드 모델 없음 (직접 추론): 액터가 실행 가능한 모델을 구축하지 않고 증거에 대해 직접 추론합니다.
2. 단일 (액터 주도): 액터가 추론과 모델 편집을 모두 수행하며 필요에 따라 모델을 수정합니다.
3. 오케스트레이터 (액터 요청 위임): 액터가 모델을 구축하거나 수리하기 위해 특화된 **빌더 서브 에이전트(builder subagent)**에게 요청을 보낼 수 있습니다.
4. 트리거 (자동 수리): 검증 실패(예: 전이 불일치, 커버리지 부족) 또는 레벨 경계 시 하네스(harness)가 빌더를 자동으로 호출합니다.

4. 검증 및 계획

• 검증: 모델은 기록된 상호작용 이력을 재현함으로써 테스트됩니다. 모델의 예측 그리드가 주장된 모든 셀에서 관측된 그리드와 일치하거나(또는 허용된 변체 중 하나와 일치하면) 전이가 "수락"됩니다.
• 계획: 모델이 검증되면, 시스템은 level_complete로 이어지는 행동 시퀀스를 찾기 위해 상태 공간을 탐색합니다. 생성된 계획은 모델의 내부 상태에 대해 검증된 후 단계별로 실행되며, 액터는 각 행동 후에 상태를 재검증합니다.

주요 기여

1. 정형화: 본 논문은 ARC-AGI-3를 전이 방출이 있는 렌더링된 결정론적 무어 머신의 능동적 식별로 정형화하여, 숨겨진 상태, 비단사적(non-injective) 관측, 그리고 상호작용 비용을 명시적으로 처리합니다.
2. 프로그래밍 가능한 월드 모델: 에이전트가 검사 및 편집 가능한 Python 코드로 규칙을 외재화할 수 있도록 하는 자유 형식의 실행 가능한 가설 언어를 정의하며, 부분 예측과 상태 추상화를 지원합니다.
3. 정책 벤치마킹: 동일한 추론 예산 하에서 네 가지 모델 유지 관리 정책(No Model, Single, Orchestrator, Trigger)을 비교 분석하여, 모델 할당(누가 모델을 만들고 언제 만드는가)이 모델 합성 능력으로부터 미치는 영향을 분리하여 평가합니다.
4. 지표의 구별: 전이 정확도(시뮬레이터가 이력을 재현하는가)와 게임 플레이 성능(모델이 승리에 도움이 되는가)을 구분합니다. 이는 높은 전이 정확도가 목표를 식별하지 못하거나 정책이 자원을 잘못 할당할 경우 높은 점수를 보장하지 못함을 보여줍니다.
5. 인간-적응 루프(Human-Adaptation Loop): 에이전트 실행으로부터 얻은 메타 성찰을 사용하여, 미래의 실행을 위해 에이전트의 하네스(도구, 메모리, 검증)를 반복적으로 개선하는 과정을 설명합니다.

실험 결과

평가는 25개의 공개 ARC-AGI-3 게임(총 183개 레벨)을 대상으로 최첨단 LLM(Claude Opus 4.8, GPT-5.6 Sol, Opus 5)을 사용하여 수행되었습니다.

매칭된 정책 선택 (Opus 4.8)

• 직접 추론 (No Model): 79.07 RHAE(상대적 인간 행동 효율)를 달성했습니다.
• 단일 (Actor-Authored): 85.36 RHAE를 달성했습니다.
• 오케스트레이터 (Delegated): 매칭된 정책 중 가장 높은 88.49 RHAE를 달성했습니다.
• 트리거 (Automatic Repair): 83.07 RHAE를 달성했습니다. 이 정책은 가장 높은 수락된 전이 일치율(88.1%)을 기록했음에도 불구하고 오케스트레이터보다 낮은 성능을 보였습니다. 이러한 격차는 역학의 정확한 시뮬레이션만으로는 목표 식별이나 효율적인 자원 할당 없이는 충분하지 않음을 보여줍니다.

최첨단 모델 평가 (선택된 Orchestrator 정책)

더 강력한 모델을 사용한 오케스트레이터 정책의 결과는 다음과 같습니다:

• GPT-5.6 Sol: 100.00 RHAE에 도달하여 25개 게임의 183개 레벨을 7,766회의 점수 획득 행동 내에 모두 완료했습니다.
• Opus 5: 100.00 RHAE에 도달하여 6,641회의 행동으로 183개 레벨을 모두 완료했습니다 (GPT-5.6 Sol보다 14.5% 적은 행동 사용).
• 효율성: Opus 5는 총체적인 인간 베이스라인보다 61% 적은 점수 획득 행동을 사용했습니다.
• 비용: Opus 5 실행 비용은 약 $2.99k(API 환산액)로 추정되며, 이는 유사한 조건에서 Rodionov의 검증 실행(약 $13.6k–$15.5k로 추정)보다 현저히 낮습니다.

질적 분석

사례 연구(예: cd82, tu93, sk48)를 통해 다음을 확인했습니다:

• 성공: 모델은 시행착오를 검증된 시퀀스로 대체하고(예: cd82), 축소된 상태 공간에서의 탐색을 지원할 수 있습니다(예: tu93).
• 실패: 정확한 전이 모델이라도 목표를 잘못 식별하면 실패할 수 있습니다(예: sk48, 모델은 메커니즘을 완벽히 시뮬레이션했으나 목표 식별에 실패함).
• 수리: 시스템은 불일치 지점을 성공적으로 찾아내어(예: tu93의 예상치 못한 순찰 폭발) 모델을 수리하고 재계획을 가능하게 했습니다.

의의 및 주장

본 논문은 능동적 추상화가 일반 지능의 핵심 요소임을 주장합니다. 즉, 비용이 드는 상호작용으로부터 테스트 가능한 모델을 생성하고, 이를 언제 사용할지 결정하는 능력입니다.

• 선택적 모델링: 결과는 월드 모델링이 자동 강제(Trigger)되거나 액터가 단독으로 처리하는 것보다 **전문가에게 위임(Orchestrator)**될 때 가장 효과적임을 시사합니다.
• 정확도 vs 유용성: 환경 전이에 대한 고충실도 시뮬레이션은 필요조건이지만 충분조건은 아닙니다. 시스템은 반드시 목표를 올바르게 추론하고 계산 자원을 효율적으로 할당해야 합니다.
• 시스템 아키텍처: 성능 향상(79.07에서 100.00 RHAE로)은 파운데이션 모델 자체보다는 복합 에이전트 시스템(하네스 + 모델 + 정책) 덕분입니다. 본 논문은 일반 지능이 제한된 경험을 태스크 모델로 조직하고 그 과정을 지원하는 메커니즘에 달려 있음을 강조합니다.
• 겸허한 결론: 저자들은 이 결과가 고정된 공개 테스트베드에 대한 특성을 나타낸다는 점을 인정합니다. 현재의 적응 루프는 **인간이 매개(human-mediated)**하는 방식(저자가 에이전트 노트를 바탕으로 하네스를 개선)이며, 진정한 자기 개선을 위해서는 이 외부 루프를 자동화해야 한다고 언급합니다. 또한, 높은 추론 비용(API 호출)이 점수 획득 행동의 효율성을 위해 계산 자원을 희생하는 트레이드오프 관계에 있으며, 이는 생물학적 효율성과는 다르다고 주의를 줍니다.