기술 요약: OPINE-World

문제 정의

낯선 작업에 적응하는 에이전트를 구축하려면 상호작용을 통해 환경이 어떻게 작동하는지 학습하는 과정이 필요하다. 딥 네트워크 기반의 월드 모델은 유연성을 제공하지만, 데이터 집약적이며 훈련 분포를 벗어난 영역으로의 전이가 어렵다. 반면, 프로그램 합성 방식의 월드 모델은 데이터 효율적이고 재사용이 가능하지만, 역사적으로는 사전에 정의된 객체 어휘(object vocabulary)를 가진 구조화된 상태 환경에 국한되어 왔다. 단일 프로그램 탐색은 객체의 구조 자체를 원시 관측으로부터 유연하게 가설을 세워야 하는 픽셀 렌더링 환경까지 확장하기 어렵다.

본 연구가 다루는 핵심 과제는 다음과 같은 환경에서 상호작용을 통해 **객체 중심의 프로그래밍적 월드 모델(object-centric programmatic world model)**을 온라인으로 학습하는 것이다:

1. 객체 어휘와 기계적 유형(mechanical types)에 대한 분할이 알려져 있지 않음.
2. 목표와 행동 의미론(action semantics)이 공개되지 않음.
3. 에이전트는 오직 원시 픽셀 프레임과 희소한 보상만을 바탕으로 객체 구조, 역학(dynamics), 그리고 목표 관련성을 추론해야 함.

방법론: OPINE-World

OPINE-World는 가설 설정과 테스트의 루프를 통해 객체 중심의 프로그래밍적 월드 모델을 학습하는 LLM 에이전트이다. 이 시스템은 공유된 상호작용 리플레이 버퍼 위에서 작동하며, 협력하는 두 에이전트와 주기적인 비평가(critic)를 결합한다.

1. 객체 중심 프로그래밍 모델

월드 모델은 객체 유형별로 팩터화(factored)된 파이썬 프로그램으로 표현된다. 단일한 전이 함수 대신, 모델은 각 기계적 유형 $\tau$에 대한 응답 규칙 $f_\tau$를 보유한다. 이 규칙은 객체의 현재 속성, 수행된 행동, 그리고 읽기 전용 로컬 컨텍스트를 기반으로 객체의 업데이트된 상태를 예측한다. 이러한 팩터화는 유형 분할이 대략적으로 정확하다면, 한 객체로부터 학습된 규칙이 동일한 유형의 모든 객체로 전이될 수 있게 한다.

2. 두 협력 에이전트

시스템은 행동(acting)과 모델링(modeling)을 두 개의 특화된 LLM 에이전트로 분리한다:

• 행동 에이전트 (목표 지향적): 실제 환경과 상호작용하며, 역학 및 목표에 대한 가설을 제안하고 이를 검증한다. 자연어 월드 모델을 유지하며, 현재 합성된 모델 또는 탐사(exploration)의 필요성에 따라 행동을 선택한다.
• 합성 에이전트 (Synthesizer Agent): 공유된 상호작용 버퍼와 행동 에이전트의 가설을 읽는다. 관찰된 전이를 규칙으로 일반화하는 코드(월드 모델)를 합성한다. 이후 후보 프로그램을 검증기(verifier)에 제출한다.

3. 검증 및 반례 유도 합성 (CEGI S)

후보 프로그램은 버퍼에 기록된 모든 전이를 정확하게 재현할 때만(정확한 리플레이 테스트) 수용된다.

• 수용: 프로그램은 속성 단위로, 그리고 객체 단위로 다음 상태를 정확히 예측해야 한다. 또한 결정론적(deterministic)임을 보장하기 위해 두 번 실행된다(숨겨진 상태에 의존하는 모델은 거부됨).
• 수정: 합성은 반례(counterexamples)—즉, 라이브 모델이 관찰된 결과를 잘못 예측한 전이—에 의해 트리거된다. 유예 기간(deferral window)을 두어 수정 전 반례가 축적되도록 하며, 해결 불가능한 오류에 대한 무한 루프를 방지하기 위해 스톨 가드(stall guard)를 사용한다.
• 목표 인식: 레벨이 클리어되면, 동일한 정확한 리플레이 표준에 따라 불리언(Boolean) 목표 술어(predicate)가 합성되고 검증된다.

4. 온톨로지 오류 및 탐사 유도

객체 분할이 알려져 있지 않기 때문에, OPINE-World는 탐사를 유도하기 위해 온톨로지 오류(ontology error) $\eta_t$라는 베이지안 진단법을 사용한다.

• 효과 시그니처 (Effect Signatures): 정확한 값의 차이를 추적하는 대신, 변화된 속성의 거친 범주형 시그니처(예: "x가 변함", "픽셀이 변함", "사라짐")를 추적한다.
• 로컬 효과 테이블 (Local Effect Tables): 유형, 행동, 로컬 컨텍스트로 정의된 행(row)별로 시그니처를 카운트한다.
• 불확실성 측정: 시스템은 두 가지 정규화된 엔트로피를 계산한다:
  1. 유형 불확실성 ($U_{type}$): 시스템이 객체의 기계적 유형에 대해 얼마나 불확실한지를 나타낸다.
  2. 행(Row) 불확실성 ($U_{row}$): 특정 유형-행동-컨텍스트 조합에 대한 효과 분포가 얼마나 혼재되어 있는지를 나타낸다.
• 온톨로지 오류: 이 불확실성들의 노이지-OR(noisy-OR) 값($\eta_i = 1 - (1-U_{type})(1-U_{row})$)은 현재의 유형이 설명할 수 없는 객체와 컨텍스트를 식별한다. 행동 에이전트는 높은 오류를 보이는 영역을 탐사하도록 유도되며, 이는 합성 에이전트가 유형을 정교화하거나 컨텍스트 특징을 추가하도록 촉구한다.

5. 계획 (Planning)

모델이 수용되고 최소 하나 이상의 레벨이 클리어되면, 플래너는 검증된 모델 내에서 목표로 가는 경로를 탐색한다. 계획은 라이브 게임에서 단계별로 실행된다. 예측된 상태와 관찰된 상태 사이에 불일치가 발생하면 계획은 중단되고, 반례가 기록되며, 제어권이 행동 에이전트에게 반환된다.

주요 기여

1. OPINE-World 에이전트: 가설 설정 및 테스트 루프, 반례 유도 합성, 모델 기반 계획을 포함하는 두 협력 에이전트를 통해 온라인으로 객체 중심 프로그래밍적 월드 모델을 학습하는 LLM 에이전트.
2. 온톨로지 발견 (Ontology Discovery): 상호작용으로부터 직접 객체 온톨로지(객체를 기계적 유형으로 분할하는 것)를 발견하는 방법론으로, 프로그램 합성 월드 모델을 구조화된 상태 입력에서 미지의 객체 구조를 가진 픽셀 렌더링 환경으로 확장한다.
3. ARC-AGI-3에서의 평가: 객체 어휘, 목표, 행동 의미론이 모두 가려진 ARC-AGI-3 벤치마크에서 OPINE-World가 별도의 게임별 훈련 없이 25개 게임 중 20개를 해결함을 입증했다.

실험 결과

시스템은 ARC-AGI-3 공개 평가 세트(25개 게임, 183개 레벨)에서 평가되었다.

• 성능: OPINE-World는 게임별 훈련 없이 25개 게임 중 20개를 해결했으며, 183개 레벨 중 160개를 클리어했다.
• 행동 효율성: 인간 기준점 대비 78.4의 행동 효율성 점수를 달성했다. 이는 강력한 단일 에이전트 코딩 베이스라인(baseline1)의 63.8과 평가 세트에서 사전 훈련된 비전 에이전트의 63.2보다 높다.
• 베이스라인과의 비교:
  • 단일 에이전트 코딩 (baseline1): 14개 게임을 해결했다. OPINE-World는 이 14개 게임을 모두 해결했을 뿐만 아니라, 베이스라인을 이긴 6개의 추가 게임을 해결했다. 베이스라인이 실패한 6개 게임에 대해, OPINE-World는 베이스라인이 실패하기 전까지 사용한 행동량의 약 **25%**만 사용하여 해당 게임들을 클리어했다.
  • 프로그램 합성 (WorldCoder) 및 신경망 잠재 모델 (Neural Latent Models): 이러한 접근 방식들은 벤치마크의 행동 예산 내에서 0개의 게임을 해결했다.
  • 인간 기준점 (Human Baseline): OPINE-World가 승리한 20개 게임 중 16개 케이스에서 인간 참조 모델보다 적은 행동을 사용했다.

의의 및 주장

본 논문은 프로그래밍적 월드 모델이 미지의 객체 어휘나 목표 없이도 원시 픽셀로부터 온라인으로 학습될 수 있음을 OPINE-World를 통해 보여준다고 주장한다. 행동과 모델링을 분리하고, 베이지안 온톨로지 오류에 의해 유도되는 엄격한 정확한 리플레이 검증 루프를 사용함으로써, 시스템은 높은 샘플 효율성과 전이성을 달행한다.

저자들은 본 시스템이 (WorldCoder와 같은 이전 연구와 달리) 낙관적 제약이나 합성된 보상 함수에 의존하지 않고, 대신 관찰된 보상으로부터 도출된 정확한 리플레이 일관성과 목표 술어에 의존한다는 점을 강조한다. 결과는 모델을 객체 유형별로 팩터화하고 온톨로지를 동적으로 발견하는 것이, 신경망 잠재 모델이나 단일 에이전트 코딩 방식보다 훨씬 적은 상호작용으로 복잡한 기술 습득 작업을 해결하고 레이아웃 전반에 걸쳐 일반화할 수 있음을 시사한다.

한계점

저자들은 다음과 같은 몇 가지 한계를 언급했다:

1. 관측 가능-마르코프 범위 (Observable-Markov Scope): 정확한 리플레이 테스트는 올바른 표현 하의 결정론적 전이 함수를 가정한다. 숨겨진 상태(hidden state)는 타이밍 신호를 저하시킨다.
2. 추론된 지각 (Inferred Perception): 객체 쌍 형성(pairing)과 유형 분할이 원시 프레임으로부터 추론되는데, 이는 엔진이 제공하는 객체 ID를 사용하는 것보다 어렵다.
3. 플래너 규모: 플래너는 유한 전방 탐색(bounded forward search)을 사용하므로, 분기 계수(branching factor)가 높은 게임에서는 실패할 수 있다.
4. 단일 실행: 결과는 게임당 단일 실행을 기반으로 하므로 분산 추정치가 부족하다.