기술 요약: 작업 공간 최적화

문제 정의

최첨단 언어 모델 (LLM) 을 기반으로 구축된 현대적 에이전트는 종종 중요한 한계에 직면합니다. 즉, 에피소드 동안 내부 가중치를 적응시킬 수 없다는 점입니다. 미세 조정 (Fine-tuning) 은 온라인 단일 에피소드 적응에는 너무 느리며, 많은 배포 시나리오 (예: API 기반 모델 또는 개인정보 보호가 중요한 추적 데이터) 에서는 가중치 접근이 불가능합니다. 결과적으로 모델은 고정된 채로 남지만, 에이전트는 여전히 환경 내에 숨겨진 목표와 규칙을 가진 복잡하고 다중 턴의 과제를 해결하는 법을 배워야 합니다.

이 논문은 표준 에이전트 학습 패러다임의 간극을 지적합니다. 전통적인 강화 학습 (RL) 은 손실 신호에 기반하여 정책이나 가치 함수 (가중치 공간) 를 업데이트하는 데 의존합니다. 그러나 가중치가 고정되어 있을 때 "학습 가능한 상태"는 정의되지 않습니다. 저자들은 에이전트의 작업 공간 (workspace)—즉, 에이전트가 읽고, 쓰고, 테스트하는 구조화된 외부 기저—이 적응의 대상이 되어야 한다고 주장합니다. 이는 에이전트가 오프라인 데이터나 단계 되감기 능력 없이 엄격한 행동 예산 내에서 상호작용을 통해 게임 메커니즘, 목표, 역학을 발견해야 하는 ARC-AGI-3와 같은 벤치마크에 특히 관련이 깊습니다.

방법론: 작업 공간 최적화

이 논문은 고정된 모델 에이전트가 매개변수가 아닌 가변적이고 구조화된 작업 공간을 편집함으로써 적응하는 프레임워크인 **작업 공간 최적화 (Workspace Optimization)**를 제안합니다. 이 접근법은 가중치 공간 학습의 계산 구조를 반영하지만 핵심 구성 요소를 대체합니다:

• **아티팩트 (Artifacts)**는 매개변수를 대체합니다.
• **증거 (Evidence)**는 학습 데이터를 대체합니다.
• **반례 (Counterexamples)**는 손실 함수를 대체합니다.
• 텍스트 피드백은 기울기 (gradients) 를 대체합니다.

학습 가능한 상태

에이전트는 $M$이 고정된 언어 모델이고 $H$가 도구와 샌드박스를 제공하는 하네스 (harness) 인 튜플 $(M, H)$로 모델링됩니다. $t$ 단계에서의 작업 공간 $W_t$는 다음으로 구성됩니다:

1. 프로그램 ($P_t$): 재사용 가능한 실행 아티팩트 (예: 관찰 파서, 역학 시뮬레이터, 전략).
2. 로그 ($L_t$): 요약, 가설, 포기된 후보, 미해결 질문.
3. 추적 데이터 ($D_t$): 관찰, 행동, 보상, 반례의 순차 추가 전용 데이터셋.

학습 루프는 다음과 같이 작동합니다:

1. 행동 및 예측: 에이전트는 $W_t$와 $D_t$를 읽어서 행동 $a_t$를 선택합니다. 이는 예측에 약속합니다 (예: "왼쪽으로 이동하면 상태 $z_{t+1}$가 될 것").
2. 평가: 다음 관찰 $o_{t+1}$을 받으면, 하네스는 예측을 현실과 비교합니다.
3. 피드백 및 라우팅: 예측이 실패하면, 오류는 스칼라 손실이 아니라 실패를 일으킨 특정 아티팩트 (인터페이스) 로 라우팅되는 반례가 됩니다. 이는 가중치를 얼마나 업데이트할지보다 어떤 아티팩트를 편집할지 해결함으로써 신용 할당 문제를 해결합니다.
4. 수리 및 회귀: 책임 있는 역할은 아티팩트를 편집합니다 (예: Python 함수 패치). 중요하게도, 하네스는 과거 전이의 회귀 세트 (regression set)($R_t$)를 유지합니다. 새로운 패치는 이전에 해결된 사례를 깨뜨리지 않는지 확인하기 위해 이 세트에 대해 재생된 후 승인됩니다.

DREAMTEAM 아키텍처

저자들은 이 프레임워크를 DREAMTEAM에 구현했는데, 이는 ARC-AGI-3 를 위한 다중 에이전트 하네스입니다. 이 시스템은 에이전트를 여섯 가지 역할로 분해하며, 각 역할은 작업 공간의 특정 "표면 (typed slot)"을 소유합니다:

• 관찰자 (Observer): 원시 관찰을 구조화된 상태 ($z_t$) 로 파싱하고 렌더링 로직을 소유합니다.
• 시뮬레이터 (Simulator): 숨겨진 상태 ($h_t$) 를 추적하고 역학 모델 (다음 상태 예측) 을 소유합니다.
• 귀납적 탐험가 (Inductive Explorer, IE): 재사용 가능한 전략과 하위 목표의 라이브러리를 유지합니다.
• 연역적 탐험가 (Transductive Explorer, TE): 세계 모델이 미성숙할 때 정보 추구 프로브를 제안합니다.
• 비평가 (Critic): 아티팩트를 감사하고, 실패를 소유자에게 라우팅하며, 회귀를 플래그합니다.
• 팀 리더 (Team Leader, TL): 제안을 중재하고 최종 행동을 확정합니다.

이 시스템은 확정 후 역추적 (commit-then-retrodict) 루프를 사용합니다. 시뮬레이터는 역학 프로그램에 확정합니다; 다음 관찰이 예측과 모순되면 시뮬레이터는 코드를 패치합니다. 비평가는 회귀 세트를 통해 패치가 이전 증거와 일관되도록 보장합니다. 게임 초기에는 시스템이 불확실성을 줄이기 위해 프로빙 (TE) 을 선호하며, 세계 모델이 안정화됨에 따라 제어는 모델 기반 계획 (IE/TL) 로 이동합니다.

주요 기여

1. 작업 공간 최적화 프레임워크: 타입이 지정된 아티팩트의 구조화된 작업 공간을 편집함으로써 고정된 모델 에이전트를 적응시키는 형식화. 이는 신용 할당을 기울기 업데이트가 아닌 주소 지정 결정 (어떤 아티팩트를 편집할지) 으로 재해석합니다.
2. DREAMTEAM: 이 프레임워크의 다중 에이전트 구현으로, 역할이 관찰, 역학, 전략, 프로빙, 비판, 중재를 소유하는 DreamerV3 에서 영감을 받은 아키텍처를 특징으로 합니다.
3. 효율적인 최첨단 성능: 25 개 게임으로 구성된 ARC-AGI-3 공개 세트에서 DREAMTEAM 은 38.4% RHAE(상대 인간 행동 효율) 를 달성하여 이전 프로토콜 일치 기준치인 36% 를 상회했습니다. 주목할 점은 게임당 31% 적은 환경 행동 (444 대 643) 을 사용하면서도 이를 달성했다는 것이며, 이는 우수한 계획 효율성을 보여줍니다.

결과

• 성능: 두 번의 독립 실행을 평균한 결과, DREAMTEAM 은 ARC-AGI-3 공개 세트에서 38.4% RHAE 를 기록했으며, 이는 Symbolica 의 Agentica SDK 기준치인 36.08% 와 비교됩니다.
• 효율성: 시스템은 레벨을 해결하는 데 훨씬 적은 행동을 필요로 했습니다. 성공적으로 해결된 레벨에서 DREAMTEAM 은 레벨당 평균 54.1 개의 행동을 사용했으며, 기준치는 100.1 개였습니다.
• 행동 예산: 시스템은 24 시간 실행의 처음 약 5 시간 동안 매칭된 예산의 인간 참조보다 앞서 있었으나, 인간은 현재 시스템이 각 전환마다 재구축하는 것보다 강력한 레벨 간 전이 능력으로 인해 결국 앞서게 되었습니다.

중요성과 주장

이 논문은 작업 공간 최적화가 모델이 고정된 설정을 위해 특히 수십 년간의 가중치 공간 학습과 병행하는 연구 의제를 열었다고 주장합니다. 작업 공간을 학습 가능한 대상으로 취급함으로써 시스템은 적응을 명시적이고 실행 가능하게 만듭니다: 모든 예측은 쓰여진 약속이며, 모든 모순은 타입이 지정된 수리가 되고, 모든 수리는 이전 증거에 대해 검증됩니다.

저자들은 그들의 결과가 시스템 지능의 한계가 아니라 시간 및 비용 예산에 의해 제한된다고 강조합니다. 그들은 이 방법론이 모델이 고정되어 있고 학습이 작업 공간을 통해 발생해야 하는 상호작용 설정을 위해 설계되었다고 지적합니다. 이 논문은 모든 ARC-AGI-3 과제를 해결하거나 추가 연구 없이 모든 상호작용 도메인으로 일반화한다고 주장하지는 않지만, 가중치 업데이트나 오프라인 학습 데이터 없이 "테스트 시간 적응 (test-time adaptation)"을 위한 실현 가능한 경로를 확립합니다.

이 연구는 실패 라우팅을 위해 타입이 지정되고 이름이 붙은 아티팩트를 사용하여 개방형 실패 귀속 문제를 우회하고, 역사적 증거와의 일관성을 보장하기 위해 회귀 확인을 강제함으로써 사례 은행이나 자기 재작성 코드와 같은 이전 테스트 시간 적응 방법과 구별됩니다.