기술적 요약: ARC-AGI-3 에서의 인식적 에이전트 (Epistemic Agents) 를 위한 속도 - 깊이 트레이드오프

1. 문제 제기

본 논문은 ARC-AGI-3 벤치마크 내에서의 상호작용적 규칙 유도 (interactive rule induction) 과제를 다룹니다. 정적 벤치마크와 달리, ARC-AGI-3 는 에이전트를 규칙과 승리 조건이 숨겨진 새로운 턴제 환경에 배치합니다. 에이전트는 사전 지시 없이 행동과 관찰을 통한 상호작용을 통해 이러한 규칙을 발견해야 합니다.

성능 지표인 RHAE(인간 행동 대 AI 행동 비율의 제곱) 는 비효율성에 대해 심각한 2 차 제재를 부과합니다. 에이전트가 인간 중앙값보다 두 배 많은 행동을 사용할 경우, 25% 의 점수만 부여받습니다. 저자들은 현재 최첨단 모델들이 이 벤치마크에서 실패하는 이유가 추론 능력 부족이 아니라 인식적 규율 (epistemic discipline) 부재 때문이라고 주장합니다. 즉, 계획 수립 전에 불확실성을 줄이기 위해 환경을 탐색하는 데 실패한다는 것입니다.

또한, 논문은 공개 평가 세트(25 개 게임) 에 중대한 결함이 있음을 지적합니다. 이 세트는 지능적인 탐색과 단순한 휴리스틱을 구분하지 못합니다. 저자들은 모든 공개 게임이 비지능적 전략 (예: 맹목적인 단일 행동, 충분한 예산 하의 반복 행동, 또는 라이브러리 수준의 null 좌표 취약점 악용) 을 통해 해결 가능함을 입증했습니다. 따라서 공개 세트는 에이전트가 진정한 탐색 지능을 보유하고 있는지 검증할 수 없으며, 오직 비공개 55 개 게임 세트만이 유효한 테스트 역할을 합니다.

2. 방법론

이론적 프레임워크: 속도 - 깊이 트레이드오프

저자들은 속도(행동 효율성, $1/A_E$) 와 깊이(행동당 정보 획득량, $\Delta H(b)/a$) 간의 상호작용을 공식화합니다.

• 파레토 프론티어: 최적 정책은 속도와 깊이 사이의 파레토 프론티어 위에 존재한다고 가정합니다.
• 볼록성 가정 (A1): 프론티어가 볼록하다고 가정할 때, RHAE 지표는 이 프론티어에서 벗어난 것에 대한 2 차 제재로 작용합니다.
• 함의: 탐색을 건너뛰는 (깊이 = 0) 에이전트나 과도하게 탐색하는 (과도한 속도 비용) 에이전트는 2 차 제재를 받습니다. 최적 전략은 인간 기준선에 비례하는 탐색 예산을 포함하는 "속도 - 깊이" 균형입니다.

아키텍처: AERA(적응형 인식 추론 에이전트)

AERA 는 속도 - 깊이 트레이드오프를 탐색하도록 설계된 3 단계 아키텍처를 구현합니다:

1. EXPLORE(깊이 모드): 에이전트는 믿음 엔트로피 ($H(b_t)$) 를 줄이기 위해 행동을 수행합니다. 행기는 기대 정보 획득량을 최대화하도록 선택됩니다. 이 단계는 LLM 출력 내 UNCERTAIN 필드의 길이와 같은 엔트로피 프록시가 임계값 $\theta$ 미만으로 떨어질 때까지 계속됩니다.
   • 예산 휴리스틱: 탐색 예산 $B_{max}$ 는 인간 중앙값 행동 수의 약 40% ($\alpha \approx 0.4$) 로 경험적으로 설정됩니다.
2. VERIFY: 에이전트는 현재 최대 사후 확률 (MAP) 가설을 반증하기 위해 1~3 개의 표적 행동을 수행합니다. 반증되면 EXPLORE 단계로 재진입합니다.
3. PLAN + EXECUTE(속도 모드): 불확실성이 낮아지면, 에이전트는 검증된 가설에 기반하여 계획을 수립하고 실행합니다. 예상치 못한 관찰이 발생하면 실행이 중단되고 EXPLORE 단계로 재진입합니다.

구현 세부 사항

• 모델: 실험에는 Qwen2.5-0.5B와 Qwen2.5-1.5B가 사용됩니다.
• 엔트로피 프록시: 공식적인 파티클 필터 대신 AERA 는 LLM 의 구조화된 UNCERTAIN 출력 길이를 믿음 엔트로피의 휴리스틱 프록시로 사용합니다.
• 대회 참가: LLM API 없이 동일한 "PLAN 전 EXPLORE" 원칙을 구현한 별도의 제출물 (오프라인 사전 해결 캐시가 있는 BFS 솔버) 은 비공개 세트에서 RHAE=0.30 을 달성했습니다.

3. 주요 결과

공개 게임 (25 개 게임) 에 대한 경험적 성능

• AERA (0.5B, b=1): RHAE = 0.2116을 달성하여 4/25개 게임 (VC33, FT09, LP85, S5I5) 을 해결했습니다.
• 베이스라인:
  • Random: RHAE = 0.0000 (25 개 중 0 개 해결).
  • No-Explore (B1): RHAE = 0.0000 (25 개 중 0 개 해결). 0.5B 모델은 탐색 중에 명시적 가설이 형성되지 않으면 계획을 생성하지 못합니다.
• 모델 능력 상호작용:
  • 5 개 게임 하위 집합에서, 탐색이 있는 0.5B 모델 (b=1) 은 RHAE=0.5290 을 달성한 반면, 탐색이 없는 1.5B 모델은 0.2645 를 기록했습니다.
  • 놀랍게도, 강제 1 단계 탐색 (b=1) 을 적용한 1.5B 모델은 0.0000점을 받아 탐색이 없는 대응 모델보다 더 나쁜 성적을 거두었습니다. 저자들은 더 큰 모델이 행동 분포가 더 집중되어 있어, 더 분산된 0.5B 모델에 비해 FT09 의 단일 행동 승리와 같은 우연한 승리 조건을 실수로 유발할 가능성이 낮다고 가설을 세웠습니다.

벤치마크 유효성 분석

25 개 공개 게임에 대한 체계적인 조사는 다음과 같은 사실을 밝혔습니다:

• 10 개 게임은 단일 맹목 단계 (5 개는 ACTION6 를 통해, 5 개는 기타 맹목 행동을 통해) 로 해결 가능합니다.
• 5 개 게임은 단일 프로브 후 ACTION6이 필요합니다.
• 1 개 게임은 다양한 탐색이 필요합니다.
• 1 개 게임은 반복된 ACTION1로 해결 가능합니다.
• 8 개 게임은 단일 행동을 50~200 회 반복하여 (예산 제약 하에) 해결 가능합니다.
• 18 개 게임은 null 좌표 취약점을 통해 1 단계로 우회 가능합니다 (x=None, y=None으로 ACTION6을 호출하면 라이브러리 예외가 승리로 잘못 분류됨).
• 결론: 공개 세트는 지능적인 탐색과 단순한 휴리스틱을 구별할 수 없습니다. 진정한 지능 테스트는 여전히 비공개 55 개 게임 세트에 남아 있습니다.

대회 결과

연결된 코드 트랙 제출물 (탐색 우선 원칙의 BFS 기반 구현) 은 전체 55 개 게임 비공개 평가에서 RHAE = 0.30을 달성하여 작성 당시 보고된 커뮤니티 최강인 약 12.58% 를 능가했습니다.

4. 의의 및 주장

본 논문은 세 가지 주요 기여를 합니다:

1. 이론적: 2 차 RHAE 지표를 속도 - 깊이 파레토 프론티어 제재로 해석합니다. 볼록성 가정 하에 (균일 정보 환경의 한 클래스에 대해 증명됨), 이 지표는 정보 획득과 행동 효율성의 균형을 맞추지 못하는 에이전트를 수학적으로 제재합니다.
2. 아키텍처적: 믿음 엔트로피에 기반하여 탐색에서 계획으로의 전환을 명시적으로 제어하는 AERA를 도입합니다. 이는 작은 모델 (0.5B) 이 0 이 아닌 RHAE 를 달성하기 위해 탐색이 필수적임을 보여주며, 반면 더 큰 모델 (1.5B) 은 사전 지식에 의존할 수 있지만 탐색이 잘못 강제될 경우 여전히 고통받음을 보여줍니다.
3. 경험적/벤치마크 비판: 모든 게임이 비지능적 전략을 통해 도달 가능하므로, ARC-AGI-3 공개 평가 세트가 탐색 측정에 유효하지 않음을 보여주는 엄격한 비판을 제공합니다. 저자들은 인간과 AI 성능 간의 격차가 추론 격차가 아니라 인식적 규율 격차라고 주장합니다.

겸손한 주장:

• 저자들은 AERA 가 일반적인 ARC-AGI-3 문제를 해결하거나 85% 목표를 달성한다고 주장하지 않습니다.
• 탐색 예산 휴리스틱 ($\alpha \approx 0.4$) 은 유도된 법칙이 아닌 경험적 적합입니다.
• 볼록성 가정 (A1) 은 모든 환경에 대해 증명된 것이 아니라 특정 클래스에 대해서만 증명되었습니다.
• "null 좌표" 승리는 지능적 전략이 아닌 벤치마크 취약점으로 보고되며, 합법적인 RHAE 비교에서 제외됩니다.

본 논문은 "PLAN 전 EXPLORE" 원칙이 새로운 환경에서의 첫 접촉 행동을 위한 근본적인 메커니즘이며, AGI 로의 향후 진보에는 정보 수집과 행동 효율성 간의 트레이드오프를 명시적으로 관리하는 아키텍처가 필요하다고 결론지었습니다.