기술 요약: 추상적 추론 및 일반화를 위한 비용 효율적인 에이전트 하네스 (ARC-AGI-1 대상)

문제 정의

본 논문은 ARC-AGI-1(Abstraction and Reasoning Corpus)에서 강력한 성능을 달ema하기 위해 수반되는 높은 비용과 계산 집약적인 문제를 다룹니다. 현재의 최첨단 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 헤비 테스트 타임 컴퓨팅 (Heavy Test-Time Compute): 광범위한 진화적 탐색, 철저한 샘플링 또는 확장된 생각의 사슬(Chain-of-Thought) 추론을 사용하는 프런티어 대규모 언어 모델(LLM)을 사용하며, 이는 종종 작업당 수십에서 수백 달러의 비용이 발생합니다.
2. 벤치마크 특화 학습 (Benchmark-Specific Training): ARC 데이터에 직접 미세 조정(Fine-tuning)하거나 소형 모델을 처음부터 학습시키며, 종종 공격적인 테스트 타임 증강(Augmentation)을 결합합니다.

저자들은 세 번째의, 아직 충분히 탐구되지 않은 영역을 조사합니다: **비사고 모드(Non-thinking mode)의 오픈 웨이트 모델(DeepSeek V3.2)**을 사용하여, 벤치마크 특화 미세 조정 없이, 엄격한 예산(작업당 1달러 미만) 내에서 ARC-AGI-1에서 유의미한 성능 향상을 달성하는 것입니다. 핵심 가설은 저렴한 원샷(One-shot) LLM 호출(~16% 정확도)과 고성능 시스템(≥50%) 사이의 간극이 단순히 모델의 능력이나 규모의 문제가 아니라, 특정 아키텍처 엔지니어링을 통해 회복될 수 있다는 것입니다.

방법론

본 연구는 동일한 모델(DeepSeek V3.2)을 사용하고 동일한 그리드 렌더링 및 스코어링 프로토콜을 따르는 공공 400개 작업 ARC-AGI-1 평가 세트에 대해 네 가지 아키텍처를 평가합니다.

1. 베이스라인 (Baselines)

• 원샷 베이스라인 (One-Shot Baseline): 추론 스캐폴딩 없이 단일 LLM 호출을 수행하며, 구조화된 JSON 출력을 반환합니다.
• 구조화된 생각의 사슬 (Structured CoT) 베이스라인: 모델이 그리드 출력 전 자연어 추론 필드를 출력하도록 요구하여 외부화된 숙고를 강제하는 단일 호출 방식입니다.

2. 익스플로러-디파이너 파이프라인 (The Explorer-Definer Pipeline)

이 아키텍처는 압축된 자연어 산출물에 의해 매개되는 두 개의 순차적 단계로 작업을 분해합니다:

• 단계 1 (병렬 탐색 - Parallel Exploration): $N$개의 PatternExplorer 에이전트 군단이 독립적으로 훈련 쌍을 분석합니다. 각 에이전트는 내부 숙고를 위한 개인용 think 도구와 관찰 사항을 기록하기 위한 note_pattern 도구를 사용합니다. 이들의 출력은 밀집된 요약본으로 압축됩니다.
• 단계 2 (변환 정의 - Transformation Definition): TransformationDefiner 에이전트는 훈련 쌍과 압축된 탐색 요약본을 전달받습니다. 이 에이전트는 think 도구를 사용하고 변환을 구현할 실행 가능한 파이썬 코드를 생성합니다.
• 선택 및 정제 (Selection & Refinement): 후보들은 훈련 쌍에 대한 정확 일치(Exact-match) 정확도에 따라 순위가 매겨집니다. 테스트 출력이 동일한 후보들을 병합하기 위해 dedup-by-test-prediction 메커니즘이 작동합니다. 만약 어떤 후보가 훈련 쌍의 50% 이상은 통과하지만 나머지는 실패할 경우, 디파이너는 구조화된 실패 피드백과 함께 재호출되어 코드를 정제합니다.

3. 리플렉티브 오케스트레이터 (The Reflective Orchestrator)

파이프라인이 "생성 제한적(Generation-bound)"이라는 발견(즉, 정확도가 선택 메커니즘이 아닌 후보 변환의 다양성에 의해 제한됨)에 착안하여, 오케스트레이터는 적응형 능력을 통해 파이프라인의 디파이너를 확장합니다:

• 루프 중간 재탐색 (Mid-Loop Re-exploration): 현재의 변환 가설이 훈련 쌍에서 유의미하게 실패할 경우, 오케스트레이터는 집중적인 $K=2$개의 새로운 PatternExplorer 에이전트를 생성할 수 있습니다.
• 부정 편향 가이드 (Negative-Leaning Guidance): 이 새로운 탐색가들은 "막다른 길(Dead ends)"과 배제된 규칙 군(Rule families)에 대한 구조화된 요약에 따라 조건화되어, 변환 공간의 검토되지 않은 영역으로 유도됩니다.
• 종료 (Termination): 루프는 100% 훈련 정확도 달성, 에이전트가 매개하는 done 호출, 또는 안전 퓨즈(최대 반복 횟수, 연속 오류 또는 생성 제한)에 도달할 때 종료됩니다.

주요 기여

1. 새로운 비용-정확도 경계 (New Cost-Accuracy Frontier): 본 논문은 작업당 1달러 미만 영역에서 작동하는 두 가지 에이전트 아키텍처를 소개합니다:
   • 익스플로러-디파이너 파이프라인: $0.25/작업에서 57.50% pass@2를 달성합니다.
   • 리플렉티브 오케스트레이터: $0.62/작업에서 67.25% pass@2를 달성합니다.
   • 이는 원샷 베이스라인 대비 각각 약 42 및 52 퍼센트 포인트의 상승을 나타내며, 벤치마크 특화 학습 없이 달성되었습니다.
2. 진단 후 테스트 방법론 (Diagnostic-Then-Test Methodology): 저자들은 파이프라인이 **선택 제한적(Selection-bound)이 아니라 생성 제한적(Generation-bound)**이라는 검증 가능한 진단을 확립했습니다. 분석 결과, 훈련 쌍 선택은 달성 가능한 후보 천장의 약 95%를 포착합니다. 이는 추가적인 이득을 얻기 위해서는 더 나은 순위 지정보다는 더 넓은 후보 생성이 필요함을 예측합니다. 오케스트레이터는 이 예측에 대한 명시적인 아키텍처 테스트로서 설계되었으며, 단순 pass@2와 편향되지 않은 pass@1 모두에서 거의 동일한 상승을 보임으로써 이를 확인했습니다.
3. 강건성 및 절제 실험 분석 (Robustness and Ablation Analysis):
   • 탐색기 수 ($N$): 지배적인 비용-정확도 레버로 식별되었습니다. 정확도는 $N$이 증가함에 따라 포화되는 반면, 디파이너 샘플링($M$)은 수확 체감의 법칙을 보입니다.
   • Think 도구: 디파이너의 개인용 think 스크래치패드를 제거하면 pass@2가 5.75 퍼센트 포인트 감소하며, 이는 숙고에서의 결정적 역할을 확인시켜 줍니다.
   • 정제 (Refinement): 훈련 피드백 정제를 비활성화하면 무시할 만한 수준의 하락(-0.75 pp)이 발생하며, 이는 선택 레이어가 대부분의 이득을 흡수함을 시사합니다.
   • 교차 모델 검증: 상승 궤적이 Qwen3-235B에서도 유지되어, 하네스 아키텍처 자체가 이득을 주도함을 입증합니다.
4. 방법론적 엄밀성: 본 논문은 아키텍처적 주장을 감사 가능하게 만들기 위해 토큰 정규화된 비용 보고, 명시적인 pass@k 정의, 그리고 부트스트랩 신뢰 구간 사용을 옹호합니다.

결과

• 성능: 리플렉티브 오케스트레이터는 400개 공공 작업 세트에서 67.25% pass@2를 달성합니다. 이는 파이프라인(57.50%)보다 +9.75 퍼센트 포인트 높고, 원샷 베이스라인(15.50%)보다는 +51.75 퍼센트 포인트 높습니다.
• 비용 효율성: 오케스트레이터는 **작업당 $0.62**로 작동하며, 이는 프런티어 모델의 탐색 체계(종종 작업당$2–$400)의 극히 일부입니다.
• 통계적 유의성: 모든 아키텍처 전환(Baseline → CoT → Pipeline → Orchestrator)은 쌍을 이룬 부트스트랩 분석을 통해 통계적으로 유의미한 상승(95% CI가 0을 제외함)을 보여줍니다.
• 행동 통찰: 추적 분석 결과, 오케스트레이터의 고유 해결 사례 중 약 75%(파이프라인이 실패한 지점)가 적응형 재탐색(spawn) 메커니즘을 활용했습니다. 이는 "잘못된 추상화" 실패가 지배적인 잔여 오류 모드라는 가설을 검증합니다.

의의 및 주장

본 논문은 ARC-AGI-1 성능의 상당 부분이 전문적인 학습이나 거대한 컴퓨팅 예산 없이도 에이전트 하네스 엔지니어링만으로 접근 가능하다고 주장합니다.

• 아키텍처적 레버 (Architectural Levers): 본 연구는 단순 프롬프팅과 고성능 사이의 간극을 세 가지 뚜렷한 아키텍처적 레버를 통해 메울 수 있음을 보여줍니다:
  1. 호출 내 숙고 (구조화된 CoT).
  2. 호출 간 분해 (패턴 발견과 프로그램 합성의 분리).
  3. 적응형 재탐색 (실패 시 새로운 탐색을 트리거할 수 있도록 허용).
• 생성 vs 선택 (Generation vs Selection): 본 연구는 이러한 유형의 문제에 대해 정확도가 선택의 질보다는 생성된 후보의 다양성(탐색)에 의해 제약된다는 경험적 증거를 제공합니다.
• 겸손함 (Modesty): 저자들은 공식 리더보드의 새로운 SOTA를 주장하는 것이 아니라, 자신들의 결과가 반-비공개 홀드아웃 세트가 아닌 공공 400개 작업 세트임을 명시하며, 자신들의 접근 방식이 비용-정확도 평면에서 희소하고 가치 있는 영역을 차지하고 있음을 주장합니다. 이는 고성능이 반드시 비싸고 전문화된 시스템만의 전유물이 아님을 증명합니다.