기술 요약: 재귀적 에이전트 하네스 (Recursive Agent Harnesses)

문제 정의

현대적인 코딩 에이전트는 도구, 파일 시스템 액세스, 컨텍스트 엔지니어링, 그리고 오케스트레이션으로 구성된 "에이전트 하네스(agent harness)" 내에서 작동하며, 이를 통해 대규모 언어 모델(LLM)을 기능적인 에이전트로 변환합니다. 이러한 하네스는 단일 컨텍스트 창을 초과하는 문서를 탐색할 수는 있지만, 수천 개의 독립적인 항목에 대해 항목별 LLM 추론이 필요한 경우 효과적으로 재귀(recurse)하지 못합니다. 현재의 코딩 에이전트들은 일반적으로 단일 컨텍스 창 내에서 정규 표현식 휴리스틱(regex heuristics)으로 항목별 추론을 축소하여 처리하며, 컨텍스트 제한으로 인해 항목 수준의 LLM 추론을 완전히 생략합니다. 반면, 재귀적 언어 모델(Recursive Language Models, RLMs)은 긴 입력의 하위 슬라이스에 대해 모델 호출을 재귀적으로 성공적으로 구성하지만, 도구, 파일 시스템 또는 코드 실행에 대한 접근 권한이 없습니다.

핵심적으로 다루는 문제는 롱 컨텍스트(long-context) 추론의 격차입니다. 기존 방식은 대규모 항목 처리를 위한 재귀 능력(코딩 에이전트)이 부족하거나, 복잡한 항목별 추론에 필요한 도구 접근 권한(RLM)이 부족합니다. 본 논문은 재귀 단위가 도구가 없는 모델 호출이어야 하는지, 아니면 전체 에이전트 하네스여야 하는지에 대해 질문합니다.

방법론: 재귀적 에이전트 하네스 (Recursive Agent Harness, RAH)

저자들은 재귀 단위가 단순한 모델 호출이 아니라 전체 에이전트 하네스인 패턴인 **재귀적 에이전트 하네스(RAH)**를 제안하고 연구합니다. 이 접근 방식은 RLM에서 발견되는 모델 재귀의 코드 우선(code-first) 확장판으로서 "하네스 재귀(harness recursion)"로 프레임화됩니다.

핵심 아키텍처

1. 부모 에이전트 (Parent Agent): 전체 태스크를 수신하고 문서를 검사하여 작업 규모를 결정합니다.
2. 스포닝 메커니즘 (Spawning Mechanism): 부모 에이전트는 두 가지 뚜렷한 경로를 통해 하위 에이전트를 생성(spawn)합니다.
   • 코드 실행 스포닝 (Code-Execution Spawning, 대규모 워크로드용 주 경로): 부모 에이전트는 각 항목 또는 항목 그룹에 대해 Task() 객체를 인스턴스화하는 자립형 실행 가능 스크립트(예: Python)를 작성합니다. 이 스크립트는 비동기 방식(예: asyncio.gather)으로 실행되어, 수천 개의 하위 에이전트 하네스를 병렬로 생성합니다. 이 경로는 API 도구 호출 제한을 우회하여, 프로토콜 제약이 아닌 워크로드에 의해 결정되는 규모를 구현합니다.
   • JSON 도구 호출 스포닝 (JSON Tool-Call Spawning, 소규모 워크로드용): 1~5개의 항목에 대해 부모 에이전트는 표준 구조화된 함수 호출을 사용하여 직접 하위 에이전트를 생성합니다.
3. 하위 에이전트 역량: 생성된 각 하위 에이전트는 다음과 같은 기능을 갖춘 부모와 동일한 풀 하네스입니다.
   • 파일 시스템 도구 (read_file, write_file, ls, glob, grep).
   • 코드 실행 능력.
   • 웹 검색.
   • 실행 전 계획 단계.
   • 항목이 복잡할 경우 "손자(grandchild)" 하네스를 재귀적으로 생성할 수 있는 능력 (설정 가능한 깊이 제한, 기본값 3에 의해 제한됨).
4. 격리 및 집계: 하위 에이전트는 공유 메모리나 피어 간 통신이 없는 격리된 워크스페이스에서 작동합니다. 이들은 구조화된 JSON 결과를 공유 출력 파일에 작성하며, 부모 스크립트는 이를 최종 답변으로 집계합니다.

실험 설정

평가는 긴 컨텍스트 추론(단일 구간을 검색하는 것이 아니라 수백만 토큰에 걸쳐 정보를 집계하는 것)을 테스트하도록 설계된 벤치마크인 Oolong-Synthetic에서 수행되었습니다.

• 데이터셋: 13개의 컨텍스트 길이 버킷(1K ~ 4M 토큰)에 걸쳐 계층화된 199개의 무작위 샘플링 인스턴스.
• 백본 컨트롤 (Backbone Control): 하네스의 영향을 격리하기 위해, 주요 비교를 위해 백본 모델을 GPT-5로 고정하여 공개된 Codex 베이스라인과 일치시켰습니다. 보조 구성으로는 Claude Sonnet 4.5를 사용했습니다.
• 베이스라인:
  • 전체 컨텍스트 베이스라인 (모델에 전체 문서 전달).
  • RLM 구성 (재귀적 모델 호출, 도구 없음).
  • Codex 코딩 에이전트 베이스라인 (리트리버 없는 정규 표현식 휴리스틱).

주요 기여

1. 하네스 재귀의 정의: 본 논문은 모델 호출(도구 없는) 대신 전체 에이전트 하네스(도구 및 코드 실행 포함)를 재귀하는 패턴을 명명하고 정의합니다. 이는 RLM의 모델 재귀를 확장하여 도구 접근을 포함하도록 재귀의 축을 확장하는 것으로서, 하네스 재귀를 정의합니다.
2. 통제된 평가: 본 연구는 모델 백본을 고정한 통제된 벤치마크 비교를 제공합니다. 이는 성능 향상이 모델의 개선이 아닌 하네스 아키텍처 덕분임을 보장합니다.
3. 경험적 검증: 논문은 답변 유형 및 컨텍스트 길이에 따른 결과를 보고하며, 이 패턴이 코드 기반 스포닝을 사용하는 Anthropic의 다이내믹 워크플로우와 같은 프로덕션 시스템과 일치함을 입증합니다.

결과

GPT-5를 백본으로 사용했을 때, RAH는 가장 강력한 이전 결과들을 유의미하게 능가했습니다.

• 전체 성능: RAH는 Oolong 점수를 71.75%(Codex 베이스라인)에서 **81.36%**로 향상시켰습니다. 모델이 동일했으므로 이 이득은 전적으로 하네스에 기인합니다.
• RLM과의 비교: RAH는 RLM 베이스라인(64.38%)을 넘어섰으며, 이는 도구 접근과 파일 시스템 탐색이 재귀적 LLM 호출을 보완함을 보여줍니다.
• 확장성: 더 강력한 백본(Claude Sonnet 4.5)을 사용했을 때, 동일한 설계가 **89.77%**에 도달하여 하네스 재귀가 모델 품질과 결합되어 시너지를 낸다는 것을 시사합니다.
• 컨텍스트 길이: 4M 토큰 버킷을 포함한 모든 컨텍스트 길이 버킷에서 이득이 일관되게 나타났습니다.
• 답변 유형: 의미론적 유형(USER, COMPARISON, LABEL)은 86% 이상의 점수를 기록했습니다. 수치적 성능은 69.33%로 낮았는데, 이는 추론 실패라기보다 오차(off-by-one error)에 대한 스코어링 함수의 누적 패널티 때문입니다.

의의 및 주장

본 논문은 재귀적 에이전트 하네스가 롱 컨텍스트 추론의 중요한 진화라고 주장합니다. 전체 에이전트 하네스를 재귀 단위로 취급함으로써, 시스템은 코딩 에이전트(규모를 위해 LLM 추론을 건너뜀)와 RLM(도구가 부족함) 모두의 사각지대를 극복합니다.

저자들은 이것이 새로운 프리미티브(코드 실행 및 하위 에이전트 스포닝은 이미 확립된 것임)를 발명하는 것이 아니라, 이미 프로덕션 시스템에서 나타나고 있는 특정 패턴을 명명하고 평가하는 것임을 강조합니다. 의의는 대규모 코퍼스에 대해 항목별 추론이 필요한 작업의 경우, 재귀 단위가 "도구 없는 모델 호출"에서 "도구를 갖춘 풀 하네스"로 업그레이드되어야 함을 입증하는 데 있습니다. 이 접근 방식은 단일 에이전트로는 감당할 수 없는 컨텍스트 내에서 개별 데이터 포인트에 복잡한 추론을 적용하고, 수천 개의 항목을 병렬 처리하며, 결정론적인 집계를 가능하게 합니다.

본 논문은 Oolong-Synthetic에 국한된 점, 특정 설계 선택(예: 재귀 깊이)에 대한 절제 연구(ablation study)의 부재, GPT-5 구성에 대한 미측정 비용/지연 시간 프로필 등 한계점을 언급하며 범위를 겸허하게 유지합니다. 논문은 모델 재귀와 도구 증강 에이전트 워크플로우 사이의 간극을 메우는 패턴을 식별하고 측정하는 것을 기여로 프레임화합니다.