ReCreate: Reasoning and Creating Domain Agents Driven by Experience

다음은 논문 "ReCreate: Reasoning and Creating Domain Agents Driven by Experience"에 대한 상세한 기술 요약입니다.

1. 문제 정의

본 논문은 최소한의 시드 정보로부터 특정 실세계 도메인 (예: 소프트웨어 공학, 데이터 과학, 수학) 을 위한 전문 LLM 에이전트를 자동 구축하는 '도메인 에이전트 생성 (Domain Agent Creation)'의 과제를 다룹니다.

• 현재의 한계: 대부분의 실용적 에이전트는 인간이 수동으로 설계합니다. 이는 노동 집약적이며 확장하기 어렵습니다. 왜냐하면 서로 다른 도메인은 고유한 지식, 사전 지식 (priors), 그리고 워크플로우를 요구하기 때문입니다.
• 기존 자동화의 한계: 최근의 자동 에이전트 생성 방법들 (예: ADAS, AgentSquare) 은 에이전트 생성을 블랙박스 최적화 문제로 취급합니다. 이들은 업데이트를 안내하기 위해 최종 성능 지표 (예: 통과/실패율) 만을 의존합니다.
  • 무지 (Blindness): 에이전트가 실패한 '이유'에 대한 통찰력이 부족하여 비효율적인 시행착오를 초래합니다.
  • 비용: 모든 후보 구조 (scaffold) 에 대해 대규모 평가가 필요하여 높은 계산 및 재정 비용을 초래합니다.
  • 과적합 (Overfitting): 특정 작업 인스턴스로부터 더 넓은 도메인 패턴으로 일반화하는 데 종종 어려움을 겪습니다.

2. 방법론: ReCreate 프레임워크

ReCreate 는 화이트박스, 경험 기반 최적화 패러다임을 제안합니다. 스칼라 점수에 의존하는 대신, 실행 궤적, 환경 상태, 로그, 평가 결과와 같은 전체 상호작용 경험을 활용하여 에이전트 구조를 반복적으로 정제합니다.

핵심 설계: 에이전트로서의 최적화기 (Agent-as-Optimizer)

ReCreate 는 "ReCreate-Agent"(메타 에이전트) 가 자율 엔지니어로 작동하는 에이전트로서의 최적화기 설계를 도입합니다. 이는 작업 에이전트의 실행 이력을 검사하고, 실패를 진단하며, 에이전트의 구조를 수정합니다. 프레임워크는 세 가지 핵심 구성 요소로 이루어집니다.

1. 경험 저장 및 검색 메커니즘:

   • 전체 상호작용 에피소드 (궤적, 실행 출력, 평가 로그, 코드베이스와 같은 환경 컨텍스트) 를 저장합니다.
   • 증거 검색기 (evidence retriever) 를 사용하여 중요한 사건 (오류, 실패 테스트) 을 인덱싱합니다. 이를 통해 ReCreate-Agent 는 방대한 로그를 선형적으로 처리하는 대신 관련 컨텍스트로 직접 이동하여 필요 시 검사가 가능해집니다.

2. 추론 - 생성 시너지 파이프라인:

   • 추론 (검사): ReCreate-Agent 는 검색된 증거를 분석하여 성공 또는 실패의 근본 원인 (예: 누락된 검증 단계, 비효율적인 도구 사용, 잘못된 워크플로우 순서) 을 파악합니다.
   • 생성 (수정): 진단에 기반하여 에이전트는 수정할 구조 구성 요소를 결정합니다. 구조는 네 가지 편집 가능 모듈로 분해됩니다.
     • 역할 및 대상: 시스템 지시사항 및 도메인 사전 지식.
     • 프로세스 및 전략: 추론 워크플로우 및 종료 기준.
     • 행동 및 도구: 사용 가능한 도구 및 스크립트.
     • 메모리 및 검색: 메모리 관리 전략.
   • 생성 라우터 (Creation Router) 는 구체적인 증거에 기반하여 적절한 편집 (예: "규칙 추가", "새 도구 생성", "워크플로우 수정") 을 선택하도록 에이전트를 안내합니다.

3. 계층적 로컬 - 도메인 업데이트:

   • 인스턴스 수준: 에이전트는 특정 작업에 대한 후보 업데이트 ($\Delta A$) 를 생성하며, 이에 대한 근거를 제시합니다. 이들은 즉시 적용되지 않고 버퍼에 저장됩니다.
   • 도메인 수준: 종합 단계는 이러한 인스턴스 수준의 제안들을 집계하여 재사용 가능한 도메인 패턴을 추출합니다. 이는 작업별 노이즈를 필터링하고 과적합을 방지하여 최종 구조가 도메인 전반에 걸쳐 일반화되도록 보장합니다.

워크플로우 (알고리즘 1)

1. 도메인 정보 ($I$) 로부터 최소 구조 ($A_0$) 초기화.
2. 개발 작업 배치에서 에이전트 실행.
3. 상호작용 경험 ($\tau$, 실행 결과, 평가 결과) 수집.
4. ReCreate-Agent 가 성공/실패를 검사하고 로컬 업데이트를 제안.
5. 로컬 업데이트가 글로벌 도메인 업데이트로 종합됨.
6. 수렴 또는 최대 반복 횟수에 도달할 때까지 반복.

3. 주요 기여

• ReCreate 프레임워크: 에이전트 생성을 블랙박스 지표 최적화에서 화이트박스, 경험 기반 추론으로 전환하는 새로운 프레임워크.
• 에이전트로서의 최적화기 패러다임: 프롬프트 최적화뿐만 아니라 실행 흔적과 환경 상태를 해석하여 다른 에이전트를 자율적으로 디버깅하고 진화시키는 LLM 을 가능하게 하는 설계.
• 종합적 평가: 소프트웨어 공학, 데이터 과학, 수학, 디지털 보조 등 4 개 도메인의 13 개 벤치마크에서 뛰어난 성능을 입증하여, 인간이 설계한 에이전트와 기존 자동 생성 방법 모두를 능가함.

4. 실험 결과

저자들은 작업 에이전트로 gpt-5-mini를, ReCreate-Agent 로 claude-4.5-opus를 사용하여 ReCreate 를 평가했습니다.

• 성능 향상:
  • ReCreate 는 모든 도메인에서 인간이 설계한 구조 및 자체 진화 베이스라인 (예: LIVE, OPRO, ExpeL) 보다 일관되게 우수한 성과를 보였습니다.
  • 평균 향상: 소프트웨어 공학 (SWE) 에서 2 위보다 +6.55%, 데이터 과학 (DS) 에서 +6.60%, 수학에서 +4.01%, 디지털 보조에서 +2.63% 향상.
  • 생성 방법과의 비교: 자동 생성 방법 (ADAS, AgentSquare) 보다 평균 7% 더 우수한 성능을 보였으며, 이는 스칼라 점수보다 풍부한 상호작용 경험을 활용하는 것의 가치를 강조합니다.
• 비용 효율성:
  • ReCreate 는 ADAS 대비 최적화 비용을 **36% 에서 82%**까지 절감했습니다. 이는 상호작용 경험에서 얻은 풍부한 신호를 활용하여 더 빠르게 수렴함으로써 달성되며, 더 적은 반복 횟수와 더 작은 개발 세트 (약 20 개 샘플만 필요) 로 달성됩니다.
• 어블레이션 연구:
  • 경험 구성 요소: 전체 궤적을 제거하면 성능 저하가 가장 크게 발생하여, 단계별 추론 흔적이 진단에 필수적임을 입증했습니다.
  • 추론 능력: 약한 ReCreate-Agent(gpt-5-mini) 를 사용하면 대부분의 도메인에서 인간 설계보다 우수한 성과를 내지 못했으며, 이는 경험을 해석하고 효과적인 편집을 생성하기 위해 강력한 추론 능력이 필수적임을 시사합니다.
  • 계층적 업데이트: 도메인 수준의 종합 (DOMUPD) 을 제거하면 과적합이 발생하고 일반화 능력이 저하되었습니다.

5. 의미 및 시사점

• 전문성의 자동화: ReCreate 는 LLM 이 전문 에이전트 구조를 설계하는 노동 집약적 과정을 자동화할 수 있음을 보여주며, 도메인별 워크플로우 생성에서 인간 전문가를 대체할 가능성을 제시합니다.
• 최적화 패러다임의 전환: 이 연구는 "프롬프팅에 의한 최적화 (정적, 선형)"에서 "행동에 의한 최적화 (동적, 검사 - 추론 - 최적화 루프)"로 필드를 이동시킵니다.
• 일반화 가능성: 이 프레임워크는 도메인 중립적입니다. 최소한의 시드로부터 소프트웨어 공학 (GitHub 이슈 수정), 데이터 과학 (코드 생성), 수학 문제 해결을 위한 전문 에이전트를 성공적으로 생성했습니다.
• 확장성: 경험 기반 업데이트를 활용함으로써 ReCreate 는 수동 엔지니어링이 불가능한 오픈 월드 시나리오를 위한 견고한 에이전트 구축을 위한 확장 가능한 경로를 제공합니다.

결론적으로, ReCreate는 상호작용 경험이 성능 지표 단독보다 에이전트 생성에 더 풍부하고 효과적인 신호임을 입증하여, 인간이 설계한 솔루션과 경쟁하거나 이를 능가하는 고성능 전문 에이전트의 자동 합성을 가능하게 합니다.