Forage V2: 자율 에이전트 조직 내 지식 진화와 전이에 대한 기술 요약

이 논문은 오픈 월드 (Open-world) 태스크, 즉 완료의 경계가 사전에 정의되지 않은 환경에서 작동하는 자율 에이전트들이 직면하는 구조적 문제를 해결하기 위해 제안된 Forage V2 아키텍처를 소개합니다. Forage V1 이 단일 실행 (expedition) 내에서 평가의 신뢰성을 확보했다면, V2 는 이를 **학습 조직 (Learning Organization)**으로 확장하여 실행 간 경험의 축적, 모델 간 지식 전이, 그리고 조직적 안전장치를 통한 지식의 무결성 유지를 가능하게 합니다.

1. 문제 정의: 분모 맹점 (Denominator Blindness)

오픈 월드 태스크에서 에이전트는 "완료"의 기준이 무엇인지, 그리고 전체 목표 공간 (분모) 의 크기가 얼마나 되는지 미리 알 수 없습니다. 기존 연구와 V1 실험에서 확인된 핵심 문제는 **분모 맹점 (Denominator Blindness)**입니다.

• 현상: 자율 에이전트는 자신이 찾은 항목 (분자) 만을 기준으로 100% 완료라고 보고하는 경향이 있습니다. 즉, 전체 목표 공간의 규모 (분모) 를 체계적으로 과소평가합니다.
• 원인: 실행자 (Planner) 와 평가자 (Evaluator) 의 역할이 하나의 에이전트에 통합될 때 발생하는 구조적 결함입니다. 에이전트가 자신의 작업을 스스로 평가하면 "열심히 했다"는 것을 "성공했다"는 것과 혼동하게 됩니다.
• 결과: 실제 회수율 (Recall) 이 15.9% 에 불과함에도 불구하고 에이전트는 100% 커버리지를 보고하는 등 심각한 신뢰성 저하가 발생합니다.

2. 방법론: Forage V2 아키텍처

Forage V2 는 단일 에이전트의 성능 향상이 아니라, 에이전트들이 상호작용하는 **제도적 설계 (Institutional Design)**에 초점을 맞춥니다.

2.1 핵심 구성 요소

1. 이중 에이전트 구조 (Dual-Agent):
   • Planner: 목표 달성 전략을 수립하고 실행 스크립트 (action.py) 를 작성합니다.
   • Evaluator: "완료"의 정의를 발견하고 수정하며, 커버리지 지표를 계산하는 평가 스크립트 (eval.py) 를 작성합니다.
   • Executor: 비-LLM 결정론적 프로세스로, Planner 의 스크립트를 실행하고 Evaluator 가 결과를 측정합니다.
2. 방법론적 격리 (Method Isolation):
   • V1 의 파일 숨김 방식 (dotfile) 이 취약점이 된 것을 보완하여, 물리적 워크스페이스 분리를 도입했습니다. 각 에이전트는 자신의 비공개 디렉토리에서 실행되며, 상대방의 코드나 내부 논리는 파일 시스템 차원에서 완전히 차단됩니다. 이는 평가 기준을 미리 알지 못하게 하여 편향을 방지합니다.
3. 지식 진화 (Knowledge Evolution):
   • 각 실행이 끝난 후 (Post-mortem), Planner 와 Evaluator 는 각각 독립적으로 학습된 교훈을 추출하여 **지식 베이스 (Knowledge Base)**에 저장합니다.
   • 지식은 수정 불가능한 (Append-only) 문서로 저장되며, 버전 관리가 됩니다. 이는 조직의 기억으로서 다음 실행에 전달됩니다.
4. 지식 전이 프로토콜 (Knowledge Transfer):
   • 강력한 모델 (Opus) 이 축적한 지식을 약한 모델 (Sonnet) 에게 전달하여, 약한 모델이 강력한 모델의 경험을 바탕으로 초기 탐색 비용을 절감하고 성능을 향상시킵니다.
   • 지식은 모델 가중치나 파인튜닝이 아닌, 가독성 있는 문서 (Markdown/YAML) 형태로 전달되므로 모델 아키텍처와 무관하게 적용 가능합니다.

2.2 운영 메커니즘

• 계약 프로토콜 (eval_contract.md): Evaluator 가 Planner 에게 기대하는 출력 형식과 평가 기준을 명시합니다.
• 탐색 동력 (Exploration Drive): 조기 수렴을 방지하기 위해 Evaluator 에게 매 라운드마다 "분모가 정확한가?", "너무 관대한가?" 등의 자기 감사 질문을 포함시켜 독립적인 검증을 유도합니다.
• 정지 기준: 객관적 지표 (스크립트 결과) 와 주관적 판단 (Evaluator 의 컨텍스트 해석) 의 이중 계층 구조를 통해 중단 시점을 결정합니다.

3. 주요 기여 및 실험 결과

논문은 세 가지 태스크 (웹 스크래핑, API 쿼리, 수학적 추론) 를 통해 두 가지 주요 주장을 입증했습니다.

3.1 주장 1: 지식 축적 (Knowledge Accumulation)

• NVIDIA GPU 데이터 수집 태스크: 6 번의 실행을 거치며 지식 항목이 0 개에서 54 개로 증가했습니다.
• 분모 안정화: 초기에는 분모 추정치 (265~303) 에 편차가 있었으나, 조직적 지식이 축적됨에 따라 Evaluator 의 분모 추정치가 안정화되었습니다.
• 수렴 속도: 모든 Opus 실행이 정확히 4 라운드에서 수렴했습니다.

3.2 주장 2: 지식 전이 (Knowledge Transfer)

강력한 모델 (Opus) 의 지식을 약한 모델 (Sonnet) 에게 전달했을 때의 효과는 다음과 같습니다.

• 커버리지 향상: Cold Sonnet(지식 없음) 의 평균 커버리지 93.1% → Seeded Sonnet(지식 전달) 의 평균 커버리지 98.6% 로 향상되었습니다. (Opus 의 99.7% 에 근접)
• 비용 절감: 평균 비용이 $9.40 에서$5.13 으로 45% 감소하여 Opus 수준 ($5.05) 과 유사해졌습니다.
• 수렴 속도: 평균 라운드 수가 7.0 에서 4.5 로 절반으로 단축되었습니다.
• 분모 정렬 (Calibration): Cold Sonnet 은 분모를 320~411 로 과대평가했으나, Seeded Sonnet 은 3 번의 독립 실행에서 모두 정확히 266으로 수렴했습니다. 이는 지식이 단순한 수집 전략뿐만 아니라 **평가 자체의 정확성 (분모 정의)**을 보정함을 의미합니다.

3.3 수학적 추론 태스크 (Q10, Q6)

• Q10: Sonnet 이 모든 실행에서 100% 를 달성했으나, 지식 전달 시 Planner 의 실패 (타임아웃) 횟수가 크게 감소하여 운영 안정성이 향상되었습니다.
• Q6 (난이도 한계): 매우 어려운 문제에서는 지식 전달이 '생존율' (실패 없이 결과를 도출하는 비율) 을 50% 에서 83% 로 높였으나, 생존한 실행들의 평균 커버리지는 오히려 감소하는 생존 편향 (Survival Bias) 을 보였습니다. 이는 지식 전달이 모델의 추론 능력 한계를 넘어서지는 못하지만, 자원 소모를 줄여 실패 확률을 낮춘다는 것을 시사합니다.

4. 의의 및 결론

4.1 구조적 혁신

Forage V2 는 알고리즘적 개선 (더 큰 모델, 더 좋은 파인튜닝) 이 아닌 **구조적 제약 (제도적 설계)**을 통해 에이전트의 신뢰성을 높입니다.

• 감사 분리 (Audit Separation): 평가자가 실행자의 코드를 보지 못하게 하여 자기 편향적 평가를 방지합니다.
• 조직적 기억: 지식은 개별 에이전트의 내부 상태가 아닌, 조직의 공유 자산으로 저장되어 모델 간 전이가 가능해집니다.
• 모델 무관성: 약한 모델도 강력한 모델의 경험을 통해 높은 수준의 성과를 낼 수 있음을 입증했습니다.

4.2 오픈 월드 태스크의 본질

이 연구는 오픈 월드 태스크에는 "정답"이 존재하지 않으며, "완료"의 기준 자체가 에이전트에 의해 발견되고 정립되어야 함을 강조합니다. 분모의 변동성 (예: NVIDIA 제품 수 265~411) 은 측정 오류가 아니라 현실 세계의 개념적 모호성을 반영하는 것이며, Forage 는 이러한 불확실성 하에서도 신뢰할 수 있는 완료 판단을 내릴 수 있는 아키텍처를 제공합니다.

4.3 향후 방향 (V3)

• 캠프 매니저 (Camp Manager): 실행 중 동적으로 리소스 (턴 수, 모델 선택) 를 조정하는 오케스트레이션 레이어.
• 지식 큐레이션: 축적된 지식의 중복 제거, 모순 해결, 유해한 지식 (격리 위반으로 인한 것 등) 의 식별 및 폐기.
• 교차 태스크 전이: 웹 스크래핑에서 얻은 지식이 다른 도메인의 태스크에 적용 가능한지 탐구.

결론적으로, Forage V2 는 개별 에이전트의 능력을 극대화하는 대신, 에이전트들이 상호작용하는 신뢰할 수 있는 조직 구조를 설계함으로써 오픈 월드 환경에서의 자율적 판단 신뢰성을 확보하는 새로운 패러다임을 제시합니다.