기술 요약: EvolveNet – 에이전트 자기 개선을 위한 협력적 하네스 진화

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 기반이 되는 모델 가중치뿐만 아니라, 컨텍스트를 구성하고, 도구를 호출하며, 결과를 검증하고, 실패를 처리하는 실행 가능한 프로그램인 **하네스(harness)**에 결정적으로 의존한다. 하네스를 진화시키는 것이 모델 가중치를 업데이트하지 않고도 지속적인 개선을 가져온다는 최근의 연구들이 존재하지만, 기존 방식들은 중앙 집중형 패러다임을 따른다. 이러한 방법들은 모든 실행 경험(워크로드, 트레이스, 피드백)이 단일 옵티마이저로 모여 하나의 순차적 궤적을 따라 하나의 하네스를 진화시킬 수 있다고 가정한다.

이러한 가정은 개인정보 보호, 지연 시간, 또는 데이터 주권 제약으로 인해 경험을 중앙 집중화할 수 없는 실세계의 에이전트 생태계에서는 적절하지 않다. 결과적으로, 학습에 가장 가치 있는 경험은 직접적으로 집계될 수 없는 경험인 경우가 많다. 또한, 중앙 집중식 진화는 분산된 경험의 활용을 워크로드의 중앙 집중화에 종속시켜, 새로운 워크로드가 도입될 때 탐색 폭과 직렬 효율성을 제한한다.

2. 방법론: EvolveNet

EvolveNet은 경험 추출과 집계의 순서를 뒤집는 협력적 하네스 진화 패러다임을 도입한다. 기존 방식이 워크로드를 먼저 모은 다음 학습하는 방식이라면, EvolveNet은 경험 추출을 데이터 로컬 배포 단계로 이동시킨다.

2.1 협력 루프 (The Collaborative Loop)

시스템은 서버와 $K$개의 데이터 로컬 클라이언트를 포함하는 라운드로 작동한다:

1. 브로드캐스트(Broadcast): 서버는 공유 하네스 $h^{(t)}$를 모든 클라이언트에 전송한다.
2. 로컬 진화(Local Evolution): 각 클라이언트 $k$는 자신의 로컬 워크로드 $D_k$ 상에서 독립적으로 하네스를 진화시켜 전문가용 하네스 $h^{(t)}_k$를 생성한다. 이 과정은 로컬 운영 경험을 프로그램 적응(program adaptation)의 형태로 추출한다.
3. 집계(Aggregation): 클라이언트는 프로그램 델타($\Delta^{(t)}_k = \text{diff}(h^{(t)}, h^{(t)}_k)$)와 행동 증거(해결된 항목 또는 파손된 항목)를 서버로 반환한다.
4. 구성(Composition): 서버는 이 델타들을 집계하여 업데이트된 공유 하네스 $h^{(t+1)}$를 만든다.
5. 재배포(Redistribution): 업데이트된 하네스는 다음 라운드의 시작점으로 다시 배포된다.

이 사이클은 "데이터를 집계한 후 진화"하는 파이프라인을 "로컬에서 진화한 후 집계"하는 사이클로 대체하며, 이를 통해 여러 개의 진화 탐색이 병렬로 진행될 수 있도록 한다.

2.2 집계의 과제 (The Aggregation Challenge)

벡터를 평균 낼 수 있는 파라미터 공간 집계(예: Federated Averaging)와 달리, 하네스 적응은 실행 가능한 프로그램이다. 이들은 산술적으로 평균을 낼 수 없으며, 고립된 상태에서의 유익한 편집이 결합될 때 중복되거나, 모순되거나, 무효화될 수 있다.

EvolveNet은 이를 **증거 기반, 범위 유형화 프로그램 집계(Evidence-Guided, Scope-Typed Program Aggregation)**를 통해 해결한다:

• 공통 기반 델타(Common-Base Deltas): 모든 클라이언트는 동일한 베이스 $h^{(t)}$로부터 진화하므로, 서버는 공통 상태에 대한 상대적 델타를 추론할 수 있다.
• 행동 증거(Behavioral Evidence): 각 델타에는 베이스 대비 새롭게 해결된($F$) 항목 또는 파손된($B$) 항목을 나타내는 증거 $e^{(t)}_k$가 동반된다.
• 범위 유형화 구성(Scope-Typed Composition): 서버는 메커니즘(의미론적으로 일관된 적응)을 다음과 같은 범위로 분류한다:
  • GLOBAL (글로벌): 증거가 여러 도메인에 걸쳐 있거나 도메인 독립적인 실패를 다루는 경우 모든 입력에 적용된다.
  • HOME($d_k$) (홈): 입력이 도메인 $d_k$에 속할 때만 조건부로 적용된다. 이를 통해 서로 다른 도메인의 충돌하는 적응들이 간섭 없이 공존할 수 있게 한다 (명제 1 & 2).
  • REJECT (거부): 반복되는 클래스를 나타내지 않는 단일 항목 적응은 폐기된다.
• 행동 확정(Behavioral Commitment): 후보 하네스는 검증 슬라이스에서의 새롭게 해결된 항목 수가 새롭게 파손된 항목 수보다 크거나 같을 때($|F_{val}| \ge |B_{val}|$)만 확정된다. 이 게이트는 회귀(regression)가 공유 시작점이 되는 것을 방지한다.

3. 주요 기여

1. 협력적 하네스 진화 패러다임: 경험 추출을 중앙 집중형 옵티마이저에서 데이터 로컬 배포로 전환하는 프레임워크로, 원시 워크로드가 아닌 실행 가능한 적응을 집계한다. 이는 분산된 경험이 하나의 공유된 산물로 축적되면서도 로컬 탐색이 병렬로 진행될 수 있게 한다.
2. 범위 유형화 집계 연산자(Scope-Typed Aggregation Operator): 상호 작용하는 실행 가능한 프로그램들을 결합하는 새로운 방법이다. 이는 공통 베이스를 기준으로 델타를 통합하고, 전이 가능한 메커니즘을 글로벌 동작으로 승격시키며, 조건부 범위를 통해 도메인 특화 적응을 보존함으로써 산술적 평균 없이 간섭을 관리한다.
3. 평가 프로토콜: 로컬 진화의 확률적 특성으로부터 집계 연산자의 기여도를 분리하는 쌍방향 평가 방법을 제공한다. 동일한 로컬 진화 클라이언트 프로그램 스냅샷에 경쟁적인 집계 규칙을 적용함으로써, 본 논문은 이득이 단순히 최고의 단일 전문가를 선택하는 것이 아니라 적응을 구성하는 데서 온다는 것을 입증한다.

4. 실험 결과

EvolveNet은 다섯 가지 설정(Text-to-SQL (BIRD), 데이터 과학 코딩 (DS-1000), 경쟁 프로그래밍 (LiveCodeBench), 소프트웨어 엔지니어링 (SWE-bench Verified), 에이전트 워크플로우 (ClawEval))에서 평가되었다.

• 성능 향상: EvolveNet은 다섯 가지 설정 모두에서 공유 하네스를 개선했다. 이득은 이질적인 워크로드 환경에서 가장 두드러졌다 (예: LiveCodeBench에서 +33.4%, SWE-bench에서 +20.0%).
• 구성 vs 선택 (Composition vs. Selection): DS-1000에 대한 절제 연구(Ablation study) 결과, 병합된 하네스(68.5%)는 "최고의 클라이언트 선택" 전략(59.5%)과 단순히 전문가에게 작업을 라우팅하는 "위임(delegation)" 전략(64.0%)보다 유의미하게 높은 성능을 보였다. 이는 시스템이 단순히 라우팅하는 것이 아니라 상호 보완적인 적응을 성공적으로 구성함을 확인시켜 준다.
• 적응 유지 능력: DS-1000에서 개별 클라이언트가 해결한 고유 항목의 90%가 병합된 하네스에 유지되었다. 또한, 병합된 하네스는 어떤 클라이언트도 훈련 데이터를 가지고 있지 않은 도메인(예: PyTorch)의 항목들도 해결하였는데, 이는 도메인 간의 행동 전이를 입증한다.
• 효율성: 병렬 로컬 진화는 직렬 탐색 깊이를 줄인다. 총 계산 비용은 비슷하게 유지되지만, 벽 시계 시간(wall-clock time)은 모든 탐색의 합이 아니라 가장 느린 클라이언트에 의해 결정되므로, 클라이언트 수에 따라 1.9배에서 5.4배의 속도 향상을 제공한다.
• 모델 독립성: LLM 스택을 DeepSeek-v4-flash에서 MiMo-V2.5로 교체했을 때도 질적 행동(수용된 이득, 거부된 회귀)이 재현되었다.

5. 의의 및 주장

본 논문은 협력적 에이전트 개선 과정에서 공유되는 산물이 반드시 파라미터 벡터일 필요는 없으며, 실행 가능한 프로그램이 적응을 구성하고 행동적으로 검증할 수 있다면 조직적 경계를 넘어 운영 경험을 전달할 수 있다고 주장한다.

• 확장성: EvolveNet은 분산된 로컬 탐색이 하나의 실행 가능한 시스템 내에서 누적된 진보로 변모할 수 있음을 보여준다. 클라이언트 단계가 가장 느린 브랜치에 의해 제한되므로, 이 방식은 라운드 수를 늘리지 않고도 클라이언트 수($K$)에 따라 확장 가능하다.
• 이질성 처리: 이 방법은 배포 환경이 서로 분리된 형태의 전문 지식을 보유하고 있을 때 특히 효과적이다. 범위 유형화 집계는 특정 라이브러리 복구 절차와 같은 전문화된 능력을 유지하면서도 일반적인 복구 메커니즘을 글로벌하게 승격시킨다.
• 한계점: 저자들은 데이터 로컬리티가 개인정보 보호를 보장하지는 않는다(프로그램 편집이 클라이언트 정보를 인코딩할 수 있음)는 점과, 현재의 게이트가 코드 비대화(code bloat)를 억제하지 못해 장기적인 축적 과정에서 문제가 될 수 있음을 언급한다. 또한, 이 방법은 서버 측에 레이블이 지정된 검증 데이터가 필요한 지도 학습 방식이다.

요약하자면, EvolveNet은 범위 유형화 및 증거 기반 집계를 통해 협력적 하네스 진화가 민감한 데이터를 중앙 집중화하지 않고도, 여러 에이전트가 부분의 합보다 더 유능한 공유 시스템을 공동 진화할 수 있게 함을 입증한다.