기술 요약: 게이티드 시맨틱 품질-다양성(Gated Semantic Quality-Diversity)을 통한 자가 진화 에이전트 하네스

1. 문제 정의

대규모 언어 모델(LLM) 에이전트의 실제 작업 수행 능력은 모델 가중치뿐만 아니라, 시스템 프롬프트, 주입된 지식, 제어 루프, 도구 정의 및 구성을 포함하는 주변 런타임 스캐폴딩인 "하네스(harness)"에 의해 크게 결정됩니다. 배포 시 모델 가중치는 비용, 라이선스 또는 대여 등의 이유로 고정되는 경우가 많으므로, 하네스가 유일하게 조정 가능한 레버가 됩니다.

현재의 에이전트 하네스 자동 진화 방식은 두 가지 주요 과제에 직면해 있습니다:

1. 신뢰할 수 없는 피드백: 자가 생성된 피드백은 노이즈가 심합니다. 겉으로 보이는 이득은 실제 개선이 아니라 측정상의 아티팩트(예: 불안정한 샌드박스, 검증기 타임아웃)나 통계적 변동일 수 있습니다.
2. 과적합 및 붕괴: 구조화된 탐색 없이는 최적화 루프가 특정 훈련 작업에 과적합되거나, 좁은 범위의 "안전한" 수정(주로 미세한 프롬프트 조정)으로 붕괴되는 경향이 있습니다. 이는 더 깊은 실패 모드를 해결하지 못하게 만듭니다.

기존 방법들은 통계적 엄밀함이 부족하여, 검증 데이터셋을 통한 홀드아웃 검증 없이 노이즈가 섞인 라운드의 피크 통과율에 의존하는 경우가 많습니다. 이는 보고된 이득을 감사 불가능하게 만들고 과적합을 유발하기 쉽습니다.

2. 방법론

본 논문은 고정된 태스크 에이전트와 별도의 더 강력한 "에볼버(evolver)" 모델을 활용하여, 변화의 **제안(proposal)**과 변화의 **공로 인정(crediting)**을 분리하는 프레임워크를 제안합니다.

2.1 시스템 아키텍처

• 고정된 태스크 에이전트 (Frozen Task Agent): 최적화되는 모델($M$)은 고정된 상태를 유지합니다. 이 모델은 가변적인 하네스($H$) 내에서 작업을 실행합니다.
• 에볼버 에이전트 (Evolver Agent): 태스크 에이전트($D \neq M$)와는 별개인 더 강력한 모델로, 태스크 에이전트의 궤적(trajectory)에서 실패를 진단하고 시맨틱 패치를 제안합니다.
• 결정론적 측정 레이어 (Deterministic Measurement Layer): 모든 샘플링, 스코어링 및 유의성 검정은 LLM이 아닌 결정론적 코드로 처리되어 재현성을 보장합니다.

2.2 자가 진화 루프 (The Self-Evolution Loop)

프로세스는 다음과 같은 깔때기 구조를 따릅 (그림 1 참조):

1. 진단 (Diagnosis): 에볼버는 실패 궤적을 읽고 각 실패에 대해 (어디서 $\times$ 왜) 좌표를 할당합니다.
   • 어디서 (Where): 수정 가능한 표면 (프롬프트, 지식, 런타임, 설정).
   • 왜 (Why): 구체적인 실패 병리 (예: "사고 폭주(thinking-runaway)", "조기 종료(premature finalization)").
2. 제안 (Proposal): 에볼버는 특정 병리를 겨냥한 패치(git commit)를 설계합니다.
3. 사전 비행 가지치기 (Preflight Pruning): 활성화 선언이 없거나 트리거가 한 번도 발화하지 않은 후보를 드롭하는 제로-추론 체크를 수행합니다.
4. 스크리닝 및 검증 (Screening & Validation):
   • 앵커 스크린 (Anchor Screen): 저렴한 서브셋($K=1$)을 통해 형편없는 후보들을 걸러냅니다.
     에는 전체 훈련 세트($K=3$)에서 실행됩니다.
5. 3단계 게이트 공로 인정 (Three-Gate Crediting): 패치는 다음 조건을 모두 통과해야만 공로를 인정받습니다:
   • 유효성 게이트 (Validity Gate): 환경이 건전한지 확인합니다 (샌드박스 충돌/타임아웃 없음). 인프라 실패는 에이전트 실패로 카운트하지 않고 재실행합니다.
   • 활성화 게이트 (Activation Gate): 패치가 실험 중에 실제로 발화했어야 합니다.
   • 유의성 게이트 (Significance Gate): 노이즈와 실제 이득을 구분하기 위해 동일한 태스크 세트에 대해 쌍체 2$\sigma$ 테스트 ($z \ge 1.96$)를 요구합니다.

2.3 게이티드 시맨틱 MAP-Elites (GSME)

과적합과 탐색 붕괴를 방지하기 위해, 수정 사항은 범주형 품질-다양성(QD) 아카이브로 정리됩니다:

• 인덱싱 (Indexing): 셀은 특정 태스크가 아닌 (어디서 $\times$ 왜) 병리에 의해 키가 지정됩니다. 이는 과적합 방지를 위한 유도 편향(inductive bias) 역할을 합니다.
• 구조 (Structure): 각 셀에는 하나의 "게이티드 엘리트(gated elite, 최적의 패치)"가 유지됩니다.
• 선택 및 변이 (Selection & Variation): 시스템은 품질 편향 선택(글로벌 베스트 확장)과 교차 셀 재조합(서로 다른 병리 셀의 엘리트들을 스태킹)을 사용합니다. 이를 통해 균등한 탐색의 비용 없이도 시너지 효과가 있는 조합(예: 런타임 수정 + 프롬프트 수정)을 발견할 수 있습니다.

2.4 평가 프로토콜

• 봉인된 테스트 (Sealed Test): 홀드아웃 테스트 세트는 진화 과정 전체 동안 에볼버로부터 완전히 격리됩니다. 진화가 종료된 후 단 한 번 점수가 매겨집니다.
• 종료 (Termination): $P$ 라운드 동안 훈련 세트에서 바닐라 베이스라인을 능가하는 후보가 나타나지 않거나 라운드 상한 $R$에 도달하면 루프가 중단됩니다.
• 지표 (Metric): 성능은 보존율(Retention) (봉인된 리프트 / 훈련 리프트) 및 공인된 이득(Credited Gain) (2$\sigma$ 임계값을 통과한 봉인된 리프트)으로 측정됩니다.

3. 주요 기여

1. 감사 가능한 자가 진화 루프: LLM은 시맨스(진단/패치)를 담당하고 결정론적 코드는 정량적 판단(샘플링/유의성)을 담당하는 재현 가능한 시스템입니다. 이를 통해 모든 공인된 개선 사항은 추적 가능하고 재현 가능함을 보장합니다.
2. 게이티드 시맨틱 MAP-Elites (GSME): 태스크가 아닌 실패 병리에 키를 둔 새로운 아카이브 구조입니다. 본 논문은 이 구조가 교차 셀 재조합을 가능하게 하여, 시스템이 프롬프트 전용 수정에 머물지 않고 다양한 수정(런타임, 설정, 지식)을 수용할 수 있음을 입증합니다.
3. 일반화 증거: 프레임워크는 이득이 일반화됨을 보여줍니다. 6개 도메인 전반에 걸쳐, 봉인된 테스트 이득은 훈련 이득의 **86~147%**를 유지했으며, 모든 이득이 쌍체 2$\sigma$ 유의성 기준을 통과했습니다.
4. 모델별 병리 매칭: 연구 결과, "승리하는 패치"는 보편적인 솔루션이 아니라 특정 모델의 지배적인 실패 모드(예: 어떤 모델은 "부주의 $\to$ 제출-검증", 다른 모델은 "참여 $\to$ 검증-최종화")를 추적한다는 것을 보여줍니다. 전이 가능한 기여는 특정 하네스 구성이 아니라 진단 및 공로 인정 루프 그 자체입니다.

4. 실험 결과

프레임워크는 고정된 오픈 웨이트 모델(Qwen3.6-27B)을 사용하여 세 가지 소스(Terminal-Bench-2, EvoAgentBench 스위트, AppWorld)의 7개 도메인에서 평가되었습니다.

• 성능 향상: 훈련에서 선택된 하네스는 봉인된 테스트에서 +9 ~ +15.5 퍼센티지 포인트(pp)의 공인된 이득을 달성했습니다.
• 일반화:
  • TB2: +9.3 pp (보존율: 147%)
  • LiveCode: +13.7 pp (보존율: 86%)
  • Omni-MATH: +11.7 pp (보존율: 115%)
  • BrowseComp+: +13.9 pp (보존율: 88%)
  • GDPval: +9.2 pp (보존율: 109%)
  • AppWorld: +15.5 pp (보존율: 87%)
  • SWE-bench: +5.1 pp (낮은 샘플 크기 $n=26$으로 인해 2$\sigma$ 기준을 통과하지 못해 공인되지 않았으나, 방향성은 긍정적임).
• 수정의 다양성: 수용된 수정 사항은 네 가지 레버(프롬프트, 지식, 런타임, 설정) 전체에 걸쳐 나타났으며, 이전 연구에서 관찰된 프롬프트 전용 수정으로의 붕괴를 피했습니다.
• 교차 모델 검증: Qwen3.5 및 Gemini 3 Flash를 사용한 AppWorld 실험은 이 루프가 특정 모델 패밀리의 지배적인 병리를 식별함으로써 서로 다른 모델 패밀리에 적응함을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 고정된 LLM 에이전트를 개선하는 데 있어 주요 병목은 변화를 생성하는 것이 아니라, 어떤 변화가 실제로 도움이 되었는지 아는 것이라고 주장합니다. 변화 제안과 공로 인정을 분리하고 봉인된 테스트에 대한 엄격한 통계적 유의성을 강제함으로써, 저자들은 다음을 입증했습니다:

• 자가 진화는 구조적으로 신뢰할 수 있게 만들어질 수 있으며, 이전의 자동 최적화 문헌에서 흔히 나타나는 과적합과 노이즈 팽창을 피할 수 있습니다.
• 가중치가 고정된 환경에서도 일반화가 가능하며, 진화된 하네스는 보지 못한 데이터에서도 훈련 이득의 대부분을 유지합니다.
• 진단 및 공로 인정 루프가 전이 가능한 메커니즘입니다. 발견된 특정 패치는 모델마다 다를 수 있지만, 이를 찾는 방법론은 다양한 모델 패밀리와 태스크 도메인에 걸쳐 적용 가능한 견고하고 일반화된 엔진입니다.

이 연구는 하네스 자가 진화를 "보편적으로 좋은" 스캐폴드를 발견하는 것이 아니라, 특정 모델의 실패 분포에 맞춤형 교정 패치를 맞추는 과정으로 재정의하며, 이 과정에서 루프 자체가 이러한 적응을 위한 견고하고 일반화 가능한 엔진 역할을 합니다.