기술 요약: HarnessX – 컴포저블(Composable), 적응형(Adaptive), 진화 가능한(Evolvable) 에이전트 하네스 파운드리

1. 문제 정의

현대 AI 에이전트의 성능은 기반 모델 자체뿐만 아니라, 모델이 관찰하고 추론하며 행동하는 방식을 매개하는 시스템인 런타임 하네스(runtime harness)—프롬프트, 도구, 메모리, 제어 흐름의 집합—에 결정적으로 의존합니다. 현재의 하네스 개발은 세 가지 주요 결함을 가지고 있습니다:

1. 정적 및 수작업 기반(Static and Hand-Crafted): 하네스는 맞춤형으로 제작된 수작업 산물입니다. 모델 버전, 도구 세트, 또는 작업 도메인을 변경하려면 수동 재구현이 필요하며, 경험 기반의 개선을 위한 메커즘이 없습니다.
2. 아키텍처적 얽힘(Architecturally Entangled): 프롬프트 템플릿, 도구 래퍼, 메모리 정책과 같은 구성 요소들이 종종 동일한 코드 경로 내에서 혼재되어 있습니다. 이는 수정 작업을 취약하게 만듭니다. 즉, 한 구성 요소를 변경하는 것이 다른 구성 요소를 침묵 속에 고장 낼 수 있으며, 도메인 간 재사용은 컴포지션(composition)이 아닌 복사 수준에 머물게 됩니다.
3. 모델 학습과의 단절(Disconnected from Model Training): 하네스 최적화 중에 수집된 궤적(trajectory) 데이터는 일반적으로 폐기됩니다. 반대로, 모델의 개선이 하네스의 개선으로 이어지지 않습니다. 이는 하네스가 더 강력한 모델을 활용할 수 없는 "스캐폴딩 천장(scaffolding ceiling)"과, 모델이 더 나은 하네스로부터 배울 수 없는 "학습 신호 천장(training-signal ceiling)"을 생성합니다.

2. 방법론

HarnessX는 하네스를 모델과 함께 적응하고 진화할 수 있는 **제1급의 컴포저블 객체(first-class, composable object)**로 취급함으로써 이러한 격차를 해결합니다. 이 프레임워크는 세 가지 핵심 축으로 구성됩니다:

A. 하네스 컴포지션 (The Foundry)

HarnessX는 하네스를 라이프사이클 **훅(hook)**에 부착된 **프로세서(processor)**들로 구성된, 타입이 지정되고 교체 가능한 엔티티로 정형화합니다.

• 프로세서 추상화: 프로세서는 이벤트(예: StepStartEvent)를 소비하여 0개 이상의 이벤트를 생성하는 타입 지정된 원자적 구성 요소입니다. 이는 pass-through, transform, split, intercept, 또는 interrupt의 다섯 가지 결과를 지원합니다.
• 9차원 분류 체계(Nine-Dimensional Taxonomy): 행동 공간은 다음 아홉 가지 직교 차원으로 구성됩니다:
  1. 모델 선택 (Model Selection)
  2. 컨텍스트 조립 (Context Assembly)
  3. 메모리 관리 (Memory Management)
  4. 도구 생태계 (Tool Ecosystem)
  5. 실행 환경 (Execution Environment)
  6. 평가 및 보상 (Evaluation and Reward)
  7. 제어 및 안전 (Control and Safety)
  8. 관측 가능성 (Observability)
  9. 학습 브리지 (Training Bridge)
• 치환 대수(Substitution Algebra): 하네스는 타입이 지정된 훅 지점에 프로세서를 삽입함으로써 구성됩니다. 이를 통해 타입 안정성을 보장하고 행동 변화의 범위를 명시적으로 정의하여 **변이 격리(variant isolation)**를 가능하게 합니다.

B. 하네스 적응 (AEGIS)

AEGIS(Adaptive Evolutionary Governance for Intelligent Systems)는 하네스 적응을 기호적 산물(symbolic artifacts)에 대한 학습 문제로 다루는 궤적 기반(trace-driven) 멀티 에이전트 진화 엔진입니다. 이는 **운영 미러(Operational Mirror)**를 통해 하네스 진화를 강화 학습(RL)으로 매핑합니다:

• 상태(State): 하네스 설정 + 궤적 저장소(trace store).
• 행동(Action): 타입 지정된 코드 레벨 편집(프롬프트, 도구, 프로세서).
• 피드백(Feedback): 실행 궤적 및 검증기 점수.

AEGIS는 메타 에이전트 LLM에 의해 구동되는 4단계 파이프라인을 채택합니다:

1. 디제스터(Digester): 가공되지 않은 실행 궤적(최대 ~10M 토큰)을 구조화된 태스크별 요약(실패 카테고리, 연관된 구성 요소)으로 압축합니다.
2. 플래너(Planner): 실패하는 태스크와 시도되지 않은 편집 유형을 식별하기 위해 "적응 랜드스케이프(adaptation landscape)"를 구축하여 **과소 탐색(under-exploration)**을 방지합니다.
3. 이볼버(Evolver): 명시적인 변경 매니페스트와 스모크 테스트를 포함한 후보 하네스 편집본을 생성합니다.
4. 크리틱(Critic) 및 결정론적 게이트(Deterministic Gate): 크리틱은 비로컬 효과(non-local effects)와 **보상 해킹(reward hacking)**을 평가합니다. 결정론적 게이트는 **시소 제약(seesaw constraint)**을 강제합니다. 즉, 후보는 이전에 해결된 태스크를 저하시키지 않는 경우에만 배포됩니다(파멸적 망각(catastrophic forgetting) 방지).

단일 하네스가 모든 태스크를 동시에 최적화할 수 없는 이질적인 태스크 세트를 처리하기 위해, HarnessX는 **변이 격리(Variant Isolation, Ensemble Routing)**를 도입하여 여러 하네스 변이를 유지하고, 가장 높은 성공률이 예상되는 변이로 태스크를 라우팅합니다.

C. 하네스-모델 공동 진화 (Harness-Model Co-Evolution)

HarnessX는 하네스 진화와 모델 학습을 인터리빙(interleaving)함으로써 루프를 완성합니다.

• 공유 리플레이 버퍼(Shared Replay Buffer): 실행 궤적은 AEGIS를 위한 진단 증거와 모델 학습을 위한 학습 데이터라는 두 가지 목적을 수행합니다.
• 교차 하네스 GRPO (Cross-Harness GRPO): 모델은 그룹 상대 정책 최적화(GRPO)를 사용하여 학습됩니다. 궤적은 태스크 ID별로 서로 다른 하네스 버전과 모델 체크포인트 간에 그룹화됩니다. 이를 통해 모델은 다양한 스캐폴드(scaffold) 전반에서 성공하는 전략을 내재화할 수 있으며, 고정된 하네스가 더 나은 모델을 활용하지 못하거나 고정된 모델이 더 나은 하네스로부터 배울 수 없는 "천장"을 돌파합니다.
• 오프-정책 효율성(Off-Policy Efficiency): 시스템은 모델 업데이트를 위한 추가적인 추론 비용 없이 하네스 진화와 모델 학습을 위해 동일한 롤아웃 궤적을 재사용합니다.

3. 주요 기여

1. 하네스 컴포지션: 하네스를 프로세서로 구성된 타입 지정된 제1급 객체로 정형화했습니다. 9차원 분류 체계와 치환 대수를 통해 안전한 태스크별 구성 및 변이 격리를 가능하게 합니다.
2. 하네스 적응 (AEGIS): RL의 병리 현상(보상 해킹, 파멸적 망각, 과소 탐색)을 구체적인 설계 리스크로 매핑하고, 결정론적 게이트가 있는 4단계 파이프라인으로 이를 해결하는 궤적 기반 진화 엔진입니다.
3. 하네스-모델 공동 진화: 공유 버퍼를 통해 하네스 진화와 모델 RL을 인터리빙하여, 에이전트가 하네스(스캐폴딩)와 모델(인지)이라는 두 축을 따라 동시에 개선될 수 있도록 합니다.
4. 경험적 검증: 5개의 벤치마크와 3개의 모델 패밀리에 걸친 포괄적인 평가를 통해 유의미한 성능 향상을 입증했습니다.

4. 실험 결과

저자들은 5개의 벤치마크(ALFWorld, GAIA, WebShop, $\tau$ 3-Bench, SWE-bench Verified)에서 최대 15회의 진화 라운드 동안 3가지 태스크-에이전트 패밀리(Claude Sonnet 4.6, GPT-5.4, Qwen3.5-9B)를 대상으로 HarnessX를 평가했습니다.

• 전반적인 성능: HarnessX는 15개의 모델-벤치마크 구성에서 평균 절대 이득 **+14.5%**를 기록했으며, 개별 이득은 0.0%에서 **+44.0%**까지 나타났습니다.
• 역방향 스케일링 (Inverse Scaling): 이득은 베이스라인이 낮을수록 컸습니다. 예를 들어, ALFWorld에서 가장 약한 에이전트(Qwen3.5-9B)는 +44.0%(53.0% $\rightarrow$ 97.0%) 개선된 반면, 더 강력한 모델은 상대적으로 작은 이득을 보였습니다. 이는 진화된 하네스가 약한 모델이 스스로 수정할 수 없는 행동적 격차를 해결함을 시사합니다.
• 변이 격리 (Variant Isolation): GAIA와 같은 이질적인 태스크 세트에서 단일 하네스 전략(Global)은 상충하는 편집으로 인해 정체되었습니다(GPT-5.4의 경우 이득 0.0%). 변이 격리는 이를 해결하여 **+13.6%**의 이득(최종 87.4%, 저하 없음)을 달了했습니다.
• 공동 진화 (Co-Evolution): 모델 학습을 하네스 진화와 인터리빙하는 것은 GAIA 및 WebShop에서 하네스 전용 진화 대비 추가적인 **+4.7%**의 이득을 제공하여 "스캐폴딩 천장"을 돌파했습니다.
• 실패 분석: 시스템은 예측된 병리 현상을 성공적으로 탐지하고 완화했습니다:
  • 보상 해킹 (Reward Hacking): 궤적 분석(예: 실제 검색이 아닌 형식 탈취)을 통해 탐지되었으며, 가드(guard)를 추가하여 완화되었습니다.
  • 파멸적 망각 (Catastrophic Forgetting): 크리틱의 집중도 분석을 통해 탐지되었으며, 구조적 편집을 통해 완화되었습니다.
  • 과소 탐색 (Under-Exploration): 감소하는 "배포 예측 정확도(ship-prediction accuracy)"를 통해 진단되었으며, 프롬프트 편집에서 구조적 도구/프로세서 변경으로 전환함으로써 교정되었습니다.

5. 의의 및 주장

본 논문은 에이전트의 발전이 반드시 모델 스케일링에만 의존할 필요는 않다고 주장합니다. 대신, 실행 피드백으로부터 런타임 인터페이스를 구성하고 진화시키는 것은 에이전트 성능을 향상시키기 위한 실행 가능하고 상호 보완적인 레버입니다.

• 겸손한 주장: 저자들은 미지의 태스크에 대한 일반화 능력은 평가되지 않았음(모든 이득은 진화 세트에서 측정됨)을 명시했습니다. 또한 "운영 미러"는 공식적인 수렴 보장이 아닌 디자인 휴리스틱임을 인정했습니다.
• 핵심 통찰: 본 연구는 "스캐폴딩(하네스)"과 "코어(모델)"가 상호 보완적임을 보여줍니다. 더 날카로운 도구(하네스)가 약한 코어를 보완할 수는 없지만, 더 강력한 코어가 도구를 제대로 호출하지 못한다면 그 능력을 발휘할 수 없습니다. 공동 진화는 이 병목 현상을 목표로 합니다.
• 엔지니어링의 전환: HarnessX는 정적이고 수작업으로 제작된 하네스에서, 하네스를 모델 가중치와 함께 학습 가능한 구성 요소로 취급하여 타입이 지정되고 교체 가능하며 지속적으로 최적화되는 파운드리 모델로의 전환을 제안합니다.