HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses

기술 요약: HarnessCompass

문제 정의

실행 가능한 환경에서 작동하는 대규모 언어 모델(LLM) 에이전트는 프롬프트, 도구, 미들웨어, 메모리 및 검증 루틴으로 구성된 소프트웨어 계층인 하네스(harness)—에이전트와 환경 간의 상호작용을 조율하는 층—에 크게 의존합니다. 수동적인 하네스 설계는 성능에 상당한 영향을 미치지만, 노동 집약적이며 급격히 발전하는 베이스 모델의 속도를 따라잡지 못한다는 한계가 있습니다.

최근의 자동 하네스 진화(automatic harness evolution) 연구는 메타 에이전트를 사용하여 에이전트-환경 상호작용을 기반으로 하네스를 반복적으로 개선함으로써 이 문제를 해결하고자 시도하고 있습니다. 그러나 기존 방식들은 세 가지 결정적인 한계를 가집니다:

1. 탐색 작업에 대한 과적합(Overfitting to Search Tasks): 메타 에이전트가 특정 작업에 특화된 지름길(예: 하드코딩 또는 키워드 매칭)을 내재화하여, 진화 세트에서의 점수는 높이지만 유지된(held-out) 작업에는 일반화되지 못하는 현상이 발생합니다.
2. 불충분한 피드백 신호: 기존 방식은 외부 궤적 결과(성공/실패)에만 의존합니다. 이는 에이전트가 왜 어려움을 겪었는지에 대한 통찰력이 부족하여, 실제 하네스의 마찰을 에이전트의 추론 오류로 오인하거나 그 반대의 경우를 발생하는 등 잘못된 귀인(misattribution)을 초래합니다.
3. 구성 요소 간 간섭(Component Interference): 기존 접근 방식은 모든 하네스 구성 요소(프롬프트, 도구, 메모리 등)를 단일 패스에서 동시에 최적화합니다. 이로 인해 편집 사항들이 서로 간섭하게 되어, 개별적인 개선 사항이 복리로 쌓이기보다는 개별 개선의 잠재적 이득을 제한하게 됩니다.

방법론: HarnessCompass

저자들은 제약된 진화(Constrained Evolution), 선제적 피드백(Proactive Feedback), 그리고 **구성 요소별 최적화(Component-wise Optimization)**라는 세 가지 핵심 원칙을 통해 이러한 한계를 극복하도록 설계된 정교한 자동 하네스 진화 프레임워크인 HarnessCompass를 제안합니다.

1. 제약된 진화 (일반화 게이트)

과적합을 방지하기 위해, HarnessCompass는 "일반화 게이트(generalization gate)"를 통해 모든 편집에 대해 글로벌 제약 조건을 강제합니다.

• 작업 불가지론적 내용(Task-Agnostic Content): 편집 내용이 특정 작업 인스턴스, 테스트 함수 또는 프라이빗 심볼을 언급할 경우 거부됩니다. 오직 재사용 가능한 결정 기준과 적용 가능 조건만이 허용됩니다.
• 구조적 분리(Structural Separation): 편집은 다음과 같이 분류됩니다:
  • 역량 편집(Capability Edits): 새로운 실행 가능한 기능(예: 도구, 미들웨어)은 반드시 코드로 구현되어야 합니다.
  • 가이드 편집(Guidance Edits): 행동 지침은 프롬프트나 메모리에 존재해야 하며, 실행 로직에 포함되어서는 안 됩니다.
    이를 통해 메타 에이전트가 인스턴스 특정적인 해킹이 아닌, 전이 가능한 엔지니어링 원칙을 학습하도록 보장합니다.

2. 선제적 피드백 (1인칭 증거)

진단 신호의 부재를 해결하기 위해, 본 프레임워크는 코드 에이전트 자체가 자신의 경험을 보고하는 선제적 피드백 루프를 도입합니다.

• 블라인드 보고(Blind Report): 에이전트는 판정 결과를 알지 못한 채 실패한 궤적을 분석하여, 하네스가 실행을 어떻게 방해했는지 식별합니다. 이는 사후 확신 편향을 방지합니다.
• 사후 보고(Hindsight Report): 에이전트는 판정 결과가 공개된 상태에서 실패를 진단하며, 이를 하네스, 에이전트 추론, 작업 모호성 또는 환경의 탓으로 귀인합니다.
• 그라운딩(Grounding): 이러한 보고서들은 원본 궤적과 대조 및 검증 과정을 거쳐 조정됩니다. 피드백 항목은 궤적이 해당 주장(예: 요청된 역량에 대한 구체적인 간극을 입증함)을 뒷받침하는 경우에만 유지됩니다. 이는 메타 에이전트를 위한 더 풍부하고 검증 가능한 증거 세트를 생성합니다.

3. 구성 요소별 최적화 (R3 통합)

구성 요소 간의 간섭을 제거하기 위해, 프레임워크는 최적화를 병렬 트랙으로 분리합니다.

• 병렬 트랙: 한 트랙은 구조적 구성 요소(미들웨어, 도구, 서브 에이전트)를 최적화하고, 다른 트랙은 가이드 구성 요소(프롬프트, 스킬, 메모리)를 최적화합니다.
• R3 병합: 독립적인 평가 후에, 두 트랙은 다음의 3단계 프로세스를 통해 병합됩니다:
  1. 수정(Revision): 패배한 트랙의 편집 사항을 검토하며, 독립적으로 유익하고 승리한 트랙과 충돌하지 않는 것들만 유지합니다.
  2. 재결합(Recombination): 유지된 편집 사항들을 승리한 하네스에 적용하며, 파일 수준의 충돌 시 승리한 쪽을 우선시합니다.
  3. 정제(Refinement): 중복되는 기능을 구현하는 편집 사항들을 제거합니다.

주요 결과

본 프레임워크는 GPT-5.4를 베이스 모델로 사용하여 SWE-bench Verified(500개의 실제 소프트웨어 엔지니어링 작업)에서 평가되었습니다.

• 효과성 및 효율성:

  • HarnessCompass는 단 5회의 반복(iteration) 만에 진화 세트에서 Pass@1을 54%에서 66%로 높였습니다.
  • 반면, 최신 기술 수준의 베이즈라인(AHE)은 동일한 세트에서 63%에 도달하기 위해 20회의 반복이 필요했습니다.
  • 유지된 세트(held-out set)(450개의 미보지 작업)에서 HarnessCompass는 **60.4%**를 달적으로 달성하여, AHE(54.7%)와 시드 하네스(51.6%)를 크게 앞질렀습니다.

• 일반화:

  • 진화된 하네스는 강력한 전이성을 보여주었습니다. 이를 고정(frozen)하여 추가 진화 없이 Claude-Sonnet-4.6에 적용했을 때, Pass@1이 70.0%에서 **73.8%**로 향상되어 학습된 개선 사항이 모델 불가지론적임을 입증했습니다.
  • 이득은 리포지토리 전반에 걸쳐 분포되었으며, 하네스 설계가 가장 중요한 복잡한 다단계 리포지토리(예: django, pytest, sphinx)에서 가장 유의미한 개선이 관찰되었습니다.

• 절제 연구(Ablation Study):

  • 일반화 게이트: 시드 성능을 2회 만에 54%에서 62%로 개선하여, 과적합을 방지하는 역할을 확인했습니다.
  • 선제적 피드백: 진화 세트 성능을 66%까지 추가로 높였으나, 초기에는 일반화 성능을 저하시켰고(유지된 세트 55.8%로 하락) 반복 횟수를 증가시켰는데(12회), 이는 안전장치 없이는 과적합의 위험이 있음을 나타냅니다.
  • R3 통합: 이 문제를 해결하여 유지된 세트 성능을 60.4%로 복구하고 반복 횟수를 다시 5회로 줄임으로써, 구성 요소의 분리가 일반화를 보존하면서도 이득을 복리로 쌓을 수 있음을 입증했습니다.

의의 및 주장

본 논문은 효과적인 자동 하네스 진화의 주요 장벽이 탐색 능력 그 자체가 아니라, 진화 과정에서의 규율(discipline) 부족이라고 주장합니다. 무엇을 변경할 수 있는지에 대한 제약을 부과하고, 1인칭 피드백으로 증거를 풍부하게 하며, 구성 요소를 어떻게 최적화할지 격리함으로써, HarnessCompass는 이전에는 도달할 수 없었던 수준의 일반화와 효율성을 달성합니다.

저자들은 HarnessCompass가 모델 특정적인 튜닝에서, 전이 가능한 엔지니어링 원칙을 산출하는 규율 있는 자동화 프로세스로 패러다임을 전환한다고 주장합니다. 결과는 적절한 구조적 제약이 있다면, 자동 진화가 수동 베이즈라인보다 뛰어날 뿐만 아니라 미보지 작업 및 서로 다른 베이스 모델에 대해서도 효과적으로 일반화될 수 있는 하네스를 생성할 수 있음을 시사하며, 모델의 이론적 능력과 실행 가능한 환경에서의 실질적 성능 사이의 간극을 메워줍니다.