기술 요약: Harness-R1

문제 정의

동적인 환경에 배포된 대규모 언어 모델(LLM) 에이전트는 성공적인 경험과 체계적인 실패(예: 도구 오용, 상태 손실, 프로토콜 위반)가 혼재된 상호작용 궤적을 축적합니다. 에이전트 개선을 위한 현재의 접근 방식은 주로 미세 조정(fine-tuning)이나 강화 학습(RL)을 통해 모델의 가중치를 업데이트하는 데 집중되어 있지만, "에이전트 하네스(agent harness)"—컨텍스트를 구성하고, 도구를 중재하며, 행동을 검증하고, 복구를 관리하는 실행 가능한 런타임 코드—는 일반적으로 정적인 상태로 남아 있습니다.

하네스를 수정하는 것은 매우 중요합니다. 동일한 모델 가중치라도 하네스 구성에 따라 판이하게 다른 능력을 보여줄 수 있기 때문입니다. 그러나 직접적인 하네스 수정은 신뢰하기 어렵습니다. 고정된 규칙(예: Self-Refine)은 성능을 저하시키는 경우가 많으며, 프런티어 모델에게 하네스 수정을 프롬프트하는 것은 이 모델들이 검증된 작업 성공보다는 텍스트의 그럴듯함(plausibility)을 최적화하기 때문에 불안정한 이득을 초래합니다. 핵심 과제는 관찰된 에이전트의 실패를 바탕으로 기존의 실행 가능한 런타임을 편집하는 방법을 개발하는 것이며, 이때 편집은 이론적인 추론이 아닌 실제 성능 향상에 의해 검증되어야 합니다.

방법론: Harness-R1

Harness-R1은 타겟 에이전트는 고정시킨 채, 전용 "하네스 엔지니어(harness engineer)" 모델을 위한 온라인 강화 학습(RL) 문제로 하네스 편집을 다루는 학습 패러다임을 도입합니다. 이 시스템은 실패-편집-재실행(failure-to-edit-to-rerun) 루프로 작동합니다.

1. 문제 정식화

• 고정된 타겟 (Frozen Target): 타겟 에이전트 $A$(모델 + 기본 런타임)는 고정된 상태를 유지합니다.
• 실패 패킷 (Failure Packets): 작업 배치 $B$를 실행하고, 결정론적 추출기(deterministic extractor)가 실패한 에피소드를 작업 제약 조건, 행동-관찰 발췌문, 결과를 포함하는 "실패 패킷"($s_B$)으로 컴파일합니다.
• 엔지니어 ($H_\theta$): 전용 9B 모델이 편집기 역할을 합니다. 이 모델은 실패 패킷을 읽고 실행 가능한 오버레이(patch) $P$를 생성합니다.
• 실행 가능한 훅 (Executable Hooks): 패치는 모델 가중치를 변경하지 않고 다음 네 가지 특정 시점에서 에이전트의 라이프사이클을 감쌉니다:
  1. 에피소드 초기화 (Episode Initialization): 컨텍스트와 상태를 설정합니다.
  2. 의사결정 전 (Pre-Decision): 가이드/제약 조건을 추가하여 컨텍스트를 보강합니다.
  3. 행동 전 (Pre-Action): 제안된 행동을 검증, 재작성 또는 거부합니다.
  4. 피드백 후 (Post-Feedback): 관찰 내용을 검사하고 복구를 트리거합니다.
• 보상 신호 (Reward Signal): 패치된 타겟은 동일한 작업 배치를 다시 실행합니다. 보상은 패치 전후의 실행 간 성능 차이($\Delta_B$)입니다. 이는 실행 후에만 관찰 가능하고 미분 불가능한, 트랜스덕티브(transductive)한 동일 배치 목적 함수를 생성합니다.

2. 학습 파이프라인

Harness-R1은 두 단계의 학습 과정을 채택합니다:

• 콜드 스타트 지도 학습 기반 미세 조정 (Cold-Start SFT): 강력한 교사 모델이 실패 패킷으로부터 편집 응답을 제안합니다. 이들은 고정된 타겟에 대해 검증되며, 실행 가능하고 퇴보적이지 않은 패치만이 엔지니어의 정책을 초기화하기 위한 데이터셋을 형성하기 위해 유지됩니다.
• 결과 기반 그룹 상대 정책 최적화 (Outcome-Grounded GRPO):
  • 엔지니어는 실패 패킷에 대해 $K$개의 후보 패치를 샘플링합니다.
  • 각 후보는 검증 및 설치되며, 고정된 타겟은 작업 배치를 재실행합니다.
  • 보상은 $K$개의 후보 그룹 내에서 정규화되어 어드밴티지(advantage)를 계산하는 데 사용됩니다.
  • 엔지니어의 파라미터는 토큰 평균 클리핑 서로게이트 목적 함수를 최대화하도록 업데이트되어, 패치의 *실현된 효용(realized utility)*을 최적화합니다.

주요 기여

1. 정식화: 본 논문은 실패 조건부의 라이프사이클 전반에 걸친 하네스 편집을 모델 가중치 업데이트와 구별되는, 전용 엔지니어를 위한 온라인 RL 문제로 정식화합니다.
2. Harness-R1 프레임워크: 콜드 스타트 SFT와 결과 기반 GRPO를 결합한 시스템을 제안합니다. 프로그램 탐색이나 후보 선택을 위해 에디터를 사용하는 기존 연구와 달리, Harness-R1은 실행 결과에 따라 에디터의 정책을 직접 업데이트합니다.
3. 공진화 (Co-evolution): 이 방법은 하네스 엔지니어와 타겟 에이전트가 공진화할 수 있음을 보여줍니다. 바닐라 타겟에 대해 학습된 엔지니어는 이를 개선하며, 재학습된 엔지니어는 이미 직접적인 미세 조정을 거친 타겟 또한 더욱 개선할 수 있습니다.

실험 결과

이 방법은 세 가지 상호작용 벤치마크인 WebShop(웹 내비게이션), ALFWorld(체화된 텍스트 기반 작업), DBBench(데이터베이스 쿼리)에서 평가되었습니다.

• 성능 향상 (바닐라 타겟): 고정된 Qwen3.5-9B 에이전트에 대해, Harness-R1은 평균 성공률을 **44.3%에서 53.6%**로 증가시켰습니다(+9.3 퍼센트 포인트). 이는 프롬프트 기반 전략(예: 성능을 저하시킨 Self-Refine) 및 에디터로 프롬프트된 프런티어 모델(예: 48.8%를 기록한 GLM-5.2)보다 우수한 성능을 보였습니다.
• 성능 향상 (미세 조정된 타겟): 타겟 에이전트의 직접적인 미세 조정(베이스라인을 59.2%로 상승시킴) 이후, 타겟 특화 Harness-R1 엔지니어는 성공률을 **64.2%**로 더욱 높였습니다(+5.0 포인트). 이는 하네스 최적화가 모델 가중치가 업데이트된 후에도 여전히 효과적임을 입증합니다.
• 일반화:
  • 교차 모델 (Cross-Model): 학습된 편집 정책은 Llama, Gemma, Qwen 제품군의 1B에서 70B 파라미터에 이르는 20개의 미학습 타겟 모델로 전이되었으며, 타겟별 재튜닝 없이도 모든 타겟에서 양(+)의 이득을 얻었습니다.
  • 교차 작업 (Cross-Task): 희소한 실패 증거(10개의 실패)를 사용하여, 엔지니어는 홀드아웃(held-out) 작업의 성능을 +8.9 포인트 개선하는 패치를 생성했으며, 이는 부정적이거나 불안정한 결과를 보인 대규모 프런티어 모델들을 크게 앞질렀습니다.
• 어블레이션 (Ablation): 특정 라이프사이클 훅(예: 행동 전 중재 또는 피드백 후 복구)을 제거하면 성능이 감소하여, 이득이 에이전트의 라이프사이클 전반에 분포되어 있으며 특정 환경에 의존함을 확인했습니다.

의의 및 주장

본 논문은 하네스 구축이 학습 가능한 능력이며, 전통적인 가중치 업데이트를 보완한다고 주장합니다. 주요 의의는 최적화 대상을 에이전트의 내부 의사결정(가중치)에서 외부 런타임 메커니즘(하네스)으로 전환하는 데 있습니다.

• 그럴듯함보다 신뢰성: 저자들은 대규모 모델에게 코드를 편집하도록 프롬프트하는 것이 "올바르게 보이는 것"을 최적화하기 때문에 신뢰할 수 없다고 주장합니다. Harness-R1은 실현된 결과로부터 학습하여 편집이 진정으로 유익하도록 보장합니다.
• 적응성: 균일한 규칙을 적용하는 고정된 전략(예: Self-Refine)과 달리, Harness-R1은 특정 실패 모드에 따라 조건화된 편집을 생성하여 타겟 에이전트의 고유한 약점에 적응합니다.
• 공진화: 결과는 엔지니어와 타겟이 공진화할 수 있는 경로를 제시합니다. 이는 단순히 모델을 재학습하는 것이 아니라, 배포 후 모델을 둘러싼 런타임 환경을 진화시킴으로써 지속적으로 개선되는 에이전트를 향한 견고한 경로를 제공합니다.