💬 NLP

HarnessForge: Joint Harness and Policy Evolution for Adaptive Agent Systems

HarnessForge는 결함 유도형 맞춤화(fault-guided tailoring)와 하네스 조건부 정렬(harness-conditioned alignment)을 통해 LLM 에이전트의 외부 실행 하네스와 내부 추론 정책을 공동으로 진화시키는 메타 적응형 프레임워크로, 다양한 작업 체제 전반에 걸쳐 실행 가능 호환성을 최적화함으로써 고립된 적응 방식들을 유의미하게 능가한다.

원저자: Mingju Chen, Can Lv, Guibin Zhang, Heng Chang, Shiji Zhou

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingju Chen, Can Lv, Guibin Zhang, Heng Chang, Shiji Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 HarnessForge 논문을 쉬운 언어와 창의적인 비유를 사용하여 번역한 내용입니다.

거대한 문제: "경직된 로봇"

당신이 다양한 일을 수행하기 위해 똑똑하지만 경험이 부족한 로봇 조수(LLM 에이전트)를 고용했다고 상상을 해보세요.

업무 A: 항공권을 예약해야 합니다. 이 로봇에게는 엄격한 체크리스트와 달력이 필요합니다.
업무 B: 추리 소설을 써야 합니다. 이 로봇에게는 창의적인 흐름과 줄거리 요점을 기억하는 능력이 필요합니다.
업무 C: 시뮬레이션 속에서 새는 파이프를 고쳐야 합니다. 이 로봇은 정확히 어떤 도구를 어떤 순서로 집어야 하는지 알아야 합니다.

문제는 대부분의 로봇 조수가 고정된 지침서(이를 Harness라고 부릅니다)를 가지고 온다는 점입니다. 이 지침서는 로봇이 어떻게 생각하고 행동해야 하는지를 알려줍니다.

만약 지침서가 너무 경직되어 있다면, 로봇은 창의적인 업무에서 실패합니다.
만약 지침서가 너무 느슨하다면, 로봇은 복잡하고 단계적인 업무를 수행할 때 혼란에 빠집니다.

전통적으로 연구자들은 이를 두 가지 별개의 방식으로 해결하려고 노력했습니다:

지침서 다시 쓰기: 로봇은 그대로 두고, 새로운 업무마다 더 나은 지침서를 쓰려고 노력합니다. (이는 느리고 종종 목표를 놓칩니다.)
로봇 훈련시키기: 지침서는 그대로 두고, 시행착오를 통해 로봇이 더 똑똑해지도록 "가르칩니다". (이는 비용이 많이 들며, 나쁜 지침서 때문에 로봇이 여전히 혼란을 겪을 수 있습니다.)

HarnessForge는 이렇게 말합니다: "왜 하나만 선택하나요? 둘 다 함께 진화시키면 됩니다."

해결책: "함께 추는 춤"

저자들은 HarnessForge라는 시스템을 제안합니다. 에이전트 시스템을 하나의 **댄스 페어(Dance Pair)**라고 생각해 보세요:

Harness (안무가): 이것은 외부 구조입니다. 춤의 단계, 음악, 규칙, 그리고 무용수가 사용할 수 있는 도구를 결정합니다.
Policy (무용수): 이것은 로봇의 두뇌입니다. 안무를 따라 하기 위해 실제로 발을 어떻게 움직일지 결정합니다.

과거에는 사람들은 안무가를 고치거나 무용수를 훈련시키는 일을 따로 시도했습니다. 하지만 HarnessForge는 이들이 결합되어 있음을 깨달았습니다. 훌륭한 안무도 무용수가 그 동작을 수행할 수 없다면 무용지물입니다. 재능 있는 무용수도 안무가 터무니없다면 소용이 없습니다.

HarnessForge는 루프(loop)를 통해 이 둘을 함께 진화시킵니다:

1단계: "결함 진단" (발을 헛디디는 이유 찾기)

시스템은 이 댄스 페어를 일련의 과업들에 투입합니다. 이들이 실수할 때(실패할 때), "메타 에이전트"(매우 똑똑한 심판)가 영상을 검토합니다.

무용수가 피곤해서 발을 헛디뎠는가? (Policy 문제)
안무가가 물리적으로 불가능한 동작을 지시해서 무용수가 넘어졌는가? (Harness 문제)
음악이 적절하지 않은 타이밍에 멈춰서 넘어졌는가? (Memory/Structure 문제)

2단계: Harness 맞춤 제작 (안무 다시 쓰기)

진단 결과에 따라, 시스템은 자동으로 Harness를 다시 작성합니다.

만약 로봇이 계획을 계속 잊어버린다면, Harness는 "포스트잇" 시스템(Memory)을 추가하도록 업데이트됩니다.
만약 로봇이 계속 잘못된 도구를 집는다면, Harness는 사용 전 도구를 확인하는 "안전 가드"를 추가하도록 업데이트됩니다.
비유: 이는 마치 축구팀이 경기에서 패배하는 것을 보고, 특정 약점을 고치기 위해 즉시 포메이션이나 플레이북을 변경하는 코치의 모습과 같습니다.

3단계: Policy 정렬 (무용수 훈련시키기)

새로운 Harness(안무)가 준비되면, 시스템은 단순히 기존의 로봇을 그대로 투입하지 않습니다. 이 새로운 규칙에 맞춰 **로봇을 미세 조정(Fine-tuning)**합니다.

시스템은 이전 라운드의 성공적인 시도들을 가져와 로봇에게 가르칩니다: "자, Harness가 '도구를 확인하라'고 말하면, 너는 이 특정 동작을 해야 해."
비유: 이는 마치 무용수에게 특정 루틴을 가르쳐서, 그들의 근육 기억이 새로운 스텝과 완벽하게 일치하도록 만드는 무용 강사의 수업과 같습니다.

4단계: "적자생존"

시스템은 가장 좋은 페어(Harness + Robot)를 남기고, 여전히 실패하는 것들은 버립니다. 이 과정을 여러 라운드에 걸쳐 반복합니다. 매 라운드마다 안무는 더 똑똑해지고, 무용수는 그 특정 안무를 따르는 데 더 능숙해집니다.

왜 이것이 효과적인가 (결과)

이 논문은 퍼즐 해결을 위한 도구 사용, 웹 검색, 영화 데이터를 얻기 위한 API 호출 등 다섯 가지 다른 "댄스 플로어"(벤치마크)에서 이를 테스트했습니다.

연구 결과:

함께할 때 더 좋다: Harness와 Policy를 모두 함께 진화시킨 시스템이 하나만 바꾼 시스템보다 훨씬 더 뛰어난 성능을 보였습니다.
효율성: 이 방식은 작동하기 위해 수백만 번의 추가 시도(rollout)를 필요로 하지 않습니다. 시스템이 실패의 구조로부터 학습하기 때문에 더 빠르게 배웁니다.
호환성이 핵심이다: "완벽한" 로봇은 진공 상태에서 존재하지 않는다는 것이 가장 큰 교훈입니다. 로봇은 오직 자신이 작동하는 시스템만큼만 훌륭할 수 있습니다. 로봇과 그 시스템을 함께 진화시킴으로써, 그들은 완벽하게 호환됩니다.

요약 비유

당신이 궁극의 **맥가이버 칼(Swiss Army Knife)**을 만들려고 한다고 상상해 보세요.

기존 방식: 손잡이(Harness)를 완벽하게 만들거나, 칼날(Policy)을 더 날카롭게 만들거나 둘 중 하나를 시도하지만, 두 가지를 동시에 바꾸지는 않습니다.
HarnessForge 방식: 당신은 만약 왼손잡이 목수를 위해 인체공학적인 손잡이를 만든다면, 반드시 칼날의 각도도 조정해야 한다는 것을 깨닫습니다. 당신은 손잡이와 칼날이 함께 단련되고, 테스트되고, 서로에게 완벽하게 맞을 때까지 루프를 돌며 정교하게 다듬어지는 작업실을 구축합니다.

그 결과, 특정 작업에 완벽하게 적응된 도구가 탄생합니다.

기술 요약: HarnessForge

문제 정의

대규모 언어 모델(LLM) 에이전트는 이질적인 작업 체제(예: 다단계 도구 사용, 검색 중심 추론, 웹 상호작용)에 점점 더 많이 배치되고 있으며, 이는 구별되는 실행 패러다임을 요구합니다. 기존의 적응 전략은 외부 실행 구조(harness) 또는 내부 추론 행동(policy) 중 하나만을 고립시켜 최적화하기 때문에 "호환성 격차(compatibility gap)"를 겪는 경우가 많습니다.

**탐색 기반 방식(Search-style methods)**은 외부 워크플로우, 도구 사용 절차, 메모리 관리를 최적화하지만, 모델 측 실행기와의 호환성을 명시적으로 고려하지 않고 암묵적인 상태로 남겨두는 경우가 많습니다.
**학습 기반 방식(Training-style methods)**은 지도 학습이나 강화 학습을 통해 모델 정책을 적응시키지만, 일반적으로 고정되고 외부에서 지정된 상호작용 루프를 가정합니다.

이러한 컴포넌트 단위의 관점은 시스템 수준의 메타 적응에는 불충분합니다. 더 표현력이 풍부한 harness가 있더라도 reasoner가 그 프로토콜을 실행할 수 없다면 실패할 수 있으며, 더 강력한 policy가 있더라도 부적절한 상태를 노출하는 harness에 의해 제약받을 수 있습니다. 본 논문은 효과적인 적응을 위해 에이전트 시스템을 결합된 harness–policy 쌍으로 취급하고, 실행 가능한 호환성을 보장하기 위해 이들의 공동 진화를 최적화해야 한다고 주장합니다.

방법론: HarnessForge

HarnessForge는 LLM 에이전트 시스템 $G$ 를 편집 가능한 실행 harness인 $H$ 와 적응된 reasoner인 $R_\delta$ (베이스 모델 $R_{\theta_0}$ 와 경량 어댑터 $\delta$ 의 결합)의 쌍으로 정식화하는 메타 적응 프레임워크입니다. 이 프레임워크는 반복적인 harness–policy 공동 진화(co-evolution) 과정을 통해 작동합니다.

1. 시스템 정식화

harness $H$ 는 세 가지 실행 계층 컴포넌트로 분해됩니다:

계획 (Planning, $P$ ): 작업 분해, 재계획 및 종료.
행동 (Action, $A$ ): 도구 인터페이스, 역할 할당 및 오케스트레이션 규칙.
메모리 (Memory, $M$ ): 기록, 검색, 요약되어 미래의 결정에 노출되는 내용.

reasoner $R_\delta$ 는 $H$ 의 제약 조건 내에서 실행됩니다. 목표는 작업 성능, 토큰 비용, 지연 시간을 기준으로 하는 적합도 지표 $J$ 를 최대화하도록 $H$ 와 $\delta$ 를 공동으로 진화시키는 것입니다.

2. 공동 진화 워크플로우

각 진화 라운드 $r$ 은 서로 보완적인 두 프로세스를 교대로 수행합니다:

A. 결함 유도형 Harness 테일러링 (Fault-Guided Harness Tailoring)

무작위 탐색 대신, HarnessForge는 메타 에이전트를 사용하여 harness 구조를 진단하고 정교화합니다:

결함 귀속 (Fault Attribution): 시스템은 일련의 작업들에 대해 현재의 harness–policy 쌍을 평가합니다. 메타 에이전트는 롤아웃 트레이스(rollout traces)와 실행 통계를 분석하여 실패의 원인이 계획(Planning), 행동(Action), 또는 메모리(Memory) 컴포넌트 중 어디에 있는지 귀속시킵니다.
아카이브 유도형 개선 (Archive-Guided Improvement): harness 설계와 그 평가 벡터를 담은 역사적 아카이브 $Z$ 가 유지됩니다. 메타 에이전트는 현재의 결함과 관련된 파레토 최적(Pareto-optimal) 사례를 검색하고 개선 보고서를 생성합니다.
정제 및 필터링 (Refine-and-Filter): 보고서를 바탕으로 메타 에이전트는 수정된 harness 후보들을 생성합니다( $P, A, M$ 만 편집). 이 후보들은 다음 단계를 위해 가장 유망한 생존자를 남기기 위한 단계적이고 예산이 책정된 파레토 필터링 과정(half-selection)을 거칩니다.

B. Harness 조건부 정책 정렬 (Harness-Conditioned Policy Alignment)

생존한 harness 세트가 선택되면, 프레임워크는 추론 정책을 이에 정렬합니다:

부모 초기화 (Parent Initialization): 각 생존 harness에 대해, 이전의 어댑터를 폴딩(folding)하여 부모 계보로부터 정책을 초기화합니다.
경로 큐레이션 (Trajectory Curation): 프레임워크는 harness 필터링 단계에서 생성된 성공적인 롤아웃 트레이스를 재사용합니다. 별도의 데이터 수집 단계가 필요하지 않습니다.
어댑터 학습 (Adapter Training): 큐레이션된 성공적인 경로를 통해 새로운 harness 전용 LoRA 어댑터를 지도 미세 조정(SFT) 방식으로 학습시킵니다. 입력에는 작업 지침, 활성화된 harness 인터페이스, 누적된 관찰값, 메모리 상태가 포함되어, 정책이 진화된 harness 하에서 특이적으로 실행하는 법을 배우도록 합니다.

주요 기여

적응의 재정의: 본 논문은 최적화 단위를 고립된 컴포넌트에서 harness–policy 쌍으로 전환하여, 외부 구조와 내부 추론 사이의 호환성 격차 문제를 명시적으로 해결합니다.
HarnessForge 프레임워크: 결함 유도형 harness 테일러링과 harness 조건부 정책 정렬을 조율하는 메타 적응 공동 진화 메커니즘을 제공합니다. 이를 통해 harness의 구조적 개선이 정책의 상응하는 적응과 일치하도록 보장합니다.
실증적 검증: 다섯 가지 벤치마크(ToolHop, SearchQA, RestBench-TMDB, API-Bank)와 두 가지 백본 모델(Qwen3-4B, Qwen3-8B)에 대한 광범-한 평가를 수행했습니다.

실험 결과

성능 향상: HarnessForge는 탐색 기반 베이스라인(예: AFlow, AgentSquare, MaAS)과 학습 기반 베이스라인(예: SFT, GRPO, RLOO) 모두를 일관되게 능가합니다.
- 모든 지표에서 가장 강력한 베이스라인 대비 평균 **3.56%**의 향상을 달एको.
- 특정 벤치마크(예: Qwen3-4B를 사용한 TMDB)에서는 최대 **12.0%**의 향상을 달성했습니다.
절제 연구 (Ablation Studies): harness 테일러링이나 정책 정렬 중 하나라도 제거하면 성능이 일관되게 저하됩니다. 이 격차는 진화 라운드가 진행됨에 따라 넓어지며, 이는 성능 향상이 독립적인 최적화가 아닌 쌍의 공동 진화에서 비롯됨을 확인시켜 줍니다.
효율성: HarnessForge는 유리한 **롤아웃–성능 트레이드오프(rollout–performance tradeoffs)**를 보여줍니다. 고정된 인터페이스 하에서 행동을 탐색하기 위해 방대한 롤아웃 예산이 필요한 정책 전용 RL 방식과 달리, HarnessForge는 롤아웃 증거를 재사용하여 harness를 개선한 후 정책을 정렬함으로써 훨씬 적은 롤아웃으로도 강력한 결과를 달성합니다 (예: 3라운드에서 RL 기반 베이스라인의 45.6K 대비 SFT의 경우 12K 롤아웃).
호환성: 진화된 harness와 정책의 교차 조합 분석 결과, 매칭된 쌍이 불일치하는 쌍보다 성능이 현저히 높게 나타났습니다. 이는 프레임워크가 단순히 더 강력한 컴포넌트를 만드는 것이 아니라 **쌍 특유의 호환성 이득(pair-specific compatibility gains)**을 유도함을 입증합니다.

의의 및 주장

본 논문은 harness와 추론 정책 사이의 **실행 가능한 호환성(executable compatibility)**이 효과적인 에이전트 시스템 적응의 핵심 요소라고 주장합니다. 에이전트를 결합된 시스템으로 취급하고 인터페이스와 실행기를 함께 진화시킴으로써, HarnessForge는 다양한 작업 체제에 대해 구조나 정책을 개별적으로 최적화하는 방법보다 더 효과적으로 메타 적응할 수 있게 합니다.

저자들은 현재 프레임워크가 결합 관계가 가장 뚜렷하게 나타나는 자원 제한적 백본(Qwen3-4B/8B)에서 평가되었음을 언급하며, 프런티어 규모의 모델에서도 이러한 이득의 크기가 어떠할지는 향후 연구 과제로 남겨두었습니다. 또한, 현재 구현은 실행 가능성과 감사 가능성을 보장하기 위해 harness 진화에 구조화된 편집 연산자를 사용하지만, 향후 작업에서는 더 광범위한 코드 수준의 재작성을 탐구할 수 있습니다.