기술 요약: 적시 하네스 진화를 통한 하네스 지능의 스케일링

1. 문제 정의

LLM 에이전트의 능력은 단순히 파운데이션 모델의 가중치에 의해서만 결정되는 것이 아니라, 메모리 관리, 계획 전략, 액션 프로토콜, 그리고 도구/기술 오케스트레이션을 포함하는 운영적 스캐폴드인 **에이전트 하네스(agent harness)**에 의해 공동으로 정의된다. 강력한 모델이라 할지라도 부적절한 하네스 하에서는 실패할 수 있는 반면, 견고한 하네스는 모델이 이를 해석하고 따를 수 있을 때에만 잠재력을 끌어낼 수 있다.

현재의 하네스 최적화 방식은 주로 사전 최적화(Ahead-of-Time, AOT) 방식에 의존한다. 이러한 시스템은 하네스를 미래의 과업 전반에 걸쳐 일반화하기 위해 경험 스트림을 통해 최적화된 지속적인 아티팩트로 취급한다. 그러나 AOT 방식은 인스턴스 의존성(instance-dependency) 문제에 직면한다. 즉, 서로 다른 과업(예: 광범위한 탐색형 과업 vs 종결형 과업 vs 심층 연구형 과업)은 근본적으로 다른 하네스 사전 지식(prior)을 요구한다. 단일한 AOT 하네스를 이질적인 요구사항에 맞춰 최적화하는 것은 매우 번거로우며, 방대한 설계 공간과 궤적 축적이 필요하며, 종종 새로운 문제의 특정 구조와 일치시키는 데 실패한다. 본 논문은 하네스 설계를 수동적이고 정적인 엔지니어링 작업에서, 훈련된 메타 에이전트가 과업 특화형 하네스를 즉석에서 합성하는 적시(Just-in-Time, JIT) 능력으로 전환해야 한다고 주장한다.

2. 방법론: JIT-Agent

저자들은 범용적인 오프더쉘프(off-the-shelf) 에이전트 LLM을 위해 과업 적응형 하네스를 합성, 수리 및 진화시키도록 설계된 컴팩트한 메타 에이전트인 JIT-Agent를 제안한다.

2.1 공식화: 4단계 모듈 프로토콜

하네스 생성을 가능하고 구조화된 형태로 만들기 위해, 본 논문은 에이전트 하네스를 고정된 4단계 모듈 프로토콜 $\Pi = (M, P, A, F)$에 의해 제어되는 구성 가능하고 기계 생성 가능한 아티팩트로 공식화한다:

1. 메모리 ($M$): 이력을 관측된 이력의 뷰($v_t$)로 압축한다.
2. 계획 ($P$): 뷰를 로컬 지침($d_t$)으로 변환한다.
3. 역량 오케스트레이션 ($F$): 지침을 바탕으로 관련 도구/기술($C_t$)을 선택하고 순서를 정한다.
4. 액션 ($A$): 조립된 컨텍스트를 소비하여 컨트롤러 상태를 업데이트하고 다음 액션($e_t$)을 출력한다.

이러한 분해를 통해 이질적인 프로그램들을 프로토콜을 준수하는 공간($H_\Pi$) 내의 비교 가능한 좌표로 변환한다. 저자들은 13개의 대표적인 현대적 스캐폴드(예: ReAct, Plan-and-Execute, Recursive agents)를 이 공통 인터페이스 하에 구현하여 시드 뱅크($B_0$) 역할을 하는 통합 코드베이스인 HarnessFactory를 도입한다.

2.2 훈련 파이프라인

JIT-Agent는 하네스 지능(적응성, 신뢰성, 진화 가능성)을 달 achieve하기 위해 3단계 파이프라인을 통해 훈련된다:

• 단계 I: 과업 조건부 커스터마이징 (Task-Conditioned Customization)

  • 목표: 모델이 과업 명세와 작은 참조 컨텍스트를 프로토콜을 준수하는 하네스로 매핑하도록 학습시킨다.
  • 방법: 동결된 더 강력한 티처(teacher) 모델이 과업에 적응된 하네스를 합성한다. 훈련 데이터에는 유효한 생성물에 대한 지도 미세 조정(SFT)과 선호도 학습이 포함된다. 선호도 목적 함수($L_{pref}$)는 효율성(지연 시간 또는 비용)을 저해하지 않으면서 과업 보상을 개선하는 하네스를 최적화하기 위해 파레토 스타일의 선호 규칙을 사용한다.

• 단계 II: 하네스 수리 (Repairing Harnesses)

  • 목표: 합성 실패로부터 복구하는 법을 학습하여 신뢰성을 확보한다.
  • 방법: 실패한 생성물(컴파일러 에러, 인터페이스 불일치, 런타임 예외)을 제한된 수리 궤적으로 변환한다. 티처 모델은 하네스를 수정하기 위한 구조화된 수정안($\Delta$)을 제안한다. 모델은 이러한 수리 전이를 모방하도록 훈련되어, 실행 피드백을 사용하여 짧은 호라이즌(최대 2라운드) 내에 프로토콜 유효 실행을 복구하는 법을 배운다.

• 단계 III: 진화적 그룹 디커플링 정책 최적화 (Evolutionary Group-Decoupled Policy Optimization, Evo-GDPO)

  • 목표: 모델이 현재 아카이브의 프런티어를 넘어서는 하네스를 제안하도록 하는 온라인 진화를 가능하게 한다.
  • 방법: 훈련 중에 모델은 일련의 후보 하네스를 제안한다. 이들은 기존의 인컴번트(incumbent, 해당 과업에 대해 현재 뱅크 내에서 가장 좋은 하네스)와 비교 평가된다. 보상 신호는 세 가지 채널로 디커플링된다:
    1. 보상 (Reward): 기본 신호; 후보는 인컴번트의 보상과 일치하거나 이를 초과해야 한다.
    2. 지연 시간 및 비용 (Latency & Cost): 보상이 유지되는 경우에만 활성화되는 효율성 신호.
  • 정책은 프런티어를 추월하면서 효율성을 유지하는 것에 보상을 주는 정규화된 집계 어드밴티지에 의해 PPO 스타일의 목적 함수를 사용하여 업데이트된다. 하네스 뱅크($B_n$)는 프런티어를 진전시키는 설계만을 보존하며 보수적으로 업데이트된다.

2.3 추론 아키텍처

JIT-Agent는 두 가지 추론 모드를 지원한다:

• 정적 추론 (Static Inference): $N$개의 하네스를 병렬로 생성하고 하나를 선택하여 실행한다. 환경 롤아웃을 늘리지 않고 후보 다양성을 극대화하는 데 유용하다.
• 스트리밍 추론 (Streaming Inference): 과업 스트림을 위해 설계되었다. 모델은 진화하는 뱅크에서 참조를 검색하고, 하네스를 생성하고, 실행하며, 피드백을 바탕으로 뱅크를 업데이트한다. 이를 통해 배포 중 모델 파라미터를 업데이트하지 않고도 경험을 과업 간에 전이할 수 있다.

3. 주요 결과

본 논문은 GLM-5.2, DeepSeek-V4-Flash, Qwen3.6, Mimo-V2.5를 백본으로 하여 딥 리서치, 일상 업무, 계획 및 워크스페이스 과업을 다루는 9개의 벤치마크에서 JIT-Agent를 평가한다.

• 성능 향상: 기본 스캐폴드를 JIT 생성 하네스로 교체하면 일관된 성능 향상이 나타난다.

  • GLM-5.2: 9개 벤치마크에서 평균 +7.7 포인트 개선. 주목할 만한 성과는 DeepPlanning-Travel에서 +20.2, OdysseyBench에서 +4.3이다.
  • DeepSeek-V4-Flash: 평균 +8.8 포인트 개선. DeepSearchQA에서 GPT-5.6을 능가함(+9.1).
  • 일반화: JIT-Agent는 테스트된 모든 모델 패밀리(DeepSeek, Qwen, Mimo)와 변체(Flash/Pro)에서 성능을 개선하며, 이는 모델 가중기 간에 능력이 전이됨을 나타낸다.

• 고정 하네스와의 경쟁력:

  • JIT 생성 하네스는 OpenCode 및 Claude Code와 같은 성숙한 런타임과 성능 면에서 경쟁 가능하다.
  • DeepSeek-V4-Flash 기준으로, JIT-Agent는 가장 강력한 고정 하네스인 NanoBot보다 DeepSearchQA에서 +4.7 포인트, xBench-DS에서 +4.0 포인트 더 높은 성능을 보인다.

• 비용 효율성:

  • JIT-Agent는 모든 통제된 설정에서 가장 낮은 토큰 소비 및 API 비용을 달성한다.
  • 가장 저렴한 고정 하네스와 비교했을 때, 성능을 개선하면서도 케이스당 비용을 14.9~54.1%(평균 36.0%) 절감했다. 예를 들어, DeepSeek-V4-Flash xBench-DS에서 토큰 사용량은 527K에서 212K로 감소한 반면 성능은 78.0에서 82.0으로 상승했다.
  • 파레토 프런티어 분석은 JIT-Agent가 (높은 성능, 낮은 비용)의 상단 좌측으로 작동 지점을 이동시킴을 보여주며, 이는 이득이 더 긴 궤적 때문이 아니라 더 나은 오케스트레이션 덕분임을 입증한다.

• 테스트 타임 진화:

  • 스트리밍 JIT(과업 스트림에 따라 하네스 뱅크를 업데이트하는 방식)는 정적 JIT(독립적 생성)보다 누적 정확도 측면에서 일관되게 우수한 성능을 보였으며, 이는 실행 피드백으로부터 학습하는 것의 가치를 입증한다.

4. 의의 및 주장

본 논문은 하네스 지능을 모델 스케일링과는 별개인, 훈련 가능하고 전이 가능한 새로운 차원의 에이전트 능력으로 확립한다고 주장한다.

• 패러다임 전환: 본 연구는 하네스 엔지니어링을 "사전 최적화"(정적인 아티팩트를 최적화하는 것)에서 "적시(과업 특화형 스캐폴드를 즉석에서 합성하는 것)로 이동시킨다.
• 모델-으로서-의-하네스 (Model-as-a-Harness): 훈련된 메타 에이전트가 고정된 하네스를 가진 더 강력한 모델을 능가하거나 대등하게 만들 수 있는 운영적 스캐폴드를 생성할 수 있음을 보여준다.
• 확장성: 하네스를 구성 가능한 프로토콜로 공식화하고 이를 진화시키는 생성기를 훈련함으로써, 본 논문은 모델 파라미터 스케일링뿐만 아니라 실행 환경 자체의 최적화를 통해 에이전트 능력을 확장하는 경로를 제시한다.
• 향-후 방향: 저자들은 이를 **모델-하네스 공동 설계(Model-Harness Co-Design)**를 향한 단계로 보며, 궁극적으로 파운데이션 모델이 스스로의 실행 시스템을 구축, 수정 및 진화시키는 능력을 내재화할 수 있음을 시사한다.

결론적으로, 하네스 지능은 단순한 구현 세부 사항이 아니라 에이전트 성능의 1차 결정 요인이며, 값비싼 백본 스케일링 없이도 상당한 능력을 회복할 수 있는 요소이다.