기술 요약: HarnessBridge

문제 정의

대규모 언어 모델(LLM)은 복잡하고 긴 호흡의 작업(예: 자율 소프트웨어 엔지니어링, 웹 탐색)을 수행하는 에이전트로 점점 더 많이 배치되고 있습니다. 기존의 연구가 더 강력한 생성 모델과 풍부한 환경을 구축하는 데 집중해 온 반면, 에이전트와 환경 사이의 상호작용을 매개하는 핵심적인 세 번째 축인 **하네스(harness)**는 여전히 병목 구간으로 남아 있습니다.

기존의 하네스는 주로 관찰 내용을 포맷팅하고, 컨텍스트를 관리하며, 행동을 검증하는 수동으로 설계된(manually engineered) 스캐폴드입니다. 상호작용의 호흡이 길어짐에 따라, 이러한 정적인 시스템은 두 가지 주요 한계에 직면합니다:

1. 환경에서 에이전트로 (관찰): 궤적(trajectory)이 중복된 컨텍스트, 오래된 오류, 가치 낮은 세부 정보를 축적하여 의사결정에 결정적인 상태를 가리고 토큰 비용을 팽창시킵니다.
2. 에이전트에서 환경으로 (행동): 모델이 효과적이지 않은 행동을 반복하거나, 무효화된 가설을 고수하거나, 잘못된 형식의 명령을 내림으로써 귀중한 환경 단계를 소모하면서도 작업을 진전시키지 못할 수 있습니다.

Meta-Harness와 같은 기존의 자동화된 접근 방식은 외부 스캐폴드나 프롬프트를 최적화할 뿐, 무엇이 생성기(generator)로 흐르고 어떤 행동이 환경에 전달될지를 동적으로 결정하는 **런타임 상호작용 정책(runtime interaction policy)**을 학습하지는 못합니다. 저자들은 다음과 같이 질문합니다: 하네스를 엔드 투 엔드(end-to-end)로 학습 가능한 생성 문제로 공식화할 수 있는가?

방법론: HarnessBridge

저자들은 에이전트-환경 인터페이스를 **양방향 투영 정책($\pi_h$)**으로 매개변수화하는 경량화된 학습 가능 하네스 컨트롤러인 HarnessBridge를 제안합니다. 생성기 정책($\pi_g$)은 동결된 상태로 유지되며, 최적화는 오직 하네스만을 대상으로 수행됩니다.

1. 양방향 투영 (Bidirectional Projections)

HarnessBridge는 두 가지 별개의 매핑을 학습합니다:

• 관찰 투영 ($P_{obs}$): 원시 상호작용 이력($H_t$)을 생성기가 볼 수 있는 상태($\tilde{H}_t$)로 매핑합니다.

  • 메커니즘: 각 이력 단위 $h_i$를 처리하고 $z_i \in \{Pass, Compress, Drop\}$라는 결정을 할당합니다.
    • Pass (통과): 단위를 변경 없이 그대로 유지합니다.
    • Compress (압축): 의미를 보존하면서 단위를 응축합니다 (예: 장황한 로그 요약).
    • Drop (삭제): 관련 없거나, 오래되었거나, 대체된 콘텐츠를 제거합니다.
  • 활성 상태 인덱스 (Active-State Index): 이력 앞에 배치되는 학습된 구성 요소($U_t$)로, 해결되지 않은 오류, 열려 있는 제약 조건, 확립된 사실 및 대기 중인 목표를 명시적으로 추적하여, 긴 궤적으로부터 재구성하지 않고도 결정적인 상태가 보이도록 보장합니다.

• 행동 투영 ($P_{act}$): 제안된 생성기 행동($a_t$)을 환경에 전달될 행동($a'_t$)으로 매핑합니다.

  • 메커니즘: $d_t \in \{Pass, Reject\}$라는 결정을 예측합니다.
    • Pass (통과): 행동을 실행합니다 ($a'_t = a_t$).
    • Reject (거부): 행동을 차단하고 ($a'_t = \emptyset$), 궤적에 근거한 피드백($\rho_t$)을 생성기에 반환합니다.
  • 피드백 구조: 거부 시에는 반드시 우려 사항(왜 해당 행동이 비생산적인지), 근거(거부를 뒷받침하는 이력 내 특정 인용구), 그리고 제안(어떻게 개선할 것인지)을 포함해야 합니다. 이는 정보가 있는 탐색을 보존하면서도 생산적이지 않은 루프를 방지합니다.

2. 통합 지시어 튜닝 (Unified Instruction Tuning)

별도의 모듈을 훈련하는 대신, HarnessBridge는 공유 정책($P_\theta$)을 사용하여 두 투영을 하나의 조건부 생성 문제로 통합합니다.

• 학습 데이터: 해결된 궤적(예: SWE-bench Verified)으로부터 구축되었습니다.
• 감독 (Supervision): 모델은 작업 명세와 현재 궤적을 바탕으로 적절한 투영(압축된 상태 또는 피드백을 포함한 통과/거부 결정)을 생성하도록 지시어 튜닝을 통해 훈련됩니다.
• 데이터 큐레이션: 고품질의 감독을 위해 LLM 판사(judge)를 사용하여 다음 사항을 필터링합니다:
  • 관찰 투영이 결정적인 증거와 스키마 일관성을 보존하는지 여부.
  • 행동 투영이 궤적에 근거하는지(거부는 반드시 특정 이력을 인용해야 함)와 효율성 향상으로 이어지는지 여부.
• 모델: 경량 LLM(Qwen3.5-0.8B)이 컨트롤러 역할을 수행하도록 파인튜닝되며, 생성기(예: Qwen3.5-35B, GPT-5.4)는 동결된 상태로 유지됩니다.

주요 기여

1. 엔드 투 엔드 학습 가능 하네스: 수동으로 설계된 상호작용 로직을 에이전트-환경 인터페이스를 매개하는 학습 가능한 하네스 정책으로 대체하는 최초의 프레임워크를 도입했습니다.
2. 통합 지시어 튜닝: 에이전트와 환경 사이의 양방향 매핑(관찰 압축 및 행동 검증)을 학습하기 위해 통합 지시어 튜닝을 적용한 첫 사례를 보여줍니다.
3. HarnessBridge 시스템: 토큰 사용량과 궤적 길이를 크게 줄이면서도 경쟁력 있는 작업 성능을 달-성하는 작동하는 시스템을 제시합니다.

실험 결과

저자들은 다양한 오픈 소스 및 상용 모델을 대상으로 Terminal-Bench 2.0 및 SWE-bench Verified에서 HarnessBridge를 평가했습니다.

• 성능 대비 효율성: HarnessBridge는 강력한 특화 하네스(예: Terminus 2, OpenHands, Meta-Harness)와 대등하거나 이를 능가하는 성능을 보이면서도 토큰 사용량을 실질적으로 줄였습니다.
  • Terminal-Bench 2.0 (Qwen3.5-35B) 기준: Terminus 2(30.3%)보다 높은 33.7%의 성공률을 달성함과 동시에 46.8%의 토큰 사용량 감소를 기록했습니다.
  • SWE-bench Verified 기준: Terminus 2(61.6%)와 유사한 60.2%의 성공률을 유지하면서 23.1%의 토큰 감소를 달성했습니다.
• 일반화 능력: 더 작은 생성기(Qwen3.5-35B)의 궤적으로부터 학습된 모델은 더 큰 상용 모델(예: GPT-5.4, Claude-Opus-4.7)에 효과적으로 일반화되었으며, 특정 모델에서는 성공률을 높이고 토큰 비용을 최대 **90%**까지 절감했습니다.
• 절제 연구 (Ablation Studies): 관찰 또는 행동 투영 모듈 중 하나라도 제거하면 성공률이 저하되었으며, 이는 두 구성 요소 모두 최적의 상호작용을 위해 필수적임을 확인시켜 줍니다.
• 사례 연구: 분석 결과, HarnessBridge는 결정적인 테스트 출력과 에러 메시지를 보존하면서 중복된 추론과 탐색 턴을 효과적으로 압축했습니다. 또한, 에이전트가 코드를 테스트하지 않고 반복적으로 확인만 하는 "중복 검증 루프"를 성공적으로 차단하여 실행 가능한 단계로 유도했습니다.

의의 및 주장

본 논문은 HarnessBridge가 에이전트-환경 인터페이스를 정적인 인프라가 아닌 학습 가능한 정책으로 재구성한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 확장성 (Scalability): 오래된 컨텍스트를 억제하고 생산적이지 않은 행동을 거부함으로써, 시스템이 작업의 호흡이 길어짐에 따라 발생하는 핵심적인 한계를 해결하고 효율성을 유지하도록 합니다.
• 효율성 (Efficiency): 작업 성공률을 희생하지 않으면서(오히려 향상시키면서) 토큰 소비와 궤적 길이를 대폭 줄입니다.
• 전이 가능성 (Transferability): 학습된 제어 패턴은 서로 다른 생성 모델과 환경 전반에 걸쳐 일반화되며, 이는 하네스가 특정 모델의 궤적 아티팩트에 과적합되는 것이 아니라 효과적인 에이전트-환경 상호작용의 근본적인 속성을 포착하고 있음을 시사합니다.

저자들은 현재 평가가 코딩 설정에 국한되어 있다고 언급했으나, 이 메커니즘은 일반적인 도구 사용 궤적에 대해서도 작동하므로 웹 탐색 및 다단계 연구 워크플로우에 대한 적용 가능성을 시사합니다.