기술 요약: 셀프-하네스 (Self-Harness)

문제 정의

대규모 언어 모델(LLM) 기반 에이전트의 성능은 기본 모델의 가중치뿐만 아니라, 시스템 프롬프트, 도구, 메모리, 검증 규칙 및 런타임 정책으로 구성된 주변 시스템 계층인 **하네스(harness)**에 의해 결정됩니다. 현재 인간 전문가가 이러한 하네스를 설계하고 있지만, 이 패러다임은 LLM이 점점 더 다양해지고 빠르게 진화함에 따라 확장성 문제를 직면하고 있습니다. 한 모델에 최적화된 하네스는 모델마다 서로 다른 행동 패턴, 도구 사용 습관, 오류 모드 때문에 다른 모델에는 부적합할 수 있습니다. 기존의 자동화된 접근 방식은 종종 개선을 유도하기 위해 더 강력한 외부 에이전트에 의존하는데, 이는 비용이 많이 들 뿐만 아니라 대상 모델의 특정 실패 모드와 일치하지 않을 가능성이 있습니다. 본 논문은 LLM 기반 에이전트가 인간의 엔지니어링이나 외부의 가이드 없이 자신의 운영 하네스를 스스로 개선할 수 있는 과제를 다룹니다.

방법론: 셀프-하네스 루프 (The Self-Harness Loop)

저자들은 고정된 모델이 자신의 비매개변수적 스캐폴딩(non-parametric scaffolding)을 정교화하는 반복적인 자가 개선 프레임워크인 Self-Harness를 제안합니다. 이 프로세스는 세 가지 뚜렷한 단계로 구성된 폐쇄 루프로 작동합니다.

1. 약점 마이닝 (Weakness Mining)

현재의 하네스($h_t$) 하에서 작동하는 에이전트는 홀드인 분할 데이터셋($D_{in}$)으로부터 일련의 태스크를 수행합니다. 시스템은 실행 트레이스를 수집하고, **검증기 기반의 실패 시그니처(verifier-grounded failure signatures)**를 기준으로 실패한 트레이스를 클러스터링합니다.

• 속성 분석 (Attribution): 실패를 개별적인 사건으로 취급하는 대신, 시스템은 트레이스를 분석하여 최종적인 검증 단계의 원인($c_i$), 에이전트 행동의 인과적 상태($q_i$), 그리고 추상적인 에이전트 메커니즘($m_i$)을 식별합니다.
• 클러스터링: 실패 사례들은 동일한 시그니처를 공유할 경우 결정론적으로 그룹화되며, 이를 통해 후속 제안이 표면적인 증상이 아닌 재사용 가능한 실패 메커니즘을 목표로 하도록 보장합니다.
• 출력: 지지도(support)와 실행 가능성(actionability)에 따라 정렬된 지배적인 실패 패턴의 요약본인 증거 번들($B_t$)을 생성합니다.

2. 하네스 제안 (Harness Proposal)

동일한 고정 모델($M$)이 "제안자(proposer)" 역할을 수행하며, 현재의 하네스($h_t$)와 증거 번들($B_t$)을 컨텍스트로 사용합니다.

• 제약 조건: 제안자는 $K$개의 다양하면서도 최소한의(minimal) 후보 편집본($\Delta_j$)을 생성합니다. 각 편집본은 특정 실패 메커니즘을 타겟팅해야 하며, 하네스의 구체적이고 편집 가능한 표면(예: 특정 지침, 도구 정책 또는 검증 규칙)에 매핑되어야 합니다.
• 다양성 대 최소성: 시스템은 다양한 실패 메커니즘이나 하네스 표면을 탐색하도록 장려하되, 개별 편집본은 광범위한 제어 구조의 재작성을 피하고 타겟팅된 상태를 유지하도록 강제합니다.
• 출력: 감사 기록(audit record)이 동반된 후보 하네스 변형본들의 집합 $h^{(j)}_t = \Delta_j(h_t)$를 생성합니다.

3. 제안 검증 (Proposal Validation)

후보 편집본은 수용되기 전에 엄격한 **회귀 테스트(regression testing)**를 거칩니다.

• 평가: 현재의 하네스($h_t$)와 후보 하네스($h^{(j)}_t$) 모두 홀드인 분할 데이터셋($D_{in}$)과 홀드아웃 분할 데이터셋($D_{ho}$)에서 평가됩니다.
• 수용 규칙: 후보는 적어도 하나의 분할 데이터셋에서 성능을 개선하는 동시에 다른 분할에서의 성능을 저하시키지 않을 때만($\Delta_{in} \ge 0$, $\Delta_{ho} \ge 0$, 그리고 $\max(\Delta_{in}, \Delta_{ho}) > 0$) 승격됩니다.
• 병합: 여러 후보가 통과하면, 그 편집본들은 다음 반복의 하네스($h_{t+1}$)로 병합됩니다. 탈락한 후보들은 로그에 기록되지만 활성 하네스를 변경하지는 않습니다.

주요 기여

1. 셀프-하네스 패러다임: LLM이 자신의 운영 하네스를 직접 설계하고 정교화할 수 있게 함으로써, 인간 엔지니어나 더 강력한 외부 에이전트에 대한 의존성을 제거하는 새로운 프레임워크를 제시합니다.
2. 운영 가능한 반복 루프: 약점 마이닝, 최소한의 제안 생성, 엄격한 회귀 테스트의 순환을 통해 행동적 증거를 모델 특화된 하네스 업데이트로 전환하는 구체적인 구현을 제공합니다.
3. 실증적 검증: Self-Harness가 최소한의 초기 하네스를 다양한 모델 제품군에서 베이스라인을 크게 상회하는 모델 특화 구성으로 진화시킬 수 있음을 입증했습니다.

실험 결과

저자들은 Terminal-Bench-2.0에서 MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5라는 세 가지 서로 다른 베이스 모델을 대상으로 Self-Harness를 평가했습니다. 모든 실험은 최소한의 DeepAgent 기반 하네스에서 시작되었습니다.

성능 향상 (홀드아웃 통과율):

• MiniMax M2.5: **40.5%**에서 **61.9%**로 증가 (+21.4 퍼센트 포인트).
• Qwen3.5-35B-A3B: **23.8%**에서 **38.1%**로 증가 (+14.3 퍼센트 포인트; 상대적 개선율 138%).
• GLM-5: **42.9%**에서 **57.1%**로 증가 (+14.2 퍼센트 포인트).

질적 발견:

• 모델 특화 적응: 시스템은 단순히 일반적인 지침을 추가한 것이 아니라, 각 모델의 약점에 맞춘 뚜렷하고 구체적인 변화를 만들어냈습니다:
  • MiniMax M2.5: 필수 출력 파일을 더 일찍 생성하고, 구조화된 도구 출력을 주의 깊게 처리하며, 생산적이지 않은 도구 사용 루프를 중단하는 데 집중했습니다.
  • Qwen3.5: 의존성 사전 확인, 반복되는 실패 명령 방지, 탐색 사이클 중단, 도구 오류로부터의 복구에 집중했습니다.
  • GLM-5: 쉘 명령 간의 환경 설정 보존과 탐색에서 구현으로의 전환 가속화에 집중했습니다.
• 일반화: 홀드아웃 태스크에서도 개선이 관찰되었으며, 이는 하네스 편집이 특정 훈련 실패에 과적합된 것이 아니라 재사용 가능한 실행 메커니즘을 다루었음을 나타냅니다.

의의 및 주장

본 논문은 Self-Harness가 에이전트 시스템에서 **자기 창조(self-creation)**를 향한 경로를 보여준다고 주장합니다. 즉, 에이전트가 자신의 행동을 규정하는 제약 조건 자체를 재형성하는 데 참여하는 것입니다.

• 경험적 상태 전이: 저자들은 하네스 개선이 경험적 상태 전이로 취급되어야 한다고 상정합니다. 유용한 편집은 행동적 증거에 근거해야 하고, 변경되는 행동을 명시해야 하며, 비회귀적 평가를 통해 검증되어야 합니다.
• 확장성: 개선 루프를 내부화함으로써, Self-Harness는 현대 LLM의 급격한 진화와 다양성에 적응할 수 있는, 인간 중심적 엔지니어링에 대한 확장 가능한 대안을 제공합니다.
• 한계: 저자들은 현재의 연구가 고정된 벤치마크 하의 제한된 편집을 다루고 있음을 겸허히 언급했습니다. 이 프로토콜은 검증 결과와 트레이스 기록의 품질에 의존하며, 더 높은 이해관계가 걸린 변화에는 통과율 기반의 비회귀성 이상의 더 강력한 승인 게이트가 필요할 것입니다.

결론적으로, 에이전트가 자신의 가중치를 직접 바꾸지는 못하더라도, 환경과의 상호작용을 매개하는 하네스를 반복적으로 정교화함으로써 효과적으로 "자기 자신을 창조"할 수 있다는 점을 보여줍니다.