기술 요약: 실행 궤적에 대한 추론 시간 정렬을 위한 하네스

문제 정의

대형 언어 모델 (LLM) 에이전트들은 increasingly "하네스 (harnesses)"에 의존하고 있습니다. 이는 작업 분해와 guided execution 을 통해 추론 시간에 인간 선입관을 실행에 주입하는 추론 시간 발판 전략들입니다. 지배적인 직관은 더 정교한 하네스 (더 세분화된 분해, 더 엄격한 안내) 가 더 나은 성능을 낸다고 제안하지만, 경험적 관찰과 역사적 AI 교훈은 그 반대를 시사합니다: 과도한 구조는 에이전트의 탐색, 적응 및 확장 능력을 제한하여 때로는 최종 작업 성공률을 감소시킵니다.

해결되는 핵심 문제는 하네스가 무엇을 명시해야 하고 무엇을 에이전트가 자율적으로 해결하도록 남겨두어야 하는지를 결정하는 것입니다. 현재의 설계 관행은 구조 추가를 선형 최적화 문제로 취급하는 경향이 있으며, 추가적인 발판이 역효과를 내는 시점 (예: 과도한 분해, 과도한 가지치기, 또는 환각된 실행을 초래하는 경우) 을 예측할 이론적 프레임워크가 부족합니다.

방법론

저자들은 하네스 설계를 추론 시간 궤적 정렬 문제로 모델링하는 이론적 프레임워크를 제안합니다. 그들은 하네스를 서로 다른 시간 척도에서 작동하는 두 가지 구별된 메커니즘으로 분해합니다:

1. 워크플로우 (외부 시간 척도): 작업을 하위 목표의 시퀀스 ($g_1 \to g_2 \to \dots \to g_T$) 로 구조화하는 작업 분해를 제어합니다. 이는 계획의 세분화 정도를 정의합니다.
2. 안내 (내부 시간 척도): 각 하위 목표 실행 중 로컬 행동 분포를 재형성합니다. 이는 안내 규칙 $\psi$와 강도 $\lambda$에 기반하여 에이전트의 기본 궤적 분포를 재가중치하는 것으로 모델링됩니다.

이론적 프레임워크

이 논문은 최종 성공이 모든 단계에서 접두사가 "회복 가능 (최종 답변에 도달할 수 있는 상태)"로 남아있는 것과 동등한 회복 가능성 프레임워크를 도입합니다. 이를 통해 그들은 세 가지 정렬 원칙을 도출합니다:

• 세분화 - 능력 정렬: 하위 목표의 규모는 주어진 재시도 예산 내에서 에이전트가 통제할 수 있는 진전 규모와 일치해야 합니다. 하위 목표가 너무 크면 (거칠면) 에이전트가 이를 달성할 수 없으며, 너무 작으면 (세분화되면) 반올림 오차와 조정 손실이 누적됩니다.
• 안내 - 증거 정렬: 안내는 에이전트를 현재 작업 증거로 뒷받침되는 궤적 쪽으로 편향시킬 때만 성능을 향상시킵니다. 정렬되지 않은 안내 (예: 증거보다 지시 준수를 보상하는 경우) 는 부정적인 "유지 격차"를 생성하여 환각을 증폭시킵니다.
• 부분 하네싱 (한계 정지): 하네스는 전체 실행 경로를 커버할 필요가 없습니다. 최적의 설계는 (단계를 추가함으로써 얻는) 꼬리 위험의 한계 감소가 해당 단계의 신뢰성 비용을 초과하지 않을 때 발판을 중단합니다.

실험적 검증

저자들은 다음을 통해 이러한 원칙들을 검증합니다:

1. 합성 실험: 에이전트가 잘린 가우스 행동 분포를 사용하여 목표 합계에 도달해야 하는 통제된 누적 진전 작업입니다. 그들은 분해 세분화 ($K$), 안내 품질 (정렬된 대 정렬되지 않은 가지치기), 그리고 부분 하네스 길이를 변화시킵니다.
2. 실제 벤치마크:
   • Terminal-Bench v2: 소프트웨어 엔지니어링 작업에서 워크플로우 세분화를 평가합니다.
   • Plotly 차트 분석: 다양한 안내 조건 하에서 환각 발생률을 측정합니다.
   • 사례 연구: 전체 대 부분 워크플로우를 비교하는 특정 작업 (llm-inference-batching-scheduler).

주요 기여

1. 정렬로서의 하네스 설계 형식화: 이 논문은 하네스를 워크플로우(분해) 와 안내(행동 재가중치) 로 분해하여 두 가지 단계 수준 원칙을 확립합니다: 하위 목표 규모는 에이전트 능력과 일치해야 하며, 안내는 작업 증거와 일치해야 합니다.
2. 실패 모드에 대한 이론적 한계:
   • 정리 1: 요청된 진전과 도달 가능한 규모 사이의 불일치인 세분화 페널티가 재시도 예산의 용량을 초과할 때 최종 성공 확률이 감소함을 보여주는 한계를 도출합니다.
   • 정리 2: 안내가 "유지 격차"(회복 가능 궤적 대 비회복 가능 궤적에 대한 가중치의 로그 비율) 가 양수일 때만 단계 회복 가능성을 향상시킨다는 것을 증명합니다. 음수 격차는 환각으로 이어집니다.
3. 부분 하네싱 전략: 저자들은 하네스가 궤적의 초기 접두사만 명시하는 설계 전략인 부분 하네싱을 도입합니다. 그들은 한계 정지 규칙을 형식화합니다: 다음 발판 단계가 도입하는 것보다 더 많은 잔여 위험을 절약할 때만 하네스를 확장합니다.
4. 비단조성에 대한 경험적 증거: 실험은 통과율이 분해 세분화와 하네스 길이 모두에 대해 **단봉형 (unimodal)**임을 보여줍니다. 과도한 명시 (너무 많은 단계 또는 너무 많은 안내) 는 최적의 부분 구성에 비해 성능을 일관되게 저하시킵니다.

결과

• 세분화: 합성 및 실제 작업에서 통과율은 특정 수의 하위 목표에서 정점을 찍습니다. (정점을 넘어서는) 더 세분화된 분해는 에이전트가 임의의 마일스톤에 정확하게 멈출 수 없는 능력으로 인해 누적된 말단 편향과 더 낮은 통과율로 이어집니다.
• 안내: 정렬된 안내 (증거 기반 행동을 우선시함) 는 안내 강도가 증가함에 따라 통과율을 향상시키고 환각을 감소시킵니다. 반면, 정렬되지 않은 안내 (증거 없이 지시 준수를 우선시함) 는 안내 강도가 증가함에 따라 환각 발생률이 단조롭게 상승하게 합니다.
• 부분 하네싱: llm-inference-batching-scheduler 작업에서 부분 하네스 (처음 3 단계만 명시) 는 완전히 명시된 10 단계 워크플로우보다 우수한 성과를 거두었습니다. 전체 하네스는 에이전트가 반복적인 중간 수정에 "갇히게" 만들었던 반면, 부분 하네스는 에이전트가 나머지 단계에 대해 생산적인 반복적 정제 루프에 진입할 수 있게 했습니다.
• 에이전트 능력: 더 강력한 에이전트 (더 낮은 자율적 꼬리 비용을 가진) 는 더 약한 에이전트보다 더 일찍 (더 적은 발판 단계에서) 최적의 부분 하네스 길이에 도달합니다.

중요성 및 주장

이 논문은 하네스 설계가 "더 많은 구조를 추가하는" 문제에서 "무엇을 명시할지, 얼마나 강력하게 명시할지, 그리고 언제 멈출지 선택하는" 문제로 전환되어야 한다고 주장합니다.

저자들은 다음과 같이 주장합니다:

• 더 강력함이 항상 좋은 것은 아님: 더 정교한 하네스는 에이전트의 능력이나 사용 가능한 증거와 정렬되지 않을 경우 도움이 아니라 신뢰성 병목 현상으로 작용할 수 있습니다.
• 부분 명시가 최적임: 효과적인 하네스는 전체 실행 경로를 커버할 필요가 없습니다. 남은 작업이 에이전트의 자율적 능력 범위 내에 들어오면, 지속적인 통제는 비용만 추가할 뿐 이득은 없습니다.
• 정지 문제로서의 설계: "올바른" 하네스는 에이전트를 회복 가능한 궤적에 유지하는 가장 작은 하네스입니다. 이는 발판을 꼬리 위험 감소와 부과된 구조의 신뢰성 비용 사이의 한계적 절충으로 재정의합니다.

이 논문은 단순화된 설정이 핵심 메커니즘을 격리하지만, 실제 세계 에이전트 행동은 더 복잡하며 이러한 원칙들을 더 풍부한 실행 역학으로 확장하는 것이 향후 연구 방향임을 결론짓습니다.