기술 요약: 잔차의 벤치마킹 (Benchmarking the Residual)

문제 정의

언어 모델 에이전트를 위한 장기적 호라이즌(long-horizon) 벤치마크들은 작업의 길이가 길어질수록 성공률이 감소한다는 점을 일관되게 보여준다. 그러나 본 논문은 단순히 최종 엔드 투 엔드(end-to-end) 성능이 하락하는 것만으로는 근본적인 실패 메커니즘을 진단하기에 불충분하다고 주장한다. 낮은 성공률은 특정 "장기적 호라이즌"의 한계(예: 컨텍스트 퇴화, 상태 오염, 또는 계획 붕괴) 때문이 아니라, 단순히 통상적인 오류 누적(독립적인 단계들의 수가 증가함에 따라 실패할 확률이 통계적으로 높아지는 현상)의 결과일 수 있기 때문이다.

현재의 벤치마크들은 다음과 같은 세 가지 서로 다른 성능 저하 원인을 혼동하고 있다:

1. 오류 누적 (Error Compounding): 단계가 많아질수록 실패의 기회가 많아지며, 이는 개별 단계의 난이도가 변하지 않더라도 발생한다.
2. 더 어려운 국소 작업 (Harder Local Work): 긴 작업은 본질적으로 더 모호하거나 전문화된 단계를 포함할 수 있다.
3. 이력/상태 의존성 (History/State Dependence): 축적된 컨텍스트, 도구 출력, 또는 이전의 오류가 후속 단계를 더 어렵게 만든다 (이를 궤적 유도형 퇴화 또는 컨텍스트 부패라고 한다).

이러한 요소들을 구분하지 못하면, 하락하는 성능 곡선만으로는 에이전트가 작업이 길어서 실패하는 것인지, 단계가 어려워서 실패하는 것인지, 아니면 에이전트의 이력이 미래의 성능을 능동적으로 저하시키기 때문에 실패하는 것인지를 식별할 수 없다.

방법론

본 논문은 매칭된 단기 단계 평가로부터 도출된 기준 예측값과 실제 엔드 투 엔드 성능을 비교하는 **호라이즌 잔차 ($\Gamma_H$, Horizon Residual)**를 중심으로 하는 진단 프레임워크를 제안한다.

1. 분해 및 체크포인트 (Decomposition and Checkpoints)

이 방법론은 임의의 턴(turn) 수가 아니라 검증 가능한 의미론적 단계(예: "버그 찾기", "API 업데이트")로 장기 작업을 사전 지정하여 분해할 것을 요구한다.

• 체크포인트 (Checkpoints): 배포된 에이전트(모델, 프롬프트, 도구, 메모리)는 선언된 체크포인트로부터 실행된다. 체크포인트에는 특정 환경 상태, 가시적인 이력, 드러난 정보, 그리고 로컬 예산이 포함된다.
• 조건부 확률 ($q_i$): 각 단계 $i$에 대하여, 이전의 모든 필수 단계가 완료되었고 에이전트가 선언된 체크포인트에서 시작했다는 조건 하에서의 성공 확률을 측정한다: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$.

2. 곱 제품 베이스라인 ($P_{expected}$)

연쇄 법칙(chain rule)을 사용하여, 조건부 단계 확률들을 곱함으로써 전체 작업 성공률에 대한 감사 가능한 베이스라인 예측을 구축한다:
$$P_{expected} = \prod_i q_i$$
이 베이스라인은 에이전트가 매칭된 조건 하에서 각 단계를 독립적으로 성공할 수 있다면, 전체 작업의 성공은 해당 확률들의 곱이 될 것이라고 가정한다. 논문은 이것이 회복(recovery), 분기 경로, 또는 상태 변화를 고려하지 않을 수 있는 "널 모델(null model)"임을 인정하며, 이질적인 작업들을 위한 확장 방식(예: 체크포인트 시뮬레이터)을 제안한다.

3. 호라이즌 잔차 ($\Gamma_H$)

핵심 지표는 자연스러운 엔드 투 엔드 롤아웃(rollout)의 관찰된 성공($P_{observed}$)과 기대 성공(베이스라인으로부터의) 사이의 로그 비율이다:
$$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$$

• $\Gamma_H > 0$: 자연스러운 롤아웃이 매칭된 단기 단계 예측보다 성능이 낮음을 나타내며, 이는 불일치(잠재적인 궤적 유도형 퇴화)를 의미한다.
• $\Gamma_H \approx 0$: 자연스러운 롤아웃이 예측과 일치함을 나타내며, 이는 성능 저하가 통상적인 오류 누적에 의한 것임을 시사한다.
• $\Gamma_H < 0$: 자연스러운 롤아웃이 예측보다 성능이 높음을 나타낸다 (예: 베이스라인에서 누락된 피드백이나 회복 메커니즘 덕분).

4. 구조적 주석 (Structural Annotations)

작업 구조와 국소적 난이도를 분리하기 위해, 논문은 두 가지 상보적인 주석을 보고할 것을 권장한다:

• 작업 노출량 ($N_{work}$): 요구되는, 별도로 검증 가능한 단계의 수.
• 의존성 깊이 ($H_{dep}$): 요구되는 가장 긴 의존성 체인의 깊이.
  이를 통해 벤치마크는 작업이 "양적"으로 긴 것(많은 독립적 단계)인지, 아니면 "깊은" 의존성 때문에 긴 것인지 구분할 수 있다.

주요 기여

1. 진단적 구별: 논문은 단순한 성능 하락을 기술적인 배포 결과로 취급하고, 호라이즌 잔차를 별도의 프로토콜 종속적 진단 도구로 취급해야 한다고 주장한다. "장기적 호라이즌 실패"라는 주장은 매칭된 단기 단계들로부터 구축된 베이스라인과 전체 롤아웃이 다르다는 증거가 필요하다고 단언한다.
2. 감사 가능한 베이스라인 제안: 간단하고 감사 가능한 곱 제품 베이스라인($P_{expected}$)을 제안하고, 분기 또는 회복이 있는 작업을 위한 확장 방식(조건부 모델, 체크포인트 시뮬레이터 등)을 설명한다. 베이스라인은 자연스러운 롤아웃을 평가하기 전에 반드시 선언되어야 함을 강조한다.
3. 보고 및 개입 의제: 구체적인 보고 요구사항(분해, 체크포인트 상태, 예산)과 개입 의제를 명시한다. 잔차는 인과적 설명이 아니라, 특정 메커니즘(예: 이력 리셋, 상태 복구, 컨텍스트 압축)을 식별하기 위한 타겟 실험을 안내하는 신호라고 상정한다.

결과 및 증거

본 논문은 새로운 실험 결과를 제시하는 대신, 기존 문헌을 종합하여 이 프레임워크의 필요성을 입증한다:

• SWE-Milestone vs. 연속 실행 (Continuous Execution): 독립적인 마일스톤은 종종 80% 이상의 성공률을 보이지만, 동일한 코드베이스에서의 연속적인 진화는 약 38%로 떨어진다. 논문은 이 차이를 체인 수준의 카운터팩추얼(counterfactual)로 구성하지 않으면 모호한 상태로 남는다고 지적한다.
• ChainSWE: 오라클이 올바른 이전 상태를 가진 경우의 정확도(58.9%)가 에이전트가 생성한 이전 상태의 경우(36.5%)보다 높음을 보여주며, 이는 상태 복구의 가치를 보여주는 동시에 체인 수준의 예측이 결여되어 있음을 나타낸다.
• SWE-Marathon: 컨텍스트 압축이 실패와 상관관계가 있음을 보여주지만, 매칭된 개입 없이는 압축이 실패를 유발하는지 아니면 단순히 실패하는 궤적을 표시하는 것인지 불분명하다.
• Illusion: 통제된 이력 조작 실험은 이전 이력의 오류가 후속 정확도를 낮춘다는 것을 보여주며, 길이(length)보다 내용(content)이 핵심임을 고립시켜 보여준다.

논문은 대표적인 벤치마크들(SWE-EVO, NL2Repo-Bench, SWE-Chain 등)을 검토하며, 기존의 어떤 연구도 전체 시퀀스(매칭된 로컬 측정, 선언된 구성, 자연스러운 롤아웃, 상태 호환성 처리, 타겟 개입, 프로토콜 민감도 분석)를 구현하지 못했다고 표 4에서 결론짓는다.

의의 및 주장

본 논문의 의의는 "길수록 어렵다"는 관찰을 기술적인 관찰에서 감사 가능한 연구 프로그램으로 재정의하는 데 있다.

• 배포 vs. 진단: 배포 벤치마크는 시스템이 성공하는지(if)를 묻는 반면, 진단 벤치마크는 왜 실패하는지(why)를 묻는다. 호라이즌 잔차는 국소적 역량과 글로벌 성능 사이의 간극을 정량화함으로써 이 둘을 연결한다.
• 인과적 규율: 저자들은 잔차가 인과적 답변이 아님을 명시한다. 양(+)의 잔차는 선택된 베이스라인과의 불일치만을 나타낼 뿐이다. 이는 연구자들에게 특정 가설(예: "컨텍스트 부패인가?")을 테스트하도록 유도하는 역할을 한다.
• 반증 가능성: 본 논문의 입장은 다음의 경우 반증 가능하다:
  1. $\Gamma_H$의 부호가 허용 가능한 프로토콜 전반에서 불안정할 때.
  2. 관리 가능한 비용으로 매칭된 체크포인트를 구성할 수 없을 때.
  3. 잔차가 기존의 '지속 vs. 리셋' 비교보다 추가적인 진단 정보를 제공하지 못할 때.

궁극적으로, 본 논문은 하락하는 곡선이 사전에 지정된 구성적 예측과 그에 따른 잔차를 동반하지 않는 한, 장기적 호라이즌 메커니즘에 대한 주장은 근거가 없다고 주장한다. 이 프레임워크는 실패의 관찰을 이력, 상태, 정보 및 회복에 대한 구조화된 조사로 전환시킨다.