기술 요약: AGENTLENS: SWE-Agent 평가에서의 행운의 통과 (Lucky Pass) 문제 규명

1. 문제 제기

현재 소프트웨어 엔지니어링 (SWE) 에이전트 평가는 최종 패치가 테스트 스위트 (예: SWE-bench) 를 통과하는지 여부를 나타내는 이진 신호에 지배적입니다. 이러한 "결과만 중시"하는 관점은 원칙적이고 효율적인 해결책과 혼란스러운 시행착오 과정을 동등하게 취급합니다. 저자들은 이러한 동등성이 경험적으로 거짓이며 에이전트 행동을 평가하는 데 불충분하다고 주장합니다.

구체적으로, 본 논문은 "행운의 통과 (Lucky Pass)" 문제를 식별합니다. 이는 약하고 취약하거나 비효율적인 과정을 통해 올바른 패치에 도달하는 성공적인 궤적의 하위 집합입니다. 여기에는 다음이 포함됩니다:

• 회귀 사이클 (Regression cycles): 유사한 편집을 반복적으로 실패하고 재시도하는 것.
• 맹목적인 재시도 (Blind retries): 새로운 정보 없이 행동을 반복하는 것.
• 검증 누락 (Missing verification): 테스트를 실행하지 않고 수정을 적용하는 것.
• 시간적으로 순서가 뒤섞인 탐색 (Temporally disordered exploration): 구현 전에 검증 단계를 수행하거나, 수정이 검증된 후 관련 없는 파일을 탐색하는 것.

본 논문은 SWE-Gym 과 같은 데이터셋에서 수행되듯 모든 통과 궤적을 동등하게 가치 있는 감독 데이터로 취급하는 것은 시연 품질에 대한 거친 대리 지표라고 주장합니다. furthermore, 모델들이 통과율 벤치마크에 수렴함에 따라, 시행착오를 통해 성공하는 에이전트가 복잡하고 실제 세계 배포 환경에서 예측 불가능하게 행동할 수 있으므로, 과정의 품질은 모델 비교 및 위험 평가에 필수적인 축이 됩니다.

2. 방법론: AGENTLENS 프레임워크

저자들은 SWE-Agent 궤적의 과정 수준 평가를 위한 프레임워크인 AGENTLENS를 소개합니다. 이는 네 단계로 작동합니다:

A. 원시 로그에서 레이블이 지정된 상태로

원시 에이전트 로그는 구조화된 상태 시퀀스로 파싱됩니다. 각 상태는 네 가지 인지 단계에서 **의도 단계 레이블 (intent-stage label)**이 할당됩니다:

1. 탐색 (Exploration, E): 파일 읽기, 검색, 디렉토리 나열.
2. 구현 (Implementation, I): 소스 파일 편집 또는 생성.
3. 검증 (Verification, V): 테스트 실행, 오류 확인, 편집된 파일 재읽기.
4. 오케스트레이션 (Orchestration, O): 장부 정리 및 추론 단계.

중요하게도, AGENTLENS는 **문맥 민감형 의도 단계 레이블러 (context-sensitive intent-stage labeler)**를 사용합니다. 도구 정체성만으로 행동을 레이블링하는 단순한 접근 방식 (예: grep 을 항상 탐색으로 간주) 과 달리, 이 레이블러는 궤적 히스토리를 활용합니다. 예를 들어, grep 은 패치가 작성되기 전에는 탐색으로 레이블링되지만, 구현 단계 후 특정 변경 사항을 확인하기 위해 수행될 경우 검증으로 레이블링됩니다. 이는 터미널 명령어의 모호성을 해결하며, 7 명의 주석가 간 Fleiss' $\kappa = 0.933$으로 검증되었습니다.

B. PTA 참조 구축

단일 참조 궤적과 후보 궤적을 비교하는 대신, AGENTLENS는 동일한 작업에 대한 $k \ge 2$개의 통과 궤적에서 **접두사 트리 수용기 (Prefix Tree Acceptor, PTA)**를 구축합니다.

• 병합 (Merging): 공유된 접두사는 공통 노드로 병합됩니다.
• 분기 (Branching): 분기되지만 성공적인 전략들은 가지를 형성합니다.
• 결과: PTA는 단일 표본이 아닌 "알려진 양호한 (known-good)" 해결 전략의 공간을 인코딩하는 방향 비순환 그래프 (DAG) 입니다. 이를 통해 시스템은 유효한 대안 경로를 인식하면서도 알려진 성공적인 과정에서의 편차를 플래그할 수 있습니다.

C. 후보 궤적 점수 매기기

후보 궤적은 작업 수준 PTA 에 대해 네 가지 보완적 신호를 사용하여 점수가 매겨지며, 이는 0~100 점의 품질 점수로 결합됩니다:

1. 구조적 정렬 (Structural Alignment, $\Phi_{struct}$): 후보가 대략 올바른 순서로 PTA 상태를 방문하는지 측정 (순서형 재현율 + 비순서형 정밀도).
2. 집합 커버리지 (Set Coverage, $\Phi_{cov}$): 순서와 상관없이 후보가 일치시킨 PTA 상태의 비율을 측정.
3. 궤적 일관성 (Trajectory Coherence, $\Phi_{coh}$): 의도 단계 시퀀스를 요약하여 전진 (예: $E \to I \to V$) 에는 보상을 주고 후퇴 및 맹목적인 재시도에는 페널티를 부여.
4. 시간적 프로파일 유사성 (Temporal Profile Similarity, $\Phi_{temp}$): 초기, 중기, 후기 궤적 구간 간의 단계 분포를 PTA 와 비교 (Jensen-Shannon 발산 사용).

최종 점수는 가중 합입니다:
$$f(\tau_c, G) = 0.20 \cdot \Phi_{struct} + 0.15 \cdot \Phi_{cov} + 0.30 \cdot (100 \cdot \Phi_{coh}) + 0.35 \cdot (100 \cdot \Phi_{temp})$$
행동 신호 (일관성 및 시간적 프로파일) 는 65% 의 가중치를 차지하며, 이는 구조적 커버리지와 과정 품질이 종종 다른 궤적에서 실패함을 반영합니다.

D. 보고서 및 등급 분류

궤적은 종합 점수에 따라 등급으로 분류됩니다:

• 이상적 (Ideal, $\ge 70$): 원칙적, 낭비 적음, 잘 정렬됨.
• 견고 (Solid, $47 \le 점수 < 70$): 불완전하지만 일관성 있음.
• 행운 (Lucky, $< 47$): 우연히 통과하는 약한 과정 (예: 회귀 사이클, 맹목적인 재시도).
• 부분 실패 / 궤도 이탈: 실패한 궤적용.

시스템은 또한 "낭비" (회귀 루프, 맹목적인 재시도, 중복 단계, 불필요한 탐색, 순환 패턴) 를 특정 궤적 단계에 국한시키는 구조화된 비효율성 보고서를 생성합니다.

3. 주요 기여

1. AGENTLENS-Bench: 최초의 과정 주석 SWE-Agent 궤적 데이터셋입니다. 47 개의 SWE-bench Verified 작업에서 나온 1,815 개의 궤적을 포함하며, 품질 점수, 낭비 주석, 편차 메타데이터 및 ground-truth PTA 를 특징으로 합니다.
2. 행운의 통과 발견: 저자들은 통과 궤적의 **10.7%**가 "행운의 통과"임을 입증합니다. 이는 다섯 가지 반복 메커니즘으로 분해됩니다:
   • 최소 및 미검증 (Minimal & Unverified, 15.6%): 짧고 검증이 없음.
   • 무차별 대입 수렴 (Brute-Force Convergence, 34.4%): 낭비 많고 일관성 낮음.
   • 불완전한 구현 (Incomplete Implementation, 33.6%): 테스트 간격으로 인해 부분 수정이 통과됨.
   • 과도한 탐색 (Excessive Exploration, 4.1%): 길고 초점 없음.
   • 분기되지만 유효 (Divergent-but-Valid, 12.3%): 대안적 유효 접근법.
3. 문맥 민감형 의도 레이블링: 터미널 명령어에서의 탐색 대 검증 모호성을 해결하는 검증된 레이블러로, 96.0% 의 원시 일치율을 달성.
4. PTA 기반 과정 참조: 여러 통과 솔루션을 알려진 양호한 전략의 참조 공간으로 병합하는 방법으로, 다양한 올바른 행동 집합에 대한 새로운 궤적 점수 매김을 가능하게 함.
5. 오픈 소스 도구: AGENTLENS SDK 및 웹 인터페이스 출시. LLM 호출 없이 ATIF 및 OpenHands 궤적을 지원하여 점수 매김 가능.

4. 결과

이 프레임워크는 60 개의 SWE-bench Verified 작업에 걸쳐 8 개의 모델 백엔드 (GPT-4.1, GPT-4o, Claude Opus, Gemini 2.5 Pro 포함) 의 2,614 개 궤적에서 평가되었습니다.

• 통과 궤적 분포: 1,136 개의 통과 궤적 중 20.2% 는 이상적, 69.1% 는 견고, 10.7% 는 행운이었습니다.
• 모델 순위 불일치: 과정 인식 점수 매기는 통과율만 사용할 때와 비교하여 모델 순위를 크게 변경합니다.
  • 예시: GPT-4o 는 통과율 기준 8 위이지만 품질 점수 기준 3 위입니다.
  • 예시: Claude Opus 4.6 은 통과율 기준 3 위이지만 품질 점수 기준 6 위이며, **18.7%**의 행운 비율 (상위 tier 모델 중 최고) 을 보입니다.
  • 모델별 행운 비율은 0.5% (Opus 4.5) 에서 23.2% (GPT-4.1) 까지 다양합니다.
• 분류 특이성: 모델 유형과 행운의 통과 카테고리 간에 유의미한 연관성이 있습니다 ($\chi^2(28) = 102.47, p < 0.0001$). 예를 들어, Opus 4.6 은 "최소 및 미검증" 통과를 불균형적으로 생성하는 반면, GPT-4.1 은 "무차별 대입" 및 "과도한 탐색" 카테고리를 지배합니다.
• 판별력: 종합 점수는 통과 및 실패 궤적을 AUROC 0.766 ($p=0.0017$) 으로 분리합니다. 단일 신호는 통계적 유의성을 달성하지 못하여 구조적 및 행동 신호의 융합이 필요함을 강조합니다.
• 비용 영향: 행운의 통과는 계산 비용이 훨씬 더 많이 듭니다. "무차별 대입" 궤적은 "최소" 궤적보다 약 25 배 더 많은 토큰을 소모하며, "과도한 탐색"은 약 40 배 더 많은 비용을 발생시킵니다. 이는 동일한 이진 통과/실패 레이블을 받음에도 불구하고 발생합니다.

5. 중요성 및 주장

본 논문은 AGENTLENS가 이진 결과 이상의 필수적인 평가 계층을 제공한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 데이터 큐레이션: 통과율만으로 학습 데이터를 필터링하는 관행에 도전하며, "성공적인" 궤적의 품질이 극도로 다양함을 보여줍니다. 저품질의 "행운" 궤적을 감독에 사용하면 취약한 행동을 강화할 수 있습니다.
2. 모델 비교: 모델을 비교하는 새로운 축을 제공합니다. 모델들이 높은 통과율에 수렴함에 따라, 일관되고 낭비가 적은 과정을 통해 작업을 해결하는 능력이 차별점이 됩니다. 논문은 품질 점수로 순위 매기기가 모델 위치를 최대 5 위까지 변경할 수 있음을 입증합니다.
3. 배포 위험: 시행착오를 통해 성공하는 에이전트가 비용이 많이 드는 테스트나 되돌릴 수 없는 작업이 있는 환경에서는 예측 불가능할 수 있음을 강조합니다. "행운의 통과"를 노출시킴으로써 AGENTLENS는 원칙적 추론보다는 취약한 탐색에 의존하는 모델을 식별하는 데 도움을 줍니다.

저자들은 AGENTLENS 를 기능적 정확성 검사의 대체물이 아닌, 소프트웨어 엔지니어링 에이전트의 평가, 분석 및 훈련을 개선하기 위한 보완적 진단 도구로 위치시킵니다. 그들은 과정 인식 분석을 SWE-Agent 평가 파이프라인의 표준 구성 요소로 만들기 위해 데이터셋과 도구를 공개합니다.