기술 요약: 코딩 에이전트의 프로세스 평가가 실제로 측정하는 것

1. 문제 정의

대규모 언어 모델(LLM) 코딩 에이전트에 대한 현재의 평가는 단순히 최종 결과뿐만 아니라 에이전트가 작업을 수행하는 방식인 *프로세스(process)*에 점점 더 집중하고 있습니다. 그러나 본 논문은 기존의 프로세스 수준 평가들이 개념적으로 불충분하게 정의되어 있다고 주장합니다. 기존 방식들은 종종 다음의 세 가지 서로 다른 분석 수준을 혼동합니다:

1. 액션 수준 (Action Level): 에이전트의 다음 동작을 예측함 (예: "다음에는 어떤 도구를 사용할 것인가?").
2. 태스크 수준 (Task Level): 전체 실행의 불확실성 또는 회복 가능성을 평가함 (예: "이 작업이 여전히 해결 가능한가?").
3. 스텝 수준 (Step Level): 특정 행동에 대한 인과적 기여도를 귀속시킴 (예: "이 특정 단계가 실패의 원인이 되었는가?").

본 논문은 이들을 단일한 "프로세스 품질"이라는 개념으로 취급하는 것이 오해를 불러일으킬 수 있다고 주장합니다. 구체적으로, 풀 트레이스(full-trace) LLM 판정기나 프로세스 보상 모델과 같은 표준 방법들은 개별 스텝에 대한 인과적 주장을 무효화하는 정보(예: 미래의 단계나 최종 결과)를 조건부로 활용합니다. 핵심 문제는 이러한 평가 신호가 실제로 무엇을 측정하는지, 그리고 그것이 스텝 수준의 인과적 효과를 신뢰성 있게 식별할 수 있는지 결정하는 것입니다.

2. 방법론: SCAE 프레임워크

이를 해결하기 위해 저자들은 **구조적 인과 모델(SCM)**에 기반한 측정 프레임워크를 도입합니다. 이를 **SCAE (Step-level Causal Attribution Estimator, 스텝 수준 인과 귀속 추정기)**로 구현하였으며, 이는 세 가지 뚜렷한 수준에서 프로세스 평가를 측정하도록 설계된 리플레이 기반 추정기입니다.

2.1 구조적 인과 모델 (Structural Causal Model)

에이전트의 실행은 다음과 같이 모델링됩니다:

• 외생 변수 (Exogenous Variables): 잠재적 태스크 난이도 ($Z$), 디코딩 노이즈 ($G^{(t)}_\pi$), 환경 노이즈 ($U^{(t)}_{env}$).
• 정책 (Policy): 로그 확률을 섭동(perturbing)하여 액션을 선택하는 Gumbel-max 정식화로 정의됨.
• 결과 (Outcome): 검증 가능한 최종 결과 (예: 골드 파일 세트의 회상/추출).

2.2 식별 및 추정

목표는 단계 $t$에서 액션 $a$를 $a'$로 교체했을 때의 접두사 조건부 인과 효과를 추정하는 것입니다:
$$\theta_t(a, a') = E[Y_{A_t=a'} - Y_{A_t=a} \mid \tau_{1:t-1}]$$
여기서 $\tau_{1:t-1}$은 실현된 실행 접두사입니다.

주요 가정:

1. 컨텍스트 관측 가능성 (Context Observability): 상태는 이슈와 기록된 접두사의 결정론적 함수입니다.
2. 외생적 디코딩 노이즈: 디코딩 노이즈는 태스크 난이도 및 미래의 노이즈와 독립적입니다.
3. 리플레이 가능한 환경: 환경은 기록된 상태와 액션으로부터 결정론적으로 재현될 수 있습니다.

하이브리드 추정 전략 (SCAE):
코딩 에이전트는 종종 결정론적 동작을 보이므로(순수 관찰적 추정에 필요한 "양의성" 가정을 위반함), SCAE는 하이브리드 접근 방식을 사용합니다:

• 관찰 분기 (Observational Branch): 만약 접두사를 리플레이했을 때 다양한 다음 액션이 나타난다면(높은 엔트로피), 여러 번의 리플레이를 통해 결과를 평균 내어 효과를 추정합니다.
• 개입 분기 (Intervention Branch): 만약 정책이 결정론적이라면(낮은 엔트로피), 시스템은 대안적인 액션을 삽입하고, 실제 환경에서 이를 실행하여 진정한 도구 출력을 얻은 뒤, 나머지 궤적을 리플레이합니다. 이는 도구 출력을 허구로 만들어내는 것을 방지합니다.

2.3 측정 수준

이 프레임워크는 동일한 적합된 객체로부터 세 가지 유형의 측정을 생성합니다:

• 액션 수준: 다음 동작을 무엇이 예측하는지 특징짓습니다.
• 태스크 수준: 리플레이된 지속(continuation)의 분산을 통해 실행 불확실성을 측정합니다.
• 스텝 수준: 인과적 기여도를 귀속시키기 위한 "애니타임 가치(anytime value)" 증분($\Delta_t$)을 추정합니다.

3. 실험 설정

• 태스크: SWE-bench-Verified에서 유래한 파일 로컬라이제이션 (특정 이슈에 대해 수정해야 할 파일을 식별하는 작업).
• 데이터: 12개 저장소(django가 지배적)에 걸친 499개의 에피소드.
• 프로토콜: 에이전트를 한 번 실행(roll out)합니다. 선택된 접두사를 재구성하고, 가치 함수와 불확실성을 추정하기 위해 지속 과정을 리플레이합니다 (지점당 8회 리플레이).
• 평가: 연구는 에이전트 성능 향상보다는 측정 신뢰성에 초점을 맞춥니다.

4. 주요 결과

4.1 액션 수준: 프로비넌스(Provenance) vs. 그래프 구조

• 결과: 에이전트의 다음 액션을 예측하는 가장 강력한 예측 인자는 코드 의존성 그래프가 아니라 실행 프로비넌스(방금 확인한 도구 출력의 경로와 파일들)입니다.
• 근거: "첫 방문(first-visit)" 단계(타겟 파일이 아직 발견되지 않은 단계)에서, 가장 최근의 도구 출력만을 사용하는 예측 모델은 0.326의 top-3 정확도를 달了했습니다. 반면, 강화된 코드 의존성 그래프 예측 모델은 0.058에 그쳤습니다.
• 시사점: 에이전트는 글로벌 저장소 구조가 아닌 즉각적인 관측 컨텍스트를 기반으로 탐색합니다.

4.2 태스크 수준: 불확실성은 국소적이지 않고 전역적이다

• 결과: 실행 불확실성은 스텝 수준이 아니라 주로 태스크(인스턴스) 수준에서 구조화되어 있습니다.
• 근거: 리플레이된 결과의 분산은 특정 인스턴스에 의해 강하게 설명되었으나 (ICC = 0.640), 스텝 위치나 도구 유형에 의해서는 설명되지 않았습니다. 또한, 190개의 추정된 스텝 효과 중 FDR(False Discovery Rate) 보정을 통과한 것은 0개였습니다.
• 시사점: 실행의 성공 또는 실패는 개별 스텝의 누적 효과보다는 특정 태스크 인스턴스의 난이도에 의해 크게 결정됩니다. 이는 스텝 수준의 인과적 귀속을 실질적인 리플레이 비용 내에서 수행하는 것을 경험적으로 불가능하게 만듭니다.

4.3 스텝 수준: 풀 트레이스 판정기의 충돌 변수 편향 (Collider Bias)

• 결과: 관찰적 귀속 방법, 특히 풀 트레이스 LLM 판정기는 **충돌 변수 편향(collider bias)**을 겪습니다.
• 근거: 다운스트림 단계가 판정기에게 보일 때, "책임이 전가된" 스텝은 (다운스트림 단계가 숨겨졌을 때의 중앙값 정규화 위치 0.17에 비해) 궤적의 훨씬 후반부(중앙값 정규화 위치 0.88)로 이동했습니다. 평균 변위는 정규화된 위치 기준으로 +0.537만큼 늦게 나타났습니다.
• 시사점: 풀 트레이스 판정기는 인증된 인과적 기여도를 측정하는 것이 아닙니다. 대신, 그들은 다운스트림 증거에 의해 풍부해진 **의미적 관련성(semantic relevance)**을 측정합니다. 이들은 실패와 의미적으로 연관된 스텝(예: 골드 파일을 건드리는 스텝)을 선택하지만, 액션의 자손(descendants)을 조건부로 하기 때문에 궤적의 끝부분으로 편향됩니다.

5. 기여 및 의의

이 논문의 주요 기여는 액션 예측, 태스크 불확실성, 스텝 귀속을 분리하는 측정 프레임워크를 제시한 것입니다.

• 개념적 명확화: "프로세스 평가"가 단일한 문제가 아님을 확립했습니다. 다음 액션을 예측하는 데 유용한 신호(프로비넌스)나 태스크 난이도를 특징짓는 신호(인스턴스 분산)를 스텝 수준의 인과적 귀속과 혼동해서는 안 됩니다.
• 방법론적 엄밀성: 저자들은 SCAE를 통해 프로세스 평가기가 무엇을 식별할 수 있고 없는지를 테스트하는 원칙적인 방법을 제공합니다. 불확실성이 태스크 수준에 존재할 경우, 형식적인 식별 가능성이 반드시 경험적 측정 가능성을 보장하지는 않는다는 점을 입증합니다.
• 현재 관행에 대한 비판: 본 논문은 현재의 프로세스 평가기(예: 풀 트레이스 판정기)가 다운스트림 정보에 의해 체계적으로 편향되어, 인과적 기여도가 아닌 의미적 관련성을 측정한다는 경험적 근거를 제시합니다.

한계 및 범위:
저자들은 다음과 같은 점을 인정하며 겸허한 태도를 취합니다:

• 이 결과는 리플레이 가능성과 검증 가능한 결과가 있는 파일 로컬라이제이션 설정에 특화되어 있습니다.
• 스텝 수준의 인과적 귀속은 이 설정에서 경험적으로 약하게(underpowered) 나타나는데, 이는 인과 관계가 존재하지 않아서가 아니라 불확실성이 너무 전역적이어서 실행 가능한 계산 비용 내에서 국소화하기 어렵기 때문입니다.
• 불확실성 분해(태스크 vs. 정책 vs. 모델)는 실제 트레이스가 아닌 합성 데이터에서 검증되었습니다.

결론:
본 논문은 프로세스 평가를 단일한 벤치마크로 취급해서는 안 된다고 결론짓습니다. 대신, 평가 도구는 그들이 측정하고자 하는 특정 수준에 대해 검증되어야 합니다. 액션 예측기는 강력할 수 있고, 태스크 불확실성은 구조화되어 있을 수 있지만, 스텝 수준의 인과적 국소화는 실질적인 환경에서 여전히 불가능할 수 있습니다. 이러한 구별된 수준을 인식하는 것은 프로세스 신호를 올바르게 해석하는 데 필수적입니다.