Agent Step Value: Probing the Observer Effect in Black-Box Traces

기술 요약: 에이전트 단계 가치 (Agent Step Value, ASV)

문제 정의
언어 모델 에이전트에 대한 최종 답변 평가는 블랙박스 분석을 수행하기에 불충분하다. 이는 에이전트의 상태를 개선하거나 저하시킨 특정 전이(transition)가 무엇인지 식별하는 것을 방해하기 때문이다. ReAct나 DSPy와 같은 시스템은 검색, 합성, 검토를 포함하는 복잡한 워크플로우를 생성하지만, 표준 메트릭은 특정 단계(예: 검색 호출 또는 감사)가 가치를 더했는지 아니면 오류를 유입했는지를 분리하여 측정할 수 없다. 또한, 기존의 프로세스 감독(process supervision) 방법들은 에이전트의 행동과 평가자의 특정 프롬프트 민감도를 혼재시키는 사전 정의된 레이블이나 보상 모델에 의존하는 경우가 많다. 따라서 평가자 자체를 정답(ground truth)으로 취급하지 않으면서 전이 수준의 신념 업데이트를 측정하는 동시에, 평가 프로토콜 자체가 측정된 결과에 어떻게 영향을 미치는지 명시적으로 고려하는 프레임을 구축할 필요가 있다.

방법론: 에이전트 단계 가치 (ASV)
저자들은 에이전트가 상태 $x_{i-1}$에서 $x_i$로 동작 $a_i$를 통해 전이할 때, 고정된 후보 집합 $C$에 대한 평가자의 신념 변화를 점수화하도록 설계된 리플레이 프레임워크인 ASV를 소개한다.

• 상태 투영 및 스코어링 (State Projection and Scoring): ASV는 에이전트 상태의 "익명화된 투영(redacted projection)"을 처리하는 상태 기반 LLM 평가기($E_\theta$)를 사용한다. 이 투영은 물리적 레이블, 정답, 비밀 정보를 제거하되, 안정적인 후보 식별자와 텍스트만을 유지한다.
• 숙고와 스코어링의 분리 (Deliberation vs. Scoring): 숙고(reasoning)와 스형(scoring)을 분리하기 위해, 프로토콜은 2단계 접근 방식을 사용한다. 먼저, 평가기는 후보들에 대해 레이블이 없는 압축된 근거($r_x$)를 생성한다. 그 다음, 물리적 레이블 매핑을 추가하고, 평가기는 로그 확률(log-probabilities)을 사용하여 단일 옵션 토큰을 스코어링한다. 이는 추론 서문(preamble)이 첫 번째 토큰 선택을 편향시키는 것을 방지한다.
• 진단 (Diagnostics): ASV는 각 전이에 대해 세 가지 별도의 메트릭을 계산한다:
  1. 엔트로피 이동 ($\Delta H$): 불확실성의 변화를 측정한다.
  2. 베이지안 서프라이즈 ($S$): 방향과 관계없이 신념 분포의 변화량($D_{KL}$)을 측정하며, 엔트로피가 놓칠 수 있는 피벗(pivot)을 탐지한다.
  3. 골드 마진 이득 ($G_{margin}$): 검토된 타겟 후보 $g$와 그와 가장 가까운 경쟁자 사이의 로그 가능도 마진(log-likelihood margin) 변화를 측정한다. 이는 타겟을 향한 이동 또는 타겟으로부터 멀어지는 움직임을 나타낸다.
• 프로토콜 민감도 (Protocol Sensitivity): ASV는 평가 프롬프트, 근거 정책, 그리고 투영을 하나의 "측정 채널(measurement channel)"로 취급한다. 서로 다른 채널(예: 근거 길이 또는 레이블 순열 변경) 하에서 동결된 전이를 리플레이함으로써, ASV는 평가 프로토콜 자체가 인지된 단계의 가치를 얼마나 변화시키는지, 즉 "채널 효과"를 정량화한다.

실험 설정
본 연구는 PubMed 증거 검색을 포함하는 100개의 Open-QA 태스크를 활용하여 1,100개의 에이전트 단계를 생성하였다. 트레이스는 128-토큰 근거 조건부 프로토콜로 구성된 DeepSeek 모델을 사용하여 평가되었다. 저자들은 이를 직접적인 단일 토큰 스코어링과 비교하였으며, 동일한 전이를 다양한 채널 수정(예: 512-토큰 근거, 추출 버퍼, 레이블 순열) 하에서 리플레이하여 변동의 원인을 격리하였다.

주요 결과

• 근거 프로토콜 하에서의 음수 단계 가치: 128-토큰 근거 조건부 프로토콜 하에서 평균 골드 마진 이득은 유의미하게 음수(-2.335)였으며, 이는 많은 전이가 평가자의 신념을 정답 타겟으로부터 멀어지게 했음을 나타낸다. 반면, 동일한 트레이스에 대한 직접적인 단일 토에는 양수의 이득(+4.033)을 보였다.
• 엔트로피 맹목성 (Entropy Blindness): 엔트로피 이동은 단계 전반에 걸쳐 효과적으로 0.000이었으며, 변화를 감지하는 데 실패했다. 그러나 평균 베이지안 서프라이즈는 2.693으로 나타나, 평가자의 신념이 전체적인 불확실성을 변화시키지 않으면서도 거의 원-핫(one-hot) 형태의 피벗(즉, 한 후보에서 다른 후보로 확신이 전환됨)을 겪었음을 드러냈다.
• 손실 국소화 (Localization of Damage): 가장 큰 음수 단계 가치는 추출(extraction)(-7.790) 및 감사(audit)(-7.392) 단계, 특히 증거가 워크플로우에 진입한 이후에 발생했다. 이는 중간 상태를 압축하거나 비판하는 과정이 타겟 지향적 신념을 저하시키는 경우가 많음을 시사한다.
• 근거 압축이 주된 원인: 구성 요소 귀속 감사 결과, 양수에서 음수로의 역전은 주로 근거 압축(rationale compression) 채널에 의해 발생했다. 전체 상태 직접 스코어링은 양수(+7.750)였으나, 128-토큰 생성 근거 채널은 급격한 음수(-21.741)를 기록했다. 근거를 512토큰으로 확장하거나 추출 버퍼를 사용하는 것은 이러한 역전을 상당히 완화하였는데, 이는 짧게 생성된 근거가 정확한 평가에 필요한 핵심 단서들을 압축하여 없애버린다는 것을 시사한다.

의의 및 주장
본 논문은 ASV가 최종 답변 메트릭이나 엔트로피 기반 분석으로는 보이지 않는 에이전트 트레이스 내의 "신념 피벗(belief pivots)"과 "손상/복구(damage/repair)" 이벤트를 국소화하는 방법을 제공한다고 주장한다. 이 연구의 주요 기여는 단계 가치가 에이전트의 전이에 내재된 속성이 아니라, 평가 채널에 의해 공동 결정된다는 점을 입증한 것이다.

저자들은 특정 평가자 채널이 없는 단계 가치는 모호하다고 주장하는데, 왜냐하면 그것이 실제 에이전트의 행동과 투영, 압축 또는 스코어링 규칙에 의해 도입된 아티팩트(artifact)를 혼재시킬 수 있기 때문이다. 프롬프트와 근거 정책을 측정된 채널로 취급함으로써, ASV는 연구자가 평가 프로세스 자체를 감사할 수 있게 한다. 연구는 높은 이해관계가 걸린 환경에서는 수치적 단계 가치를 객로적인 보상으로 신뢰해서는 안 되며, 관찰된 개선이나 저하가 단순히 평가 설정의 아티팩트가 아님을 보장하기 위해 프로토콜 민감도 진단과 함께 보고되어야 한다고 결론짓는다. 이 프레임워크는 인과적 보상 추정기가 아닌, 에이전트 워크플로우를 디버깅하기 위한 진단 도구로 제시된다.