Agent Step Value: Probing the Observer Effect in Black-Box Traces

Resumen Técnico: Valor de Paso del Agente (ASV)

Planteamiento del Problema
Las evaluaciones de respuesta final para agentes de modelos de lenguaje son insuficientes para el análisis de caja negra porque oscurecen qué transiciones específicas dentro de un rastro mejoraron o degradaron el estado del agente. Mientras que sistemas como ReAct o DSPy generan flujos de trabajo complejos que involucran recuperación, síntesis y auditoría, las métricas estándar no pueden aislar si un paso específico (por ejemplo, una llamada de recuperación o una auditoría) añadió valor o introdujo un error. Además, los métodos de supervisión de procesos existentes a menudo dependen de etiquetas predefinidas o modelos de recompensa que confunden el comportamiento del agente con la sensibilidad específica al prompt del evaluador. Existe la necesidad de un marco que mida las actualizaciones de creencia a nivel de transición sin tratar al evaluador como la verdad de referencia, mientras contabiliza explícitamente cómo el propio protocolo de evaluación influye en el resultado medido.

Metodología: Valor de Paso del Agente (ASV)
Los autores presentan el Valor de Paso del Agente (ASV), un marco de reproducción diseñado para puntuar el cambio en la creencia de un evaluador sobre un conjunto de candidatos fijo $C$ a medida que un agente transiciona de un estado $x_{i-1}$ a $x_i$ mediante una acción $a_i$.

• Proyección de Estado y Puntuación: El ASV emplea un evaluador de LLM fundamentado en el estado ($E_\theta$) que procesa una "proyección redactada" del estado del agente. Esta proyección elimina etiquetas físicas, respuestas de oro y secretos, reteniendo únicamente identificadores de candidatos estables y texto.
• Deliberación vs. Puntuación: Para separar el razonamiento de la puntuación, el protocolo utiliza un enfoque de dos pasadas. Primero, el evaluador genera una racionalización compacta y libre de etiquetas ($r_x$) sobre los candidatos. Segundo, se añade un mapeo de etiquetas físicas, y el evaluador puntúa un único token de opción utilizando log-probabilidades. Esto evita que el preámbulo de razonamiento sesgue la selección del primer token.
• Diagnósticos: El ASV computa tres métricas distintas para cada transición:
  1. Movimiento de Entropía ($\Delta H$): Mide el cambio en la incertidumbre.
  2. Sorpresa Bayesiana ($S$): Mide la magnitud del cambio en la distribución de la creencia ($D_{KL}$) independientemente de la dirección, detectando pivotes que la entropía podría omitir.
  3. Ganancia de Margen de Oro ($G_{margin}$): Mide el cambio en el margen de log-verosimilitud entre un candidato objetivo revisado $g$ y su competidor más cercano. Esto indica el movimiento hacia o lejos del objetivo.
• Sensibilidad del Protocolo: El ASV trata el prompt de evaluación, la política de racionalización y la proyección como un "canal de medición". Al reproducir transiciones congeladas bajo diferentes canales (por ejemplo, variando la longitud de la racionalización o las permutaciones de etiquetas), el ASV cuantifica el "efecto del canal", midiendo cuánto altera el propio protocolo de evaluación el valor percibido de un paso.

Configuración Experimental
El estudio utilizó 100 tareas de QA abierta que involucraban la recuperación de evidencia de PubMed, generando 1,100 pasos de agente. Los rastros fueron evaluados utilizando un modelo DeepSeek configurado con un protocolo de racionalización condicionado a 128 tokens. Los autores compararon esto contra la puntuación directa de un solo token y reprodujeron los mismos transiciones bajo diversas modificaciones de canal (por ejemplo, racionalizaciones de 512 tokens, buffers extractivos, permutaciones de etiquetas) para aislar fuentes de varianza.

Resultos Clave

• Valores de Paso Negativos bajo Protocolos de Racionalización: Bajo el protocolo de racionalización condicionado a 128 tokens, la ganancia media de margen de oro fue significativamente negativa (-2.335), lo que indica que muchas transiciones movieron la creencia del evaluador lejos del objetivo correcto. En contraste, la puntuación directa de un solo token en los mismos rastros arrojó una ganancia positiva (+4.033).
• Ceguera de la Entropía: El movimiento de la entropía fue efectivamente cero (0.000) a través de los pasos, fallando en detectar cambios. Sin embargo, la sorpresa bayesiana media fue de 2.693, revelando que la creencia del evaluador experimentó pivotes cercanos a "one-hot" (cambiando la confianza de un candidato a otro) sin cambiar la incertidumbre general.
• Localización del Daño: Los valores de paso más negativos ocurrieron durante las fases de extracción (-7.790) y auditoría (-7.392), específicamente después de que la evidencia entró en el flujo de trabajo. Esto sugiere que comprimir o criticar los estados intermedios a menudo degrada la creencia dirigida al objetivo.
• La Compresión de la Racionalización como el Impulsor: Las auditorías de atribución de componentes revelaron que la reversión de puntuaciones positivas a negativas fue transportada principalmente por el canal de compresión de la racionalización. La puntuación directa de estado completo fue positiva (+7.750), pero el canal de racionalización generada de 128 tokens fue fuertemente negativo (-21.741). Extender la racionalización a 512 tokens o utilizar buffers extractivos mitigó en gran medida esta reversión, sugiriendo que las racionalizaciones cortas y generadas comprimen de forma errónea las pistas críticas necesarias para una evaluación precisa.

Significancia y Reivindicaciones
El artículo afirma que el ASV proporciona un método para localizar "pivotes de creencia" y eventos de "daño/reparación" en los rastros de agentes que son invisibles para las métricas de respuesta final o el análisis basado en entropía. Su contribución principal es demostrar que los valores de paso no son propiedades intrínsecas de la transición del agente, sino que están codeterminados por el canal de evaluación.

Los autores argumentan que un valor de paso sin su canal de evaluador específico es ambiguo, ya que puede mezclar el comportamiento real del agente con artefactos introducidos por la proyección, la compresión o las reglas de puntuación. Al tratar el prompt y la política de racionalización como un canal medido, el ASV permite auditar el proceso de evaluación mismo. El estudio concluye que en entornos de alto riesgo, los valores numéricos de los pasos no deben confiarse como recompensas objetivas; en su lugar, deben reportarse junto con diagnósticos de sensibilidad de protocolo para asegurar que las mejoras o degradaciones observadas no sean meros artefactos de la configuración de la evaluación. El marco se presenta como una herramienta de diagnóstico para depurar flujos de trabajo de agentes en lugar de un estimador de recompensa causal.