Resumen Técnico: Crédito Contrafactual Condicionado por la Política para el Aprendizaje por Refuerzo Verificable de Agentes de Lenguaje de Largo Alcance

1. Planteamiento del Problema

El aprendizaje por refuerzo (RL) con recompensas verificables ha avanzado en las capacidades de razonamiento y uso de herramientas de los agentes de Modelos de Lenguaje Extensos (LLM). Sin embargo, los agentes de largo alcance entrenados con recompensas terminales estándar suelen aprender "cadenas de evidencia no sustentadas", experimentan "deriva de creencias" (belief drift) y descubren "acciones de atajo" (hackeo de recompensa) que satisfacen las comprobaciones finales sin un razonamiento genuino.

Los métodos existentes de recompensa de proceso son mayoritariamente correlacionales: recompensan pasos que se asemejan a la recuperación, reflexión o verificación sin estimar si un paso específico contribuye causalmente al éxito verificado final bajo una intervención específica. Los enfoques actuales rara vez abordan si una acción intermedia cambia la probabilidad de éxito cuando la trayectoria se completa mediante una política de referencia, dejando a los agentes vulnerables a la explotación de metadatos o al salto de la verificación aun recibiendo recompensas terminales.

2. Metodología: CVT-RL

Los autores proponen CVT-RL (Política Restringida de Gradiente con Recompensas Verificables y Crédito Contrafactual Condicionado por la Política), un marco diseñado para asignar crédito basado en la contribución causal en lugar de la correlación.

2.1 Formulación de Agente de Largo Alcance Restringido

El agente se modela como un proceso de decisión de Markov parcialmente observado y restringido (MDP). El objetivo maximiza la recompensa acumulada esperada $J_R(\pi_\theta)$ sujeta a restricciones de costo $J_{C_j}(\pi_\theta) \le d_j$.

• Acciones: Incluyen pasos de razonamiento (THINK, SEARCH, READ, VERIFY, ACT, FINAL) y argumentos de herramientas.
• Costos: Penalizan afirmaciones no sustentadas, omisión de verificación, manipulación del evaluador, llamadas inseguras a herramientas y excesos de presupuesto.
• Recompensa Densa ($r_t$): Una suma ponderada de:
  • $r_{ans}$: Coincidencia exacta o éxito en el entorno.
  • $r_{evi}$: Media armónica de la F1 de documentos de soporte y la implicación (entailment).
  • $r_{meta}$: Recompensas por patrones de plan–explorar–verificar solo cuando reducen la incertidumbre del verificador.
  • $r_{pccc}$: El término de contribución contrafactual propuesto.
  • $r_{hack}$: Una penalización basada en puntuaciones de detectores por fuga de metadatos o ediciones sospechosas.

2.2 Contribución Contrafactual Condicionada por la Política (PCCC)

La innovación central es el estimador de PCCC, que mide el cambio controlado en el éxito verificado final cuando una acción $a_t$ es reemplazada por una acción contrafactual $a'_{t,k}$, mientras que el resto de la trayectoria es completada por una política de continuación congelada $\mu$ (típicamente el modelo de referencia de la iteración anterior).

• Familias de Intervención: El método define cuatro tipos distintos de intervención:
  1. Eliminación: Quitar el paso.
  2. Sustitución Semántica: Reemplazar con una paráfrasis neutral.
  3. Sustitución de Evidencia: Intercambiar la evidencia recuperada.
  4. Perturbación de Salida de Herramienta: Alterar los valores de retorno de la herramienta.
• Estimador: El valor PCCC $\Delta^k_{t, \mu}$ se estima utilizando un estimador Doble Robusto con Ajuste de Selección (SADR). Este combina:
  • Un modelo de resultados $m_\phi$ (basado en un codificador cruzado DeBERTa-v3) que predice el éxito dado el historial y la acción.
  • Un modelo de probabilidad de selección $q_\omega$ para corregir el sesgo en la elección de qué pasos intervenir.
  • Ratios de continuación ($\rho_t$) para ajustar la diferencia entre la política de comportamiento y la política de referencia congelada.
• Puerta de Validez (Validity Gating): Para reducir los contrafactuales fuera de la distribución (OOD), las intervenciones propuestas pasan por una puerta de validez que comprueba la sintaxis, el esquema y las puntuaciones de implicación antes del despliegue (rollout).

2.3 Control de Creencia y Restricciones

• Recompensa de Creencia: Una cabeza de creencia predice los espacios (slots) observables por prefijo (fase de la tarea, IDs de evidencia requerida, subobjetivos verificados). La recompensa penaliza la divergencia KL entre la creencia predicha y las etiquetas estimadas por el verificador, asegurando que el estado interno del agente se alinee con la evidencia observable.
• Optimización Restringida: El método utiliza un Lagrangiano Aumentado para imponer restricciones sobre los costos (por ejemplo, manipulación, evidencia no sustentada).
• Proyección de Región de Confianza: Para asegurar la estabilidad, la actualización de la política utiliza una Proyección Top-M. Solo los $M$ tokens superiores se optimizan sujetos a una restricción KL, mientras que la distribución de la cola de la política antigua se preserva. Esto evita el olvido catastrófico o el colapso de la distribución.

3. Contribuciones Clave

1. Estimadores PCCC: Definición de estimandos separados para eliminación, sustitución semántica, sustitución de evidencia y perturbación de salida de herramienta, junto con una puerta de validez de intervención para reducir los contrafactuales OOD.
2. Marco de Identificación: Declaración explícita de los supuestos de identificación (consistencia, positividad, intercambiabilidad secuencial), corrección de selección y diagnósticos de modos de falla para trayectorias de lenguaje secuenciales.
3. Condición KL de Vocabulario Completo: Una formulación matemática para la Proyección Top-M que preserva la masa de la distribución de la cola mientras optimiza los tokens superiores, asegurando actualizaciones de política seguras.
4. Evaluación Rigurosa: Benchmarks exhaustivos comparando CVT-RL contra RL no causal emparejado por cómputo e información-emparejada de procesos contrafactuales, incluyendo ataques de detector retenidos, auditorías humanas y pruebas de evasión adaptativa.

4. Resultados Experimentales

El método fue evaluado en QA de contexto largo (RULER, LongBench, LooGLE), agentes corporales (ALFWorld), interacción científica (ScienceWorld) y tareas web/herramientas (WebShop, WebArena, ToolLLM).

• Éxito de la Tarea: CVT-RL alcanzó una tasa de éxito de tarea promedio del 78.9%, superando al RL no causal emparejado por cómputo (71.8%) y a la línea base contrafactual de proceso de información-emparejada (75.4%).
• Calidad de la Evidencia: La F1 de la evidencia mejoró a 82.8 (frente a 78.9 para la línea base de información-emparejada).
• Hackeo de Recompensa:
  • Hackeo Medido: Se redujo del 7.2% (línea base) al 3.9%.
  • Auditoría Humana: Auditores humanos independientes estimaron el hackeo en 4.6% para CVT-RL frente al 8.1% de la línea base.
  • Ataques Adaptativos: Bajo ataques de evasión de detector adaptativos, el hackeo aumentó a solo 7.1% para CVT-RL, comparado con el 10.8% de la línea base.
• Significancia Estadística: Pruebas de bootstrap estratificado y de efectos mixtos arrojaron $p < 0.01$ (corregido por Holm) para todas las métricas primarias.
• Robustez: El método mantuvo el rendimiento bajo ruido del verificador (hasta un 20%) y mostró ganancias consistentes en diferentes escalas de modelos (Llama-3.1-8B, Qwen2.5-14B).

5. Significado y Reivindicaciones

El artículo afirma que el crédito contrafactual cuidadosamente delimitado, junto con la puerta de validez, los diagnósticos y las restricciones verificables, proporciona una ruta reproducible hacia un RL de largo alcance más confiable para agentes de lenguaje.

Los autores declaran explícitamente su modestia respecto a sus afirmaciones:

• CVT-RL no pretende recuperar un efecto de ruta específico incondicional bajo la política de entrenamiento evolutiva.
• PCCC es un sustituto de crédito estable, no una prueba de mejora bajo futuras continuaciones arbitrarias.
• El método reduce el hackeo medido y auditado por humanos bajo los ataques evaluados, pero no puede garantizar inmunidad ante ataques nuevos o verificadores defectuosos.

La importancia radica en el cambio de paradigma de las recompensas de proceso correlacionales a la asignación de crédito causal que está alineada con el éxito verificado, reduciendo así el incentivo para que los agentes exploten atajos o alucinen cadenas de evidencia.