Resumen Técnico: EviBack

Planteamiento del Problema

El aprendizaje por refuerzo (RL) ha permitido que los sistemas de Generación Aumentada por Recuperación (RAG) agénticos aprendan estrategias de búsqueda multiturno a partir de recompensas de resultados verificables. Sin embargo, existe una limitación crítica en los paradigmas de entrenamiento actuales: cuando un grupo de trayectorias muestreadas (rollouts) no produce respuestas correctas (un grupo de "todos ceros"), la señal de RL estándar no proporciona información comparativa. En estos escenarios, la ventaja normalizada es cero, lo que hace que el progreso parcial o los comportamientos de búsqueda intermedios correctos sean indistinguibles de un fracaso total. Además, los métodos existentes que dependen del diseño manual de prompts para la evaluación de procesos a menudo no logran caracterizar de manera estable dimensiones como la racionalidad de la consulta y la suficiencia de la evidencia, o corren el riesgo de permitir que las respuestas de referencia anulen los juicios sobre la insuficiencia de evidencia.

Metodología

El artículo propone EviBack, un marco diseñado para suministrar supervisión auxiliar a los grupos de rollouts de todos ceros, preservando al mismo tiempo la integridad de las recompensas verificables del Actor. La metodología consta de tres componentes principales:

1. Retroceso del Profesor con Restricción de Evidencia (Evidence-Constrained Teacher Backoff)

EviBack introduce un modelo "Profesor" (Teacher) que actúa como un mecanismo de respaldo. Se activa únicamente cuando un grupo de rollouts del Actor contiene ninguna trayectoria con una coincidencia exacta verificable (grupos de todos ceros).

• Arquitectura de Dos Etapas: El Profesor separa la evaluación de la evidencia de la refinación de la respuesta para evitar que las respuestas de referencia enmascaren la insuficiencia de la evidencia.
  • Etapa A (Ciega a la Verdad de Oro / Gold-Blind): Evalúa si la evidencia acumulada visible para el Actor es suficiente para responder a la pregunta. Emite un estado: Suficiente (S), Insuficiente (I) o Ambiguo (A). Esta etapa opera sin acceso a la respuesta de verdad de oro (ground-truth).
  • Etapa B (Consciente de la Verdad de Oro / Gold-Aware): Solo se ejecuta si la Etapa A determina que la evidencia no es insuficiente ($s_A \neq I$). Refina la respuesta para alinearla con la referencia, pero preserva estrictamente el límite de "Insuficiente" establecido por la Etapa A.
• Señal de Recompensa: Para los grupos de todos ceros, el Profesor proporciona una recompensa híbrida basada en el estado y una puntuación F1 alineada con la referencia. Esta recompensa se escala hacia abajo (por un factor $\lambda = 0.1$) para asegurar que no sobresalga la señal de aprendizaje de los grupos que contienen aciertos verificados.

2. E2E-APE (Ingeniería de Prompts Automática de Extremo a Extremo)

Para construir la política del Profesor, los autores proponen E2E-APE, un método de generación de prompts de juez guiado por restricciones.

• Proceso: A diferencia de la optimización de prompts tradicional que maximiza las puntuaciones finales de la tarea, E2E-APE parte de restricciones explícitas requeridas para la evaluación de procesos intermedios (por ejemplo, racionalidad de la consulta, efectividad de la evidencia).
• Automatización: Utilizando un controlador GPT-5.5, el flujo de trabajo particiona automáticamente los datos de los rollouts, genera prompts/flujos de trabajo candidatos, los evalúa contra métricas específicas (cumplimiento del límite de evidencia, estabilidad, costo) y selecciona una política de dos etapas con compuerta (gated).
• Resultado: Este proceso transforma un Profesor de un solo prompt redactado manualmente en una política de dos etapas congelada y versionada sin intervención manual tras el lanzamiento inicial.

3. Protocolo de Entrenamiento

El sistema utiliza GRPO (Optimización de Política Relativa de Grupo).

• Precedencia del Actor: Si cualquier trayectoria en un grupo logra una coincidencia exacta verificable, el Profesor es omitido y se utilizan las recompensas estándar del Actor.
• Retroceso Selectivo: El Profesor se invoca solo para los grupos donde todas las trayectorias fallan. Las recompensas resultantes se normalizan dentro del grupo, y la ventaja de retroceso se escala para mantener una contribución de gradiente de política menor que la de los grupos con aciertos verificados.

Contribuciones Clave

1. E2E-APE: Un método de ingeniería de prompts automática de extremo a extremo basado en restricciones para generar prompts de juez. Desplaza el enfoque de la maximización del rendimiento final de la tarea hacia la satisfacción de restricciones para la evaluación de procesos intermedios, reduciendo los costos de diseño manual y mejorando la estabilidad de la puntuación.
2. Marco EviBack: Un sistema de recompensa híbrido para RAG de agentes de búsqueda que combina recompensas de respuesta final verificables con recompensas de proceso derivadas del Profesor. Extiende la supervisión de RL desde los resultados finales hacia la calidad de las trayectorias de búsqueda, abordando específicamente el problema de los grupos de "todos ceros".
3. Preservación del Límite de Evidencia: Un diseño de Profesor de dos etapas novedoso que desacopla el juicio de suficiencia de evidencia de la refinación de la respuesta, asegurando que las respuestas de referencia no puedan anular los juicios de insuficiencia de evidencia.

Resultados Experimentales

Los autores evaluaron EviBack a través de siete benchmarks de QA de dominio abierto (incluyendo NQ, HotpotQA, MuSiQue, 2WikiMultiHopQA, etc.) y tres escalas del modelo Qwen3 (0.6B, 1.7B y 4B).

• Ganancias de Rendimiento: EviBack mejoró consistentemente las puntuaciones F1 sobre la base fuerte de Search-R1.
  • En la escala de 1.7B, EviBack logró una ganancia relativa del 16% sobre la línea base.
  • Se observaron mejoras tanto en las puntuaciones macro F1 de un salto (single-hop) como de múltiples saltos (multi-hop) en todas las escalas.
• Eficiencia de Búsqueda: El método redujo el número medio de búsquedas, las tasas de consultas duplicadas y las tasas de terminación forzada (max-turn). Por ejemplo, en la escala de 1.7B, la tasa de respuestas válidas aumentó de 0.7317 a 0.8611, mientras que las búsquedas medias disminuyeron de 1.73 a 1.59.
• Construcción del Profesor: El Profesor construido mediante E2E-APE superó al Profesor de doble tarea de un solo prompt diseñado manualmente, mejorando el F1 en 0.0260 y la tasa de respuestas válidas en 0.2197, reduciendo significancialmente la sobrecarga de búsqueda.
• Estudios de Ablación: Los experimentos confirmaron que el límite de evidencia de dos etapas y el factor de escala de retroceso específico ($\lambda=0.1$) fueron críticos para equilibrar las ganancias de rendimiento con la eficiencia de búsqueda.

Significancia y Reivindicaciones

El artículo afirma que EviBack aborda una brecha fundamental en el entrenamiento de agentes de búsqueda: la falta de señales comparativas en los casos de fallo. Al introducir un mecanismo de retroceso selectivo y restringido por la evidencia, el sistema proporciona retroalimentación detallada sobre el razonamiento intermedio sin comprometer la verificabilidad de la recompensa final.

Los autores enfatizan que su enfoque:

• Restaura la supervisión auxiliar para los grupos que, de otro modo, no proporcionarían ninguna señal de aprendizaje.
• Evita la filtración de la referencia (reference leakage) que distorsione los juicios de suficiencia de evidencia, un problema común en los modelos de recompensa de proceso.
• Demuestra la viabilidad de la ingeniería de prompts automática (E2E-APE) para crear políticas de evaluación complejas que satisfagan restricciones y superen los diseños manuales.

El trabajo concluye que, si bien existen direcciones para la investigación futura (como señales más ricas derivadas del Profesor, tales como la calidad de la consulta o la redundancia), el diseño actual restringido por la evidencia ofrece un método robusto y efectivo para mejorar el rendimiento de RAG agéntico. Se promete que el código se hará público en una etapa posterior.