Resumen Técnico: ¿Puede David a Goliat? Sobre el Razonamiento Multi-Salto con Agentes con Recursos Limitados

Declaración del Problema

El artículo aborda el desafío de entrenar agentes de modelos de lenguaje pequeños (SLM) para realizar razonamiento multi-salto (por ejemplo, Respuesta a Preguntas multi-salto) bajo estrictas restricciones de recursos. Si bien el Aprendizaje por Refuerzo (RL) ha entrenado con éxito agentes para tareas complejas, los enfoques existentes dependen típicamente de configuraciones de alto costo que implican tamaños de lote grandes y extensas expansiones en política (por ejemplo, miles de trayectorias por actualización). Estas configuraciones son inaccesibles para investigadores que utilizan hardware comercial (por ejemplo, 4×GPUs RTX 3090).

Bajo restricciones de bajo presupuesto (lotes pequeños, pocas expansiones), los métodos estándar de RL como la Optimización de Política Relativa de Grupo (GRPO) enfrentan un cuello de botella crítico: cada actualización contiene demasiadas pocas trayectorias útiles de la política actual para formar estimaciones de ventaja significativas. Específicamente, en la recuperación multi-salto, un agente debe acumular múltiples documentos de apoyo (evidencia puente y evidencia de respuesta). Con expansiones dispersas, los agentes a menudo fallan al recuperar cualquier evidencia útil, lo que lleva a un "colapso de la política" donde el agente recibe cero recompensas y no puede aprender. Las soluciones existentes fallan en este régimen:

• Inicialización basada en SFT (Ajuste Fino Supervisado) genera sobreajuste cuando las trayectorias anotadas son escasas.
• Recompensas a nivel de recuperación a menudo asignan crédito a documentos individuales sin optimizar la cobertura del conjunto completo de evidencia.
• Expansión de trayectorias (por ejemplo, Tree-GRPO) desperdicia capacidad de cálculo al expandir desde prefijos que carecen de señales de progreso en la evidencia.

Metodología: DAVID-GRPO

Los autores proponen DAVID-GRPO, un marco de RL eficiente en presupuesto diseñado para hacer que pequeños lotes de trayectorias sean más informativos aprovechando información tanto de fuera como de dentro de la política actual. El método consta de dos componentes principales:

1. Arranque con Expertos (Inyección Fuera de Política)

Para prevenir el colapso temprano de la política cuando la propia exploración del agente no genera recompensas, DAVID-GRPO inyecta un pequeño número de trayectorias de expertos fuera de política en el grupo de actualización de RL.

• Mecanismo: En lugar de depender de miles de trayectorias anotadas para el Ajuste Fino Supervisado (SFT), el método utiliza un grupo de trayectorias de expertos "pocos ejemplos" ($X_{inj}$) que contiene solo $k$ ejemplos (donde $k \ll |X_{train}|$).
• Integración: Para una entrada dada, el grupo de entrenamiento se construye con una trayectoria de experto fuera de política ($\tau^*$) y $G-1$ trayectorias en política muestreadas de la política actual ($\pi_\theta$).
• Objetivo: La función de pérdida se modifica para incluir un objetivo mixto donde la trayectoria de experto se asigna una ventaja específica para fomentar la imitación, mientras que las trayectorias en política se actualizan mediante ventajas relativas de grupo estándar. Esto proporciona una señal de gradiente incluso cuando la exploración del agente falla.

2. Exploración Guiada por Evidencia (Reutilización en Política)

Para abordar el problema de lotes subóptimos donde ninguna trayectoria logra una recompensa perfecta, el método introduce una señal de recompensa más densa y un mecanismo para reutilizar éxitos parciales.

• Recompensa de Cobertura de Evidencia ($r_g$): En lugar de depender únicamente de la corrección de la respuesta final ($r_o$), el método calcula una recompensa basada en el recuerdo del conjunto completo de soporte $D$ dentro del conjunto acumulativo de documentos recuperados $\hat{D}_{union}$ a lo largo de toda la trayectoria.
  $$r_g(\tau) = \frac{|\hat{D}_{union} \cap D|}{|D|}$$
  La recompensa total es una suma ponderada: $R(\tau) = \lambda r_g(\tau) + (1-\lambda)r_o(\tau)$. Esto incentiva al agente a recuperar todos los documentos de puente y respuesta necesarios, no solo la respuesta final.
• Continuación de Prefijos: Si la mejor trayectoria en un lote sigue siendo subóptima (es decir, cobertura de evidencia incompleta), el método identifica el último paso $t'$ donde aumentó la cobertura de evidencia. Se trunca la trayectoria en $t'$ y se vuelve a muestrear la continuación desde la política actual. Si la nueva continuación mejora la recompensa, reemplaza a la peor trayectoria del lote. Esto efectivamente "recicla" prefijos prometedores para generar ejemplos de mayor calidad sin requerir expansiones completas adicionales.

Contribuciones Clave

1. Marco DAVID-GRPO: Un marco de RL novedoso que combina el arranque con expertos y la exploración guiada por evidencia para habilitar el entrenamiento de razonamiento multi-salto en modelos pequeños con capacidad de cálculo limitada.
2. Ganancias de Eficiencia: Demuestra que agentes pequeños (hasta 1.5 mil millones de parámetros) pueden aprender estrategias complejas de recuperación multi-salto utilizando solo el 4.7% del presupuesto de expansiones requerido por líneas base de alto costo como Tree-GRPO.
3. Cambio Conductual: Muestra que DAVID-GRPO aprende a realizar múltiples acciones de recuperación y a acumular conjuntos completos de evidencia, mientras que las líneas base de bajo presupuesto anteriores a menudo omiten la recuperación o se detienen después de búsquedas superficiales.
4. Robustez: El método permanece estable a través de diferentes tamaños de modelo (de 0.5B a 1.5B) y se generaliza a cadenas de uso de herramientas más allá de las preguntas y respuestas estilo Wikipedia (por ejemplo, benchmarks de uso de herramientas BFCL).

Resultados Experimentales

Los autores evaluaron DAVID-GRPO en seis benchmarks de preguntas y respuestas multi-salto (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle, BamTwoogle y AntiLeakBench) utilizando modelos Qwen2.5 y Llama-3.2 (0.5B y 1.5B parámetros) entrenados en 4×GPUs RTX 3090.

• Rendimiento vs. Líneas Base de Alto Presupuesto: A pesar de utilizar solo el 4.7% del presupuesto de expansiones de la línea base de alto costo Tree-GRPO, DAVID-GRPO logró puntuaciones de Coincidencia Exacta (EM) más altas en 2WikiMultiHopQA, MuSiQue y Bamboogle.
• Rendimiento vs. Líneas Base de Bajo Presupuesto: Bajo las mismas restricciones de bajo presupuesto, DAVID-GRPO superó significativamente a otros métodos de bajo presupuesto (Tree-GRPO, StepSearch, Search-R1-v0.3). Por ejemplo, en la escala 1.5B de AntiLeakBench, superó a la segunda mejor línea base en 19.6 puntos porcentuales en EM.
• Comportamiento de Recuperación: El análisis reveló que los agentes de DAVID-GRPO realizaron entre 2 y 3 acciones de recuperación en promedio, cubriendo con éxito tanto documentos puente como de respuesta. En contraste, líneas base como Tree-GRPO a menudo realizaron cero acciones de recuperación, dependiendo del conocimiento paramétrico.
• Estudios de Ablación: Eliminar cualquiera de los componentes de arranque con expertos o exploración guiada por evidencia condujo a una degradación del rendimiento, confirmando la necesidad de ambos mecanismos. El método también mostró robustez cuando se entrenó con "evidencia plateada" (preguntas generadas emparejadas con pares fijos de respuesta-soporte).

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella para los agentes pequeños en el razonamiento multi-salto no es el tamaño del modelo por sí solo, sino la falta de señales de entrenamiento densas y a nivel de evidencia bajo restricciones de recursos. Al introducir DAVID-GRPO, los autores demuestran que:

• Los agentes pequeños pueden aprender estrategias efectivas de recuperación multi-salto sin presupuestos de expansiones densos.
• Combinar unas pocas trayectorias de expertos fuera de política con reutilización guiada por evidencia en política puede estabilizar el entrenamiento y mejorar la eficiencia de la muestra.
• Este enfoque reduce la barrera de capacidad de cálculo para la investigación de agentes, haciendo factible que laboratorios académicos con hardware comercial reproduzcan y extiendan las capacidades de agentes previamente limitadas a organizaciones con muchos recursos.

Los autores concluyen que su trabajo proporciona una vía para entrenar agentes de recuperación capaces en hardware comercial, aunque señalan que el trabajo futuro podría reducir aún más la dependencia de la calidad del recuperador y la cobertura del corpus.