Resumen Técnico: PathRouter

Declaración del Problema

Los sistemas de Generación Aumentada por Recuperación de Grafos (GraphRAG) basados en agentes utilizan agentes de modelos de lenguaje para recuperar y razonar iterativamente sobre evidencia estructurada en grafos. Si bien estos sistemas pretenden mejorar la toma de decisiones al navegar por redes de información complejas, los métodos de entrenamiento existentes que dependen únicamente del aprendizaje por refuerzo (RL) basado en resultados sufren dos limitaciones críticas:

1. Aliasing de Recompensa de Camino-Respuesta (Answer-Path Reward Aliasing): El RL estándar asigna recompensas basándose solo en la corrección de la respuesta final. Esto confunde las trayectorias donde la respuesta correcta se deriva de caminos de evidencia útiles con aquellas donde la respuesta se recupera de la memoria paramétrica del modelo (atajos/shortcuts) a pesar de un fallo en la recuperación de la evidencia. En consecuencia, el modelo es reforzado por éxitos "afortunados" que no mejoran las capacidades de recuperación.
2. Ambigüedad de Actualización de Búsqueda (Search-Update Ambiguity): La retroalimentación escalar a nivel de trayectoria (por ejemplo, una única puntuación de recompensa para toda la interacción) no logra indicar qué acciones de recuperación específicas (consultas de búsqueda o pasos de razonamiento) contribuyeron al resultado. Esto deja al agente sin una guía accionable para ajustar su estrategia de búsqueda cuando una trayectoria falla o tiene éxito mediante atajos.

Metodología: PathRouter

Los autores proponen PathRouter, un marco de entrenamiento consciente del camino diseñado para alinear las señales de recompensa con la calidad de la recuperación. El marco opera a través de tres mecanismos centrales:

1. Enrutamiento Consciente del Camino y Escalamiento Diferenciado de la Ventaja

En lugar de tratar todas las trayectorias de manera uniforme, PathRouter evalúa cada trayectoria a lo largo de dos ejes:

• Corrección de la Respuesta ($C_i$): Si la respuesta final es correcta.
• Solapamiento de la Evidencia-Camino ($P_i$): El solapamiento F1 a nivel de token entre los pasajes recuperados y la evidencia de soporte de oro (gold evidence).

Basándose en estas métricas, las trayectorias se categorizan en cuatro tipos, cada uno de los cuales recibe un peso diferenciado para el escalamiento de la ventaja de la Optimización de Política Relativa de Grupo (GRPO):

• Éxito Fiel (Faithful Success) ($C \uparrow, P \uparrow$): Respuesta correcta con alto solapamiento de evidencia. Recibe el peso completo.
• Fallo por Atajo (Shortcut Failure) ($C \uparrow, P \downarrow$): Respuesta correcta pero con bajo solapamiento de evidencia (dependencia de la memoria paramétrica). Recibe un peso reducido para suprimir el refuerzo de comportamientos de atajo.
• Evidencia Recuperada (Evidence Retrieved) ($C \downarrow, P \uparrow$): Respuesta incorrecta pero con alto solapamiento de evidencia (fallo de razonamiento). Recibe un peso atenuado para evitar penalizar excesivamente el comportamiento de recuperación útil.
• Fallo Conjunto (Joint Failure) ($C \downarrow, P \downarrow$): Respuesta incorrecta con bajo solapamiento de evidencia. Recibe el peso completo.

Este enrutamiento asegura que las actualizaciones de la política reflejen la calidad de la recuperación en lugar de solo la corrección de la respuesta final.

2. Maestro de Evidencia-Oro Selectivo para la Ambigüedad de Actualización de Búsqueda

Para resolver la ambigüedad de qué acciones de búsqueda ajustar, PathRouter introduce un maestro de evidencia-oro congelado para trayectorias pobres en evidencia ($P_i < \theta_P$).

• Mecanismo: El maestro es instado con la consulta y los pasajes de soporte de oro (contexto privilegiado). No genera una nueva trayectoria, sino que califica el despliegue (rollout) on-policy del estudiante.
• Guía KL a Nivel de Token: El maestro proporciona supervisión de divergencia de Kullback-Leibler (KL) específicamente en los tokens de razonamiento y los tokens de consulta de búsqueda.
• Exclusión: Los tokens de respuesta y los bloques de observación recuperados se excluyen de la supervisión KL para evitar la imitación directa de la respuesta y asegurar que el agente aprenda a encontrar la evidencia en lugar de simplemente emitir la respuesta.
• Programación (Scheduling): Se aplica un calentamiento lineal (linear warmup) al coeficiente KL para permitir que el estudiante explore mediante recompensas GRPO antes de que la restricción del maestro surta efecto.

3. Objetivo de Entrenamiento

El objetivo total combina la pérdida GRPO enrutada con la pérdida KL del maestro selectivo:
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
La función de recompensa también incorpora el modelado de exploración (bonificaciones por recuperación de múltiples turnos, penalizaciones por paradas perezosas, tiempos de espera agotados y redundancia) para fomentar una recolección de evidencia exhaustiva.

Contribuciones Clave

1. Identificación del Aliasing de Recompensa: El artículo identifica el aliasing de recompensa de camino-respuesta como un modo de fallo primario en el GraphRAG de agentes y propone un mecanismo de escalamiento de ventaja condicionado por la ruta para desacoplar la corrección de la respuesta de la calidad de la recuperación.
2. Destilación Selectiva a Nivel de Token: Se introduce un novedoso mecanismo de maestro selectivo que aplica guía KL a nivel de token a los tokens de razonamiento y de consulta de búsqueda para trayectorias pobres en evidencia. Esto resuelve la ambigüedad de actualización de búsqueda sin imitar las respuestas finales.
3. Validación Empírica: Experimentos extensos demuestran que PathRouter mejora consistentemente tanto la precisión de la respuesta como el solapamiento de la evidencia-camino en seis benchmarks de preguntas y respuestas y tres tamaños de modelo (1.5B, 3B, 7B).

Resultados Experimentales

Evaluado en seis benchmarks (HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA) utilizando modelos Qwen2.5:

• Ganancias de Rendimiento: PathRouter supera consistentemente a bases sólidas, incluyendo a Graph-R1.
  • En modelos de 7B, logró una ganancia promedio de F1 de 4.9 puntos (de 57.82 a 62.74) y una ganancia de Exact Match (EM) de 4.69 puntos.
  • En modelos de 3B, logró una ganancia promedio de F1 de 3.1 puntos.
  • Las mejoras fueron más pronunciadas en tareas de razonamiento de múltiples saltos (por ejemplo, +7.4 F1 en HotpotQA, +8.2 en MuSiQue para modelos de 7B).
• Desplazamiento de Trayectoria: El análisis de las distribuciones de trayectoria muestra que PathRouter desplaza con éxito la masa de las categorías de "atajo" y "fallo conjunto" hacia las categorías de "éxito fiel" y "fallo de razonamiento con presencia de evidencia", indicando una mejora en la adquisición de evidencia independiente de la corrección de la respuesta.
• Generalización: Las pruebas de transferencia de base cruzada revelaron una alta generalización OOD (promedio de ratio del 95.7%), lo que sugiere que las estrategias de recuperación aprendidas son robustas y no están ligadas a distribuciones de conjuntos de datos específicos.
• Hallazgos de Ablación:
  • Eliminar la recompensa de camino ($r_p$) degradó significamente la calidad de la evidencia (SF-F1) mientras mantenía el F1 de la respuesta, confirmando que la señal apunta a la recuperación.
  • Eliminar el KL del maestro selectivo redujo el rendimiento, particularmente en tareas de múltiples saltos, confirmando su papel en la resolución de la ambigüedad de actualización de búsqueda.
  • Se encontró que la efectividad del KL del maestro depende de la capacidad; los modelos más pequeños (1.5B) mostraron resultados mixtos o degradación con un maestro fuerte, sugiriendo que la capacidad del estudiante es un factor limitante.

Significado y Reivindicaciones

El artículo afirma que PathRouter aborda las limitaciones fundamentales de asignación de crédito del aprendizaje por refuerzo basado solo en resultados en sistemas de agentes. Al evaluar conjuntamente la corrección de la respuesta y el solapamiento de la evidencia-camino, el marco asegura que las actualizaciones de la política sean impulsadas por la calidad del proceso de recuperación, no solo por la salida final.

Los autores sostienen que este enfoque permite a los agentes aprender políticas de recuperación que son tanto precisas en la respuesta como fieles a la evidencia. El trabajo sugiere que el entrenamiento consciente del camino produce comportamientos de recuperación generalizables que evitan los atajos específicos de los conjuntos de datos, ofreciendo una base más robusta para tareas de razonamiento complejo en sistemas GraphRAG. El artículo reconoce las limitaciones respecto a los hiperparámetros adicionales requeridos para el enrutamiento y la programación, así como el mayor costo computacional por paso debido a los pasos hacia adelante (forward passes) del maestro, señalando un compromiso entre la eficiencia del entrenamiento y la mejora de la fidelidad.