Resumen Técnico: Harness-G

Problema: Colapso de Equivalencia de Recuperación en Agentes de Búsqueda de RL

Los agentes de búsqueda de aprendizaje por refuerzo (RL), como Search-R1, suelen modelar la recuperación como la generación de consultas de lenguaje natural de forma libre. Estos agentes optimizan las trayectorias de interacción multiturnos utilizando recompensas de respuesta final (por ejemplo, F1 o Coincidencia Exacta). Si bien estudios recientes intentan mejorar el entrenamiento mediante señales de crédito más densas (por ejemplo, ganancia de información, recompensas de proceso), mantienen la interfaz fundamental donde la política genera una cadena de texto y el entorno la mapea a evidencia recuperada.

Los autores identifican un modo de fallo crítico en esta configuración denominado colapso de equivalencia de recuperación. Durante el entrenamiento, la política genera diversas cadenas de consulta superficiales (alta diversidad de forma de consulta), pero estas consultas suelen mapear a conjuntos casi idénticos de evidencia recuperada (baja diversidad de resultado de recuperación). A medida que el entrenamiento progresa, las trayectorias para la misma pregunta convergen en una única clase de equivalencia de recuperación. Este colapso crea dos problemas de optimización para los métodos relativos al grupo como GRPO:

1. Desvanecimiento de Ventajas: Si múltiples trayectorias recuperan la misma evidencia y producen la misma respuesta, sus retornos son idénticos, lo que provoca que las ventajas dentro del grupo se desvanezcan.
2. Crédito de Recuperación Confundido: Si las trayectorias recuperan la misma evidencia pero producen diferentes respuestas, las diferencias de retorno reflejan el razonamiento posterior en lugar de la calidad de la recuperación, lo que hace imposible atribuir el éxito o el fracaso a acciones de recuperación específicas.

Consecuentemente, la "exploración" proporcionada por las diversas cadenas de consulta es a menudo ilusoria, fallando en proporcionar un contraste efectivo para aprender mejores estrategias de recuperación.

Metodología: Harness-G

Para abordar esto, los autores proponen Harness-G, un marco de recuperación estructurado en grafos que rediseña la interfaz política-entorno. En lugar de generar consultas de forma libre, la política realiza una selección de acción finita sobre un espacio de evidencia estructurado.

1. Entorno Estructurado en Grafos

Harness-G construye un grafo tripartito ligero y programático de forma offline a partir del corpus, que consiste en:

• Nodos de párrafo: Contextos de documentos.
• Nodos de oración: Las unidades mínimas de evidencia.
• Nodos de entidad: Puentes entre saltos de oraciones y documentos.
  Las aristas conectan párrafos con oraciones, oraciones con entidades (vía menciones), oraciones adyacentes, y entidades idénticas/similares (vía normalización de superficie y vecinos de embeddings). Este grafo se construye sin LLMs generativos, basándose en la división de oraciones, NER y codificación densa.

2. La Interfaz de Menú de Acciones

En cada paso, el entorno expone un menú de acciones acotado y finito ($M_t$) a la política. La política selecciona un ID de acción de este menú en lugar de generar una cadena de texto. Las acciones son:

• Select(s): Comprometer una oración visible $s$ como evidencia.
• Lookup(e): Recuperar información alrededor de una entidad específica $e$. El entorno construye de forma determinista la consulta (concatenando la pregunta y la evidencia comprometida) y devuelve los top-$K$ oraciones.
• Answer / Answer_With: Terminar la recuperación y generar una respuesta (opcionalmente comprometiendo las oraciones visibles en un solo paso).

Este diseño asegura que:

• Finitud: El espacio de acciones está acotado.
• Verificabilidad: Las acciones inválidas son bloqueadas antes de su ejecución.
• Previsualización: El entorno puede simular de forma determinista (previsualizar) el resultado de cualquier acción candidata sin mutar el estado.

3. Crédito No Míope Estructurado (SNC)

Aprovechando la frontera de acciones previsualizable, Harness-G introduce el Crédito No Míope Estructurado (SNC) para asignar recompensas a nivel de paso sin requerir rollouts adicionales del agente o modelos de recompensa externos. El SNC consta de dos términos:

• Ventaja Relativa a la Frontera ($r^{fr}_t$): Un evaluador de respuestas de oro congelado evalúa la probabilidad de la respuesta correcta dado el contexto actual. Para una acción de adquisición de información, calcula la ganancia marginal de la acción seleccionada frente a la ganancia media de una "frontera" de acciones alternativas factibles en el mismo estado. Esto proporciona una comparación local en el mismo estado que no está disponible en los espacios de consulta abiertos.
• Crédito de Habilitación ($r^{en}_t$): Para abordar la naturaleza no miope del razonamiento de múltiples saltos (donde una acción de "puente" temprana habilita una recuperación posterior de alto valor), el SNC propaga las ganancias descendentes a lo largo de un grafo de procedencia. Si el paso $u$ consume una entidad producida por el paso $t$, el crédito fluye desde $u$ hacia $t$ en orden topológico inverso.

La ventaja total del paso se combina con la recompensa de resultado estándar en el objetivo GRPO: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$.

Principales Contribuciones

1. Identificación del Colapso de Equivalencia de Recuperación: El artículo demuestra empíricamente que las interfaces de consulta de forma libre en agentes de búsqueda de RL conducen a un colapso en la diversidad de recuperación, invalidando la optimización relativa al grupo.
2. Rediseño de la Interfaz (Harness-G): Reformula la recuperación de múltiples saltos como una selección de acciones finitas sobre un entorno estructurado en grafos, reemplazando la generación de cadenas abiertas con un menú verificable y previsualizable.
3. Crédito No Míope Estructurado (SNC): Introduce un mecanismo de asignación de crédito que utiliza la capacidad de previsualización del menú de acciones para calcular ventajas relativas en el mismo estado y propagar el crédito retardado para acciones de habilitación, todo sin rollouts adicionales.
4. Validación Empírica: Experimentos extensos en seis benchmarks de QA (incluyendo datasets de múltiples saltos como 2Wiki, HotpotQA y MuSiQue) muestran que Harness-G supera significativamente a los baselines más fuertes, particularmente en escenarios de múltiples saltos y con escalas de modelos menores.

Resultados

Evaluado en seis benchmarks utilizando modelos Qwen2.5-1.5B y Qwen2.5-3B:

• Rendimiento: Harness-G logra el F1 promedio más alto en ambas escalas de modelos.
  • En 1.5B, supera al baseline más fuerte (Graph-R1) por 10.74 puntos en F1 promedio.
  • En 3B, supera a Graph-R1 por 3.98 puntos.
• Estudios de Ablación:
  • Reemplazar la interfaz de consulta libre únicamente con el menú de acciones mejora el F1 en más de 17 puntos en promedio, con ganancias que superan los 35 puntos en MuSique.
  • Añadir SNC mejora aún más el rendimiento, particularmente en tareas de múltiples saltos donde el crédito retardado es crucial.
• Estabilidad y Eficiencia: Harness-G exhibe una dinámica de entrenamiento estable con normas de gradiente acotadas. No requiere rollouts adicionales del agente para la asignación de crédito (solo previsualizaciones de solo lectura) e incurre en un overhead mínimo (~9–11% de tiempo de ejecución por paso). También demuestra capacidades de transferencia fuera de la distribución (O.O.D.) más fuertes en comparación con Graph-R1.

Significado y Reivindicaciones

El artículo sostiene que el diseño del espacio de acciones es un eje complementario y crítico al diseño de recompensas para el entrenamiento de agentes de búsqueda. Los autores argumentan que simplemente densificar las recompensas (por ejemplo, mediante recompensas de proceso o ganancia de información) dentro de una interfaz de consulta de forma libre no puede resolver fundamentalmente el problema del colapso de equivalencia de recuperación porque la interfaz misma permite muchos-a-uno mapeos de consultas a evidencia.

Al redefinir la interfaz de recuperación para que sea discreta, verificable y previsualizable, Harness-G permite:

1. Exploración Genuina: Asegurando que diferentes acciones conduzcan a resultados de recuperación genuinamente diferentes.
2. Asignación de Crédito Precisa: Permitiendo que el agente aprenda qué elecciones específicas de evidencia o entidad son superiores a otras alternativas en el mismo estado de decisión.
3. Aprendizaje No Míope: Enseñando efectivamente al agente a realizar pasos de "puente" necesarios que no producen altas recompensas inmediatas pero que son esenciales para el éxito posterior.

El trabajo concluye que, aunque Harness-G es actualmente solo de texto, su enfoque estructurado de espacios de acción y asignación de crédito ofrece un marco robusto para entrenar agentes de búsqueda, sugiriendo que el trabajo futuro podría extender estos principios a la evidencia multimodal.