Resumen Técnico: Search-on-Graph-R1 (SOG-R1)

Planteamiento del Problema

El Razonamiento de Preguntas sobre Grafos de Conocimiento (KGQA) requiere navegar desde entidades temáticas hacia respuestas que pueden estar a varias relaciones de distancia. Aunque enfoques recientes han demostrado que los modelos de lenguaje extensos (LLM) de frontera pueden lograr una precisión competitiva interactuando con Grafos de Conocimiento (KG) mediante herramientas de recuperación, estos métodos dependen de modelos de frontera costosos y congelados (por ejemplo, GPT-4), lo cual es impráctico para la producción debido a la latencia, el costo y las restricciones de acceso.

Los intentos existentes por post-entrenar modelos más pequeños y de código abierto para replicar esta capacidad enfrentan limitaciones significativas:

1. Enfoques de Análisis Semántico: Entrenan a los modelos para emitir una forma lógica completa (por ejemplo, SPARQL) en un solo paso. Estos tienen dificultades cuando los elementos del esquema requeridos no fueron vistos durante el entrenamiento.
2. Recuperación y Razonamiento Disjuntos: Algunos métodos (por ejemplo, EoG) extraen subgrafos estáticos fuera de línea, limitando la precisión por el recuerdo (recall) del paso de preprocesamiento. Otros (por ejemplo, KG-Hopper) utilizan búsqueda en vivo pero dependen de jueces LLM externos para verificar los trazos de razonamiento, lo que introduce estocasticidad y sobrecarga computacional.
3. Respaldo Paramétrico: Muchos sistemas permiten que los modelos recurran a la memoria paramétrica cuando la recuperación falla, lo que significa que los hechos citados no están garantizados en el KG.

El desafío central es internalizar la navegación en KG dentro de un modelo compacto (por ejemplo, 8B de parámetros) que realice recuperación y razonamiento en vivo sin módulos auxiliares, jueces externos o dependencia de la memoria paramétrica.

Metodología: SOG-R1

SOG-R1 aborda estos desafíos a través de un pipeline de post-entrenamiento de dos etapas aplicado a un modelo estudiante compacto ajustado por instrucciones (Llama-3.1-8B-Instruct). El enfoque fusiona la recuperación y el razonamiento en un solo bucle donde el modelo decide qué buscar mediante llamadas de Búsqueda (Search) en vivo.

1. Generación de Trazos de Arranque en Frío Escafoldados por SPARQL

Para inicializar la capacidad del modelo para navegar en el KG, los autores generan trayectorias de alta calidad utilizando una estrategia de "maestro" (teacher):

• Configuración del Maestro: Un LLM maestro de escala de frontera (Qwen3-235B) recibe la pregunta y su consulta SPARQL de oro (gold).
• Escafolado (Scaffolding): En lugar de pedir al maestro que descubra el camino, la consulta SPARQL de oro actúa como un plano. El maestro utiliza la misma herramienta de Búsqueda en vivo que el estudiante usará para recorrer la ruta conocida que conduce a la respuesta.
• Anclaje (Grounding): Cada llamada a la herramienta se ejecuta contra un servidor de Freebase en vivo. Esto asegura que las trayectorias resultantes estén ancladas en el KG por construcción, conteniendo llamadas a herramientas válidas, observaciones y la respuesta final.
• Filtrado: Las trayectorias se retienen solo si la respuesta final coincide exactamente con la respuesta de oro y todas las llamadas se ejecutan sin errores.

2. Etapa 1: Ajuste Fino Supervisado (SFT)

El modelo estudiante es ajustado mediante Low-Rank Adaptation (LoRA) sobre las trayectorias recolectadas del maestro.

• Los datos de entrenamiento se serializan como conversaciones de múltiples turnos donde los turnos del asistente son llamadas a la herramienta de Búsqueda y los turnos intermedios son las observaciones devueltas.
• El modelo aprende a producir llamadas a herramientas y respuestas basadas en el contexto, sin ser entrenado para predecir los resultados de la herramienta en sí mismos.
• Esta etapa produce SOG-SFT, estableciendo un fuerte sesgo (prior) de navegación.

3. Etapa 2: Aprendizaje por Refuerzo (RL)

El modelo SFT es refinado posteriormente utilizando Optimización de Política Relativa de Grupo (GRPO) con una recompensa de resultado determinista.

• Función de Recompensa: La recompensa es el producto de tres factores:
  1. Puerta de Formato (Format Gate, $g$): Asegura que el modelo llame a la herramienta al menos una vez y termine limpiamente con una cadena "Final answer:".
  2. Coincidencia Exacta (Exact-Match, $r_{em}$): Devuelve 1 si el conjunto de respuestas predichas coincide con la respuesta de oro, 0 de lo contrario.
  3. Factor de Eficiencia ($f$): Una penalización multiplicativa por llamadas a herramientas excesivas (turnos), fomentando caminos más cortos entre las trayectorias correctas.
• Restricción Clave: El bucle de recompensa no contiene un juez LLM ni supervisión de la ruta de oro; depende únicamente de la corrección de la respuesta final y la eficiencia del camino.

Innovación de la Herramienta

Los autores introducen una herramienta de Recuperación de Vecinos de 1-Salto Procesada por Lotes (Batched 1-Hop Neighbour Retrieval). A diferencia de otras herramientas que requerían una llamada por entidad, esta herramienta acepta una lista de entidades en una sola llamada. Esto evita que el modelo pierda entidades al expandir múltiples nodos en el mismo salto, reduciendo el costo de inferencia y las tasas de fallo.

Resultados Clave

El modelo fue evaluado en tres benchmarks estándar basados en Freebase: WebQSP, CWQ y GrailQA.

• Rendimiento vs. Modelos de Frontera Congelados: El modelo 8B SOG-R1 supera a cada sistema de LLM de frontera congelado (incluyendo métodos basados en GPT-4 como ToG, PoG y LMP) en los tres benchmarks.
• Rendimiento vs. Sistemas Post-Entrenados:
  • SOG-R1 logra la mayor precisión en CWQ (88.7%) de cualquier sistema comparado, superando a otros modelos post-entrenados como ChatKBQA (86.0%) y EoG (82.6%).
  • En WebQSP y GrailQA, logra resultados comparables o ligeramente inferiores a los mejores sistemas post-entrenados (EoG), pero con la clara ventaja de realizar recuperación en vivo en lugar de razonar sobre un subgrafo extraído estáticamente.
  • Contra el sistema concurrente más similar (KG-Hopper, también Llama-3.1-8B), SOG-R1 muestra ganancias significativas (+14.8 a +34.6 puntos), atribuidas a la ausencia de jueces externos y la integración de la recuperación y el razonamiento.

Estudios de Ablación y Análisis

• Contribuciones de las Etapas:
  • SFT proporciona el mayor salto de rendimiento, elevando al modelo desde una línea base de cero disparos (zero-shot) hasta niveles cercanos al estado del arte, confirmando el valor de los trazos escafoldados por SPARQL.
  • RL proporciona ganancias complementarias, particularmente en el complejo conjunto de datos CWQ, mejorando la precisión aún más y refinando la política.
  • RL-Solo (SOG-R1-ZERO): Aplicar RL directamente al modelo base sin la inicialización SFT produce un rendimiento significativamente peor que el modelo inicializado con SFT, indicando que los trazos de arranque en frío son necesarios para un RL efectivo en este dominio.
• Compresión de Ruta: Un hallazgo único es que la etapa de RL enseña al agente a navegar de manera más eficiente. SOG-R1 reduce el promedio de llamadas de Búsqueda por pregunta en comparación con su inicialización SFT (por ejemplo, -15% en WebQSP) mientras aumenta simultáneamente la precisión. Esto contrasta con los métodos de RL de búsqueda web donde los agentes tienden a emitir más llamadas.
• Escala de Datos: El enfoque es eficiente en datos. El rendimiento se estanca temprano; solo se necesitan unos pocos miles de preguntas anotadas para alcanzar una precisión casi óptima. El RL proporciona el aumento más significativo cuando el conjunto de datos de arranque en frío es pequeño.
• Generalidad del Backbone: El pipeline se transfiere con éxito a una familia de modelos diferente (Qwen3-4B), manteniendo la jerarquía de rendimiento (Base < SFT < RL).

Significado y Reivindicaciones

El artículo afirma que SOG-R1 logra internalizar con éxito el paradigma de "Búsqueda sobre Grafos" en un modelo compacto y único. Sus principales contribuciones son:

1. Internalización: Transforma la navegación en KG de una tarea de orquestación en tiempo de inferencia a un comportamiento aprendido dentro de los pesos de un modelo de 8B, eliminando la necesidad de módulos auxiliares o jueces externos.
2. Arranque en Frío Anclado: Al escafoldar un maestro con consultas SPARQL de oro y ejecución en vivo, genera datos de entrenamiento que están inherentemente anclados en el KG, evitando los riesgos de alucinación de los trazos puramente generativos.
3. Eficiencia: Demuestra que el RL puede aprender a alcanzar respuestas en menos pasos que la inicialización SFT, optimizando tanto la corrección como la latencia.
4. Eficiencia de Estado del Arte: Logra una precisión competitiva o superior a modelos de frontera mucho más grandes y otros sistemas post-entrenados a una fracción del costo de inferencia.

Limitaciones: Los autores señalan que la evaluación está restringida a Freebase y asume la disponibilidad de entidades temáticas de oro (vinculación de entidades de oráculo) y consultas SPARQL de oro durante el entrenamiento. La transferibilidad a grafos sin tales anotaciones (por ejemplo, Wikidata) o la capacidad de realizar la vinculación de entidades de forma autónoma permanece sin probar.