KG-Hopper: Empowering Compact Open LLMs with Knowledge Graph Reasoning via Reinforcement Learning

Resumen Técnico: KG-Hopper

1. El Problema

Los Modelos de Lenguaje Grandes (LLM) han demostrado capacidades impresionantes, pero enfrentan dificultades significativas en tareas de razonamiento intensivo en conocimiento, como la Respuesta a Preguntas sobre Bases de Conocimiento (KBQA).

• Limitaciones actuales: Los enfoques existentes suelen seguir estrategias de razonamiento paso a paso (secuencial) guiadas por pipelines predefinidos. Esto genera dos problemas críticos:
  1. Falta de flexibilidad y óptimos locales: Si un paso inicial falla o la información del Grafo de Conocimiento (KG) es incompleta, el sistema no puede retroceder fácilmente, lo que lleva a errores en cascada.
  2. Sesgo de razonamiento: Tratar cada paso de forma independiente ignora las dependencias entre pasos, desviando el modelo de la intención original de la consulta.
• Ineficiencia: Los métodos actuales a menudo requieren múltiples llamadas a LLMs para completar un solo razonamiento de varios saltos (multi-hop), lo que es costoso y propenso a inconsistencias.

2. Metodología: KG-Hopper

Los autores proponen KG-Hopper, un marco novedoso que integra el proceso completo de razonamiento de múltiples saltos en una única llamada de inferencia de un LLM, utilizando Aprendizaje por Refuerzo (RL).

• Enfoque de "Una Vuelta" (One-Round): A diferencia de los métodos paso a paso, KG-Hopper embebe la exploración completa del KG y la toma de decisiones dentro de una fase de "pensamiento" (thinking) unificada del modelo. Esto permite un razonamiento global sobre dependencias cruzadas y exploración dinámica con retroceso (backtracking).
• Arquitectura de Entrenamiento:
  1. Herramienta de Recuperación (Retrieval Tool): Se utiliza un motor de búsqueda basado en SPARQL para extraer triples relevantes del KG. El modelo aprende a invocar esta herramienta mediante tokens especiales (<search>, </search>).
  2. Arranque en Frío (Cold Start): Se genera un conjunto de datos anotados con Cadenas de Pensamiento (CoT) para enseñar al modelo a invocar la herramienta de recuperación y seguir un formato estructurado antes de iniciar el RL.
  3. Aprendizaje por Refuerzo (RL): Se emplea el algoritmo GRPO (Group Relative Policy Optimization) para optimizar la política del modelo.
• Función de Recompensa Compuesta: Para guiar el comportamiento del modelo, se diseñan cuatro componentes de recompensa:
  • Recompensa de Recuperación: Incentiva el uso de la herramienta de búsqueda, pero con un límite para evitar abusos.
  • Recompensa de Formato: Penaliza la desviación de la estructura requerida (etiquetas <search>, <triples>, <answer>).
  • Recompensa de Razonamiento: Evalúa la calidad lógica del proceso de pensamiento (usando un LLM externo como juez) para asegurar coherencia en cada paso.
  • Recompensa de Respuesta Final: Evalúa la corrección semántica de la respuesta final comparándola con la verdad fundamental (ground truth).
• Técnicas de Optimización:
  • Enmascaramiento de Triples: Los triples recuperados se enmascaran durante el cálculo de la pérdida para evitar que el modelo simplemente memorice o repita la información recuperada, forzándolo a aprender la estrategia de razonamiento.
  • Muestreo de Historia (History Resampling): Se eliminan progresivamente las preguntas de un solo salto (triviales) durante el entrenamiento para centrar el modelo en problemas de razonamiento complejo de múltiples saltos.

3. Contribuciones Clave

1. Primera aplicación de RL para razonamiento KG en LLMs: Es el primer trabajo que aplica RL para habilitar un razonamiento de KG de extremo a extremo dentro de un LLM.
2. Marco de KBQA de una sola ronda: Logra realizar razonamiento de múltiples saltos completamente dentro de la fase de "pensamiento" de una sola inferencia, eliminando la necesidad de orquestación multi-paso.
3. Eficiencia y Rendimiento: Demuestra que un modelo compacto y abierto (7B parámetros) puede superar a sistemas mucho más grandes (hasta 70B parámetros) y competir con modelos propietarios (GPT-3.5-Turbo, GPT-4o-mini).

4. Resultados Experimentales

El modelo se evaluó en 8 conjuntos de datos de referencia (incluyendo CWQ, WebQSP, GrailQA, QALD10-en, etc.) utilizando dos backbones: Qwen-2.5-7B y LLaMA-3.1-8B.

• Rendimiento Superior: KG-Hopper (7B) superó consistentemente a métodos basados en SFT (Fine-Tuning Supervisado) y a sistemas multi-paso que utilizan modelos de hasta 70B parámetros.
  • Ejemplo: En el conjunto de datos CWQ, KG-Hopper (Qwen-7B) alcanzó un 61.07 (Hits@1), superando al modelo SFT equivalente (51.84) y a modelos de 70B como DeepSeek-R1-Distill-Llama-70B (31.92).
• Comparación con Modelos Propietarios: El rendimiento fue competitivo o superior a GPT-4o-mini + KG en tareas complejas.
• Análisis de Ablación:
  • La recompensa de razonamiento fue el componente más crítico; su eliminación causó la mayor caída de rendimiento.
  • La recompensa de respuesta final es vital, aunque los LLMs pueden actuar como jueces aceptables cuando no hay verdad fundamental disponible.
  • El muestreo de historia mejoró significativamente la capacidad de razonamiento complejo al evitar el sobreajuste a preguntas simples.

5. Significado e Impacto

KG-Hopper representa un avance significativo en la integración de LLMs y Bases de Conocimiento:

• Democratización del Razonamiento: Permite que modelos de tamaño pequeño y abierto (7B) realicen tareas de razonamiento complejo que anteriormente requerían modelos masivos o arquitecturas costosas.
• Robustez: Al integrar el razonamiento en una sola fase de "pensamiento", el modelo puede corregir errores internamente y manejar datos incompletos mejor que los enfoques secuenciales rígidos.
• Eficiencia de Datos: Al aprender a través de señales de recompensa escalares en lugar de solo imitar trazas de razonamiento completas, el modelo es más eficiente en el uso de datos y generaliza mejor a patrones de razonamiento no vistos.

En conclusión, KG-Hopper demuestra que el Aprendizaje por Refuerzo, combinado con una arquitectura de razonamiento unificada, es una vía poderosa para dotar a los LLMs compactos de capacidades de razonamiento lógico y factual robustas.