💬 NLP

Explore-on-Graph: Incentivizing Autonomous Exploration of Large Language Models on Knowledge Graphs with Path-refined Reward Modeling

El artículo presenta Explore-on-Graph (EoG), un marco innovador que utiliza aprendizaje por refuerzo con modelado de recompensas refinado por trayectorias para incentivar que los Modelos de Lenguaje Grande exploren autónomamente y descubran nuevos caminos de razonamiento en Grafos de Conocimiento, logrando así un rendimiento superior al estado del arte en tareas de preguntas y respuestas.

Autores originales: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

Publicado 2026-02-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un Gran Bibliotecario (el Modelo de Lenguaje o LLM) que sabe mucho de todo, pero a veces, cuando le haces una pregunta difícil, se inventa cosas o se pierde en los pasillos de la biblioteca.

Este paper, titulado "Explore-on-Graph" (EoG), presenta una nueva forma de entrenar a este bibliotecario para que no solo recite lo que ya sabe, sino que se convierta en un explorador aventurero dentro de un mapa gigante de conocimientos (llamado Grafo de Conocimiento).

Aquí te lo explico con analogías sencillas:

1. El Problema: El Bibliotecario "Miedoso"

Antes, los métodos para ayudar a estos bibliotecarios eran como darles un mapa de colores fijos o unas reglas estrictas.

La vieja forma: Si el bibliotecario veía una pregunta sobre "Google", solo buscaba el camino más obvio: "Google -> Empleado -> Carol". Si la respuesta real estaba en un camino raro como "Google -> Subsidiaria -> YouTube -> Empleado -> Alice", el bibliotecario se quedaba bloqueado porque ese camino no estaba en su "libro de reglas" o en sus ejemplos de entrenamiento.
La consecuencia: Se perdían respuestas correctas porque el bibliotecario tenía miedo de salirse de lo conocido.

2. La Solución: EoG (El Explorador Auténtico)

Los autores proponen un nuevo entrenamiento en dos fases, como si preparáramos a un atleta para una carrera de obstáculos:

Fase 1: El Entrenamiento Básico (Aprendizaje Supervisado)

Primero, le enseñamos al bibliotecario a pensar paso a paso. Le damos ejemplos de cómo razonar bien, como si le dijéramos: "Mira, para encontrar la respuesta, primero mira aquí, luego salta a allá".

Analogía: Es como darle un manual de instrucciones y practicar con él hasta que entiende la lógica básica de la biblioteca.

Fase 2: La Gran Aventura (Aprendizaje por Refuerzo)

Aquí es donde ocurre la magia. En lugar de darle más reglas, lo dejamos explorar libremente y le damos premios (recompensas) por sus descubrimientos.

La Recompensa por el Resultado: Si al final encuentra la respuesta correcta, ¡gana un punto!
La Recompensa por el Camino (La Innovación): Aquí está el truco. No solo premiamos la respuesta final, sino cómo llegó a ella.
- Imagina que el bibliotecario tiene que cruzar un bosque. Si solo le premiamos por llegar al final, podría correr en círculos o tomar atajos peligrosos.
- Con EoG, le decimos: "¡Muy bien! No solo llegaste, sino que seguiste un camino lógico y coherente por el bosque, evitando los arbustos tóxicos".
- Esto se llama "Modelado de Recompensas Refinadas por Ruta". Es como darle un mapa mental que le dice: "Ese camino que tomaste fue inteligente, aunque no lo hayas hecho antes".

3. ¿Por qué es tan genial?

Gracias a esta técnica de "premiar el camino", el bibliotecario se vuelve valiente.

Descubre lo desconocido: Si la pregunta requiere un paso raro (como conectar a través de un "colaborador" en lugar de un "empleado directo"), el bibliotecario se atreve a probarlo porque sabe que si el camino tiene sentido, será premiado.
No se inventa cosas: Al estar guiado por el mapa real (el Grafo de Conocimiento) y no por su imaginación, deja de alucinar (inventar datos falsos).

4. Los Resultados: ¡Ganando a los Gigantes!

El equipo probó este método en 5 pruebas muy difíciles (como resolver acertijos complejos de Wikipedia o bases de datos).

El resultado: Su modelo (EoG) no solo superó a otros modelos de código abierto, sino que ganó a los modelos más potentes y cerrados del mundo (como GPT-5 o Gemini Pro), que son como bibliotecarios que ya han leído todo el internet pero siguen atascados en sus viejos patrones.

En resumen

Imagina que antes tenías un GPS que solo te llevaba por las autopistas principales (los caminos conocidos). Si querías ir a un pueblo pequeño y no había autopista, el GPS te decía "no puedo".

EoG es como darle al conductor un mapa de senderos y decirle: "Explora, prueba caminos nuevos, y si llegas a tu destino por un sendero lógico y seguro, te daré una medalla de oro". Gracias a esto, el modelo aprende a navegar por terrenos desconocidos sin perderse ni inventar rutas falsas.

¡Es como convertir a un robot que sigue instrucciones en un detective inteligente que disfruta resolviendo misterios! 🕵️‍♂️🗺️✨

) y respuestas finales (dentro de `), alineados con la lógica del gráfico.

B. Fase 2: Aprendizaje por Refuerzo (RL) con Modelado de Recompensas Refinadas por Camino
Esta es la contribución central para fomentar la exploración. Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) en dos sub-etapas:

Recompensa por Resultado (Outcome Reward):
- Se optimiza la política basándose en la corrección de la respuesta final.
- La recompensa se calcula mediante la puntuación F1 a nivel de entidad, comparando las entidades predichas con las respuestas verdaderas (ground-truth).
- Esto incentiva al modelo a encontrar respuestas correctas, pero no necesariamente garantiza que el camino de razonamiento sea eficiente o semánticamente rico.
Recompensa Refinada por Camino (Path-Refined Reward):
- Innovación: Se introduce una señal de recompensa adicional que evalúa la calidad del camino de razonamiento, no solo el resultado final.
- Mecanismo: Se extrae el camino de razonamiento verdadero (mediante un pipeline de "Búsqueda y Verificación" con BFS y un LLM) y se compara con el texto generado por el modelo.
- Cálculo: La recompensa $R_{path}$ es la proporción de tripletes (sujeto, relación, objeto) del camino verdadero que aparecen explícitamente en el texto de razonamiento del modelo.
- Recompensa Conjunta: La recompensa total es una combinación ponderada: $R_{joint} = R_{outcome} + \alpha \cdot R_{path}$ .
- Beneficio: Esto reduce la exploración inútil, guía al modelo hacia rutas semánticamente significativas y mejora la eficiencia al evitar desviaciones aleatorias.

3. Contribuciones Clave

Marco de Exploración Autónoma: EoG es el primer enfoque que utiliza RL con recompensas refinadas por camino para incentivar activamente a los LLMs a explorar regiones no distribuidas (O.O.D.) en los gráficos de conocimiento, superando las limitaciones de los métodos basados en reglas o imitación.
Modelado de Recompensas Híbridas: La propuesta de combinar la corrección de la respuesta final con la fidelidad del camino de razonamiento (path-refined reward) demuestra ser crucial para equilibrar la eficiencia y la profundidad semántica.
Superioridad sobre Modelos Cerrados: El método logra un rendimiento superior incluso frente a LLMs propietarios de última generación (como GPT-5 y Gemini 2.5 Pro) en tareas de razonamiento complejo.

4. Resultados Experimentales

Los experimentos se realizaron en cinco conjuntos de datos de referencia (benchmarks) de QA sobre KGs: WebQSP, CWQ, GrailQA, QALD10-en y 2WikiMultihopQA.

Rendimiento SOTA: EoG (basado en modelos de código abierto como Llama-3.1-8B y Qwen2.5-7B) superó consistentemente a todos los métodos baselines, incluyendo modelos de código abierto avanzados y modelos cerrados potentes.
- Ejemplo: En CWQ, EoG (Llama-3.1-8B) alcanzó un Hit@1 de 82.6 y F1 de 73.9, superando a GPT-5 (Hit@1 74.1, F1 67.6) y a Gemini 2.5 Pro.
Análisis de Ablación:
- La eliminación de la recompensa por camino ( $R_{path}$ ) resultó en una caída significativa del rendimiento, demostrando que la guía semántica del camino es vital.
- La eliminación de la fase SFT llevó a un rendimiento subóptimo, confirmando que el SFT es necesario para el "arranque en frío" antes del RL.
Generalización O.O.D.: EoG mostró una mayor robustez y ratios de generalización (O.O.D. a I.I.D.) en comparación con modelos que solo usan SFT, validando su capacidad para manejar patrones de razonamiento novedosos.
Eficiencia de Exploración: El modelo con recompensa refinada por camino logró una mayor cobertura del espacio de razonamiento (encontrar más pasos lógicos correctos) manteniendo una eficiencia de exploración (menos triples explorados por respuesta correcta) comparable a la línea base.

5. Significado e Impacto

Paradigma de Razonamiento: El trabajo marca un cambio de paradigma desde el razonamiento estático o basado en demostraciones fijas hacia un razonamiento dinámico y exploratorio en gráficos de conocimiento.
Eficiencia de Coste: A pesar de utilizar RL, el marco es computacionalmente eficiente. El entrenamiento de RL requiere relativamente pocos pasos y horas de GPU (ej. ~120 horas de GPU para CWQ) en comparación con el entrenamiento masivo de modelos generales, logrando mejoras sustanciales.
Aplicabilidad: Demuestra que los modelos de código abierto, cuando se entrenan adecuadamente con estrategias de RL específicas para gráficos, pueden igualar o superar a los modelos comerciales más grandes en tareas de razonamiento lógico complejo.
Futuro: Abre la puerta a investigar estrategias de recompensa más sofisticadas basadas en la estructura del gráfico para mejorar aún más la fiabilidad y la capacidad de descubrimiento de los LLMs.

En conclusión, Explore-on-Graph resuelve el problema de la falta de generalización en el razonamiento sobre gráficos mediante la incentivación de la exploración autónoma, utilizando un mecanismo de recompensa dual que valora tanto la respuesta correcta como la calidad del camino lógico recorrido.