Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs

Resumen Técnico: RALP (Reasoning-Augmented Link Prediction)

1. El Problema

Los modelos tradicionales de incrustación de grafos de conocimiento (KGE) han tenido un gran éxito en la predicción de enlaces al representar entidades y relaciones como vectores continuos. Sin embargo, estos modelos enfrentan limitaciones críticas:

• Problema de entidades no vistas: No pueden generalizar bien a entidades o relaciones que no aparecieron durante el entrenamiento (problema de zero-shot o out-of-distribution).
• Dificultad con literales: Tienen dificultades para razonar sobre valores literales (números, texto descriptivo), que son comunes en grafos del mundo real.
• Rigidez: Dependen de gradientes y optimización de vectores densos, lo que limita su flexibilidad en grafos dinámicos y heterogéneos.

Por otro lado, los Modelos de Lenguaje Grandes (LLM) preentrenados muestran capacidades excepcionales de generalización mediante prompting (instrucciones), pero su aplicación directa en la completitud de grafos de conocimiento (KG) a menudo requiere fine-tuning costoso o plantillas manuales poco eficientes.

2. Metodología: RALP

El artículo propone RALP (Reasoning-Augmented Link Prediction), un enfoque que reformula la predicción de enlaces como un problema de aprendizaje de prompts en lugar de aprendizaje de vectores.

• Cambio de Paradigma: En lugar de aprender una función de puntuación parametrizada por vectores $\phi_\Theta$, RALP aprende una función de puntuación parametrizada por una cadena de texto (un prompt de Cadena de Pensamiento o CoT), denotada como $\phi_{\beta \le c}$.
• Optimización sin Gradientes (MIPRO):
  • El sistema utiliza el algoritmo MIPRO (basado en Optimización Bayesiana) para buscar automáticamente el prompt óptimo $\beta$.
  • No requiere acceso a los gradientes del LLM ni fine-tuning.
  • Aprende a partir de muy pocos ejemplos de entrenamiento (menos de 30) para maximizar una métrica de rendimiento (como MRR o pérdida de entropía cruzada) en un conjunto de validación.
• Mecanismo de Inferencia:
  1. Se construye un prompt que incluye el contexto del grafo (triples relevantes), definiciones de tareas y ejemplos few-shot.
  2. El LLM procesa el prompt y genera una respuesta que incluye el razonamiento (CoT) y la predicción (entidad faltante, relación o literal numérico) junto con un puntaje de confianza.
• Enriquecimiento del Grafo (Algoritmo 1): RALP puede utilizarse para identificar triples faltantes potenciales en el grafo de entrenamiento. Al consultar pares (sujeto, relación) existentes y añadir triples de alta confianza que no están en el grafo, se puede aumentar el conjunto de datos para mejorar modelos KGE tradicionales.

3. Contribuciones Clave

1. RALP y RALP†:
   • RALP: Utiliza in-context learning con un prompt predeterminado.
   • RALP†: Utiliza MIPRO para aprender un prompt específico y optimizado para el grafo y la tarea dada.
2. Predicción de Literales Numéricos: Es el primer enfoque que aborda la predicción de enlaces numéricos mediante razonamiento basado en prompts, sin capas de regresión ni discretización (binning). El modelo predice valores puntuales y rangos de confianza.
3. Razonamiento sobre Entidades No Vistas: Al depender del significado semántico de las cadenas de texto en lugar de IDs de vectores, el modelo puede razonar sobre entidades y relaciones nunca antes vistas.
4. Razonamiento OWL: Extiende la capacidad a la recuperación de instancias en lógica descriptiva (OWL), evaluando expresiones de clases complejas.

4. Resultados Experimentales

Los autores evaluaron el método en tres tipos de benchmarks:

• Predicción de Enlaces Transductiva (Datasets: Countries-S1/2/3):
  • RALP† alcanza un MRR (Mean Reciprocal Rank) de 1.000 en el dataset Countries-S1, superando a los modelos de estado del arte (SOTA) basados en incrustaciones.
  • Actúa como un potente aumentador de datos: Al combinar RALP con modelos KGE tradicionales (como DistMult, ComplEx, QuatE), se observa una mejora significativa en la generalización (a menudo >5% de mejora en MRR).
• Predicción de Literales Numéricos (Dataset: LitWD1K):
  • El modelo logra predecir valores numéricos (ej. PIB per cápita, población) con alta precisión.
  • Calibración: Los intervalos de predicción ($\hat{y}_{min}, \hat{y}_{max}$) tienen una tasa de cobertura (ICR) superior al 75-90%, demostrando que el modelo no solo predice bien, sino que es consciente de su incertidumbre.
  • Ejemplo cualitativo: Para Gabón, el modelo razonó dividiendo el PIB total por la población y comparando con otros países para estimar un rango preciso.
• Recuperación de Instancias OWL (Dataset: Father):
  • Se evaluó la capacidad de inferir instancias de expresiones de clases complejas (ej. $\exists hasChild.Female$, $\ge 5 hasChild.Female$).
  • Se alcanzó una similitud de Jaccard superior al 88% en tareas de razonamiento complejo.
  • Hallazgo importante: El uso de sintaxis Manchester (más legible para humanos) rindió significativamente mejor que la sintaxis de Lógica Descriptiva (DL) estándar, alineándose mejor con el preentrenamiento de los LLM.

5. Significado e Impacto

• Alternativa Flexible: RALP demuestra que el razonamiento basado en prompts es una alternativa viable y flexible a los métodos de incrustación vectorial, especialmente en escenarios dinámicos o con datos escasos.
• Generalización Zero-Shot: Permite realizar inferencias sobre entidades y relaciones que el modelo nunca ha "visto" en formato de entrenamiento, algo imposible para los KGE tradicionales sin re-entrenamiento.
• Eficiencia de Recursos: Al no requerir fine-tuning ni acceso a gradientes, el método es más accesible y eficiente en términos de cómputo para la optimización de la tarea, aunque depende de la capacidad de inferencia de un LLM grande.
• Limitaciones: El enfoque depende de que las etiquetas de entidades y relaciones sean semánticamente significativas (texto legible) y puede ser sensible a valores atípicos extremos en datos numéricos si no se preprocesan. La escalabilidad a grafos masivos requiere estrategias de muestreo de contexto.

En conclusión, el trabajo establece un nuevo paradigma donde la optimización automática de prompts y el razonamiento simbólico mediante LLMs complementan o superan a las técnicas de incrustación densa para la completitud de grafos de conocimiento.