Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs

1. Il Problema

I modelli di Knowledge Graph Embedding (KGE) tradizionali rappresentano entità e relazioni come vettori continui densi. Sebbene efficaci per la previsione di link in contesti transduttivi, presentano limitazioni fondamentali:

• Incapacità di generalizzare: Faticano a gestire entità, relazioni o letterali (valori numerici, testo descrittivo) mai visti durante l'addestramento (problema zero-shot o out-of-vocabulary).
• Gestione dei letterali: Hanno difficoltà nel ragionare su valori numerici o testuali complessi, che sono onnipresenti nei grafi della conoscenza reali.
• Dipendenza dai gradienti: Richiedono addestramento tramite discesa del gradiente stocastica su grandi dataset, rendendoli meno flessibili in scenari dinamici.

Al contrario, i Large Language Models (LLM) pre-addestrati mostrano eccellenti capacità di generalizzazione tramite prompting (apprendimento few-shot o zero-shot), ma non sono stati sfruttati appieno per sostituire le funzioni di scoring vettoriali nei KGE.

2. Metodologia: RALP

Gli autori propongono RALP (Reasoning-Augmented Link Prediction), un nuovo paradigma che riformula il problema della previsione di link. Invece di apprendere una funzione di scoring parametrizzata da vettori continui $\phi_\Theta$, RALP apprende una funzione di scoring parametrizzata da stringhe $\phi_{\beta \le c}$, dove $\beta$ è una catena di pensiero (Chain-of-Thought, CoT) di al massimo $c$ token.

Componenti Chiave:

• Ottimizzazione del Prompt (MIPRO): RALP utilizza l'algoritmo MIPRO (basato sull'Ottimizzazione Bayesiana) per cercare automaticamente la stringa di prompt ottimale. Questo processo è senza gradienti (gradient-free) e richiede meno di 30 esempi di addestramento.
• Due Varianti:
  1. RALP: Utilizza il few-shot learning con un prompt predefinito e capacità di in-context learning dell'LLM.
  2. RALP†: Utilizza MIPRO per apprendere un prompt specifico e ottimizzato per il grafo di conoscenza (KG) e il task dati.
• Funzionamento:
  • L'input è una coppia (soggetto, relazione) o una tripla incompleta.
  • Il prompt include esempi few-shot, contesto estratto dal KG e istruzioni di ragionamento.
  • L'LLM genera una risposta che include il ragionamento (CoT) e la previsione (entità mancante, relazione o valore letterale) con un punteggio di confidenza.
• Arricchimento del KG (Algorithm 1): Il modello può essere utilizzato per identificare triple mancanti nel grafo di addestramento (quelle ad alto punteggio ma non presenti) e aggiungerle per migliorare i modelli KGE tradizionali.

3. Contributi Principali

1. Cambio di Paradigma: Sostituzione delle funzioni di scoring vettoriali con funzioni basate su stringhe (prompt) apprese tramite LLM.
2. Generalizzazione Zero-Shot: Capacità di ragionare su entità, relazioni e letterali mai visti, sfruttando la conoscenza semantica pre-addestrata dell'LLM.
3. Predizione di Letterali Numerici: Prima applicazione nota di ragionamento basato su prompt per la previsione di valori numerici continui (es. PIL, popolazione) senza strati di regressione o binning, fornendo anche intervalli di confidenza.
4. Ragionamento OWL: Applicazione efficace al recupero di istanze per espressioni di classe complesse (es. $\exists hasChild.Female$).
5. Open Source: Rilascio dell'implementazione completa, inclusi pipeline di addestramento e valutazione.

4. Risultati Sperimentali

Il framework è stato valutato su benchmark trasduttivi, predizione di letterali numerici e ragionamento OWL.

• Predizione di Link Trasduttiva (Dataset Countries):
  • RALP† ha raggiunto uno stato dell'arte (SOTA) con un MRR (Mean Reciprocal Rank) di 1.000 su Countries-S1, superando tutti i modelli KGE esistenti.
  • L'uso di RALP come tecnica di data augmentation ha migliorato le prestazioni di modelli KGE classici (es. DistMult, ComplEx) di oltre il 5% in MRR su vari dataset.
• Predizione di Letterali Numerici (Dataset LitWD1K):
  • Il modello ha dimostrato alta accuratezza nella previsione di valori numerici (es. "GDP pro capite", "popolazione").
  • Calibrazione: Il tasso di copertura degli intervalli (ICR) supera il 75-90% per tutte le proprietà testate, indicando che gli intervalli di confidenza previsti sono affidabili.
  • Esempio: Per il Gabon, ha previsto un PIL pro capite di $7225 (valore reale $7413) con un intervallo [$1000, $15000].
• Ragionamento OWL (Dataset Father):
  • Su espressioni di classe complesse (ALCQHI), RALP ha raggiunto una somiglianza di Jaccard superiore all'88%.
  • È stato dimostrato che l'uso della sintassi Manchester (più leggibile) funziona meglio della sintassi Description Logic (DL) per gli LLM.
  • Le prestazioni sono perfette (1.000) per concetti atomici e molto alte per negazioni, congiunzioni e disgiunzioni.

5. Significato e Implicazioni

Questo lavoro dimostra che i LLM possono sostituire o integrare efficacemente i modelli KGE basati su embedding, offrendo una soluzione più flessibile e generalizzabile.

• Flessibilità: Non richiede l'addestramento di nuovi vettori per ogni nuova entità; basta includere l'entità nel prompt.
• Interpretabilità: Il ragionamento Chain-of-Thought rende il processo decisionale trasparente, a differenza delle "scatole nere" vettoriali.
• Efficienza dei Dati: Ottimizza le prestazioni con pochissimi esempi di addestramento (<30), rendendolo ideale per domini con dati scarsi.
• Limitazioni: La scalabilità è attualmente limitata dalla dimensione del contesto (token limit) degli LLM e dalla necessità di etichette leggibili dall'uomo (gli ID come QID non sono comprensibili senza mappatura). Tuttavia, l'approccio apre la strada a un ragionamento simbolico su grafi della conoscenza ricchi e dinamici, specialmente in scenari zero-shot.

In sintesi, RALP segna un passo significativo verso l'integrazione di metodi simbolici (ragionamento logico) e subsimbolici (LLM) per la completamento dei Knowledge Graph.