ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

Sintesi Tecnica di ReaLM: Quantizzazione Residua per il Ponte tra Knowledge Graph Embedding e Large Language Models

Problematica
Sebbene i Large Language Models (LLM) abbiano dimostrato forti capacità di ragionamento per la Completezza di Knowledge Graph (KGC), esiste un disallineamento fondamentale tra gli spazi di embedding continui dei modelli di Knowledge Graph (KG) e gli spazi di token discreti degli LLM. Gli approcci tradizionali che convertono i triple di KG in linguaggio naturale generano spesso output che sono semanticamente correlati ma non corrispondono esattamente alle entità definite nel KG, portando a inconsistenze di mappatura. Al contrario, l'espansione diretta del vocabolario dell'LLM per includere tutte le entità del KG è computazionalmente proibitiva a causa della natura vasta ed evolutiva degli insiemi di entità (ad esempio, WN18RR contiene oltre 40.000 entità, superando il vocabolario di 32.000 token di LLaMA-2). I metodi esistenti che tentano di colmare questo divario, come la proiezione diretta o l'integrazione parziale, soffrono spesso di instabilità nell'addestramento, incapacità di supportare compiti di ranking o fallimento nel catturare una ricca semantica strutturale.

Metodologia
Il framework proposto, ReaLM, affronta queste sfide attraverso un processo multi-stadio che discretizza gli embedding del KG in sequenze di codici compatti compatibili con la tokenizzazione dell'LLM, imponendo al contempo la coerenza semantica tramite ontologia.

1. Estrazione Semantica: Il framework utilizza RotatE per pre-addestrare embedding di entità e relazioni di alta qualità in uno spazio vettoriale complesso. RotatE è stato selezionato per la sua capacità superiore di catturare pattern relazionali rispetto ad altri metodi di embedding come TransE o DistMult.
2. Quantizzazione Vettoriale Residua (RVQ): Per colmare il divario continuo-discreto, ReaLM impiega la Quantizzazione Vettoriale Residua. Gli embedding complessi pre-addestrati vengono mappati in vettori a valori reali e approssimati attraverso una sequenza di $S$ stadi (impostati empiricamente a 32). In ogni stadio, un vettore residuo viene quantizzato selezionando il codeword più vicino da un codebook indipendente. Questo processo trasforma un embedding continuo ad alta dimensione in una sequenza discreta compatta di $S$ indici di codice. La quantizzazione è ottimizzata utilizzando una funzione di perdita che combina la perdita di ricostruzione, la perdita del codebook e una perdita di impegno (commitment loss) per prevenire il collasso del codebook.
3. Integrazione e Fine-tuning dell'LLM: Gli indici di codice discreti sono trattati come nuovi token e aggiunti al vocabolario dell'LLM. Gli embedding per questi nuovi token sono inizializzati sommando i vettori dei corrispondenti codeword attraverso tutti gli stadi di quantizzazione. Il modello viene quindi sottoposto a fine-tuning utilizzando una strategia di adattamento duale:
   • Ottimizzazione del Token Embedding: Gli embedding dei nuovi token quantizzati vengono addestrati tramite standard gradient descent.
   • Adattamento Efficiente dei Parametri: I parametri interni dell'LLM sono adattati utilizzando la Low-Rank Adaptation (LoRA), consentendo al modello di interiorizzare il formato del token discreto senza ri-addestrare l'intera rete.
4. Vincoli di Classe Guidati dall'Ontologia: Per garantire la correttezza semantica, ReaLM integra la conoscenza ontologica. Le classi sono trattate in modo simile alle entità: vengono embeddate, quantizzate e aggiunte al vocabolario. Durante l'inferenza, il modello predice sia l'entità mancante che la sua classe corrispondente. Se l'entità predetta non appartiene alla classe predetta, la predizione viene raffinata selezionando un candidato alternativo che soddisfi il vincolo di classe.

Contributi Chiave

• Framework di Quantizzazione Vettoriale Residua: ReaLM introduce un metodo per trasformare gli embedding continui di alto livello del KG in sequenze di codici discreti compatti. Ciò consente un'integrazione fluida con gli spazi di token degli LLM preservando al contempo ricche informazioni relazionali e semantiche, evitando la necessità di un'espansione incontrollata del vocabolario.
• Vincoli di Classe Guidati dall'Ontologia: Il framework incorpora vincoli semantici a livello di classe per imporre la coerenza tra le entità predette e le loro classi corrispondenti, affrontando il problema delle predizioni semanticamente plausibili ma incoerenti con la classe.
• Validazione Empirica: L'approccio è validato su dataset benchmark standard (FB15k-237 e WN18RR), dimostrando miglioramenti significativi rispetto sia ai modelli basati su embedding tradizionali che agli esistenti metodi KGC basati su LLM.

Risultati Sperimentali
Esperimenti estesi sono stati condotti su compiti di link prediction e triple classification:

• Link Prediction: Sul dataset WN18RR, ReaLM ha raggiunto un Mean Reciprocal Rank (MRR) di 0.608 e un Hits@1 di 0.575, superando il più forte baseline basato su LLM (SSQR-LLaMA3.1) del 1.6–3.5%. Su FB15k237, ha ottenuto un MRR di 0.467, superando tutti i baseline.
• Triple Classification: Sul dataset FB15k-237N, ReaLM ha raggiunto un'accuratezza di 0.814 e un F1-score di 0.825, migliorando il baseline SSQR-LLaMA3.1 di 1.4 punti percentuali in F1-score.
• Studi di Ablazione: La rimozione della componente guidata dall'ontologia ha causato una degradazione costante delle prestazioni in tutte le metriche (ad esempio, un calo del 3.38% nell'F1-score per la triple classification), confermando il ruolo critico dei vincoli di classe nel filtrare le predizioni incoerenti rispetto al tipo.
• Analisi dei Parametri: Gli esperimenti hanno indicato che una dimensione del codebook ($K$) di 1000–1500 e 32 stadi di quantizzazione ($S$) offrono il miglior compromesso tra capacità rappresentativa ed efficienza computazionale.

Significato
L'articolo sostiene che ReaLM colma efficacemente il divario tra la conoscenza strutturata e i modelli linguistici generativi. Discretizzando gli embedding in codici quantizzati, ReaLM consente agli LLM di interiorizzare la semantica strutturata del KG senza sacrificare la fluidità linguistica o richiedere massicce espansioni del vocabolario. L'integrazione di vincoli guidati dall'ontologia assicura ulteriormente che le predizioni del modello rimangano semanticamente coerenti con la struttura sottostante del knowledge graph. Gli autori concludono che ReaLM rappresenta un approccio allo stato dell'arte per la KGC, offrendo una soluzione robusta alle sfide del disallineamento semantico e della scalabilità del vocabolario nei modelli basati su LLM.