KGCache: Amortized Subgraph Retrieval for KG Reasoning with LLMs

Immagina di avere un amico super intelligente e super creativo che sa scrivere storie, risolvere indovinelli e chiacchierare di qualsiasi cosa sotto il sole. Questo amico è un Modello di Linguaggio di Grandi Dimensioni (LLM), un tipo di intelligenza artificiale che ha letto quasi tutto ciò che c'è su Internet. Ma c'è un trucco: il cervello di questo amico è come un'istantanea congelata del mondo di qualche anno fa. Non sa cosa sia successo ieri e a volte inventa fatti che sembrano perfetti ma che sono completamente sbagliati. Questo si chiama "allucinazione".

Per risolvere questo problema, diamo al nostro amico una tessera della biblioteca per un'enciclopedia massiccia e organizzata chiamata Grafo della Conoscenza (Knowledge Graph o KG). Invece di tirare a indovinare, può cercare fatti specifici, come "Chi è il presidente della Francia?" o "In quali film ha recitato Tom Hanks?", seguendo un sentiero di connessioni tra persone, luoghi e cose. Tuttavia, chiedere informazioni a questa biblioteca è lento. Ogni volta che l'amico pone una domanda, deve camminare fino alla biblioteca, trovare lo scaffale giusto, prendere il libro, leggere una pagina e tornare indietro. Se fai 100 domande, e molte di queste riguardano le stesse persone o luoghi famosi, il tuo amico sta facendo un sacco di camminate inutili, andando a recuperare le stesse pagine più e più volte. Questo articolo si chiede: "E se avessimo una piccola sala d'attesa proprio accanto al nostro amico, dove possiamo tenere a portata di mano le pagine più popolari, così non deve correre ogni singola volta fino alla biblioteca?".

Questo è esattamente ciò che hanno fatto i ricercatori della Texas A&M University. Hanno costruito un sistema ingegnoso chiamato KGCache. Pensa a KGCache come a una bacheca di "post-it" magica posizionata tra il tuo amico AI e la gigantesca biblioteca. Quando il tuo amico chiede informazioni su una persona specifica (come "Elon Musk"), il sistema controlla prima i post-it. Se l'informazione è già lì, gliela consegna istantaneamente. Se non lo è, corre in biblioteca, prende l'informazione, la attacca sulla bacheca per la prossima volta e poi la consegna al tuo amico.

I ricercatori hanno testato questo sistema su due grandi set di domande difficili (chiamati WebQSP e CWQ) e hanno scoperto una cosa entusiasmante: il tuo amico AI chiede la stessa informazione ripetutamente. Infatti, per alcune domande popolari, quasi il 76% delle persone e dei luoghi menzionati erano dei duplicati! Per questo motivo, KGCache è stato in grado di fornire le risposte dai suoi "post-it" invece di correre in biblioteca. Questo ha reso il processo di recupero fino a 1,91 volte più veloce su uno dei dataset. Ciò significa che l'AI ha passato meno tempo a camminare verso la biblioteca e più tempo ad effettivamente pensare e rispondere.

Hanno anche provato un secondo trucco, ancora più intelligente, chiamato caching semantico. Immagina se il tuo amico chiedesse: "Chi è il leader della Francia?" e tu avessi già cercato "Chi governa il paese della Francia?". Anche se le parole erano diverse, il significato era lo stesso. Il cache semantico ha notato questa somiglianza e ha detto: "Ehi, ho già la risposta per questo!". Questo ha fatto risparmiare ancora più tempo, anche se i ricercatori hanno notato che è necessario sottoporlo a ulteriori test per assicurarsi che le risposte siano ancora accurate al 100%.

Il documento non sostiene di aver risolto tutti i problemi dell'IA o di aver reso il sistema perfetto. Invece, hanno misurato esattamente quanto tempo è stato risparmiato e hanno scoperto che, sebbene l'accelerazione sia stata significativa per la parte di "camminata verso la biblioteca", il tempo totale risparmiato per l'intera conversazione era minore (circa 1,06 volte più veloce) perché l'IA doveva comunque svolgere la parte del pensiero. Hanno anche dimostrato che questo trucco funziona sia che l'IA ponga le domande una alla volta, sia che pianifichi un intero percorso di domande in una volta sola.

In breve, i ricercatori hanno dimostrato che, semplicemente ricordando ciò che abbiamo già cercato, possiamo rendere i sistemi di IA che utilizzano i grafi della conoscenza molto più rapidi ed efficienti. È un'idea semplice — non recuperare ciò che hai già — ma si scopre che è di grande aiuto quando il tuo amico AI sta cercando di rispondere a migliaia di domande sulle stesse persone e luoghi famosi.