KGCache: Amortized Subgraph Retrieval for KG Reasoning with LLMs

Stel je voor dat je een super-slimme, super-creatieve vriend hebt die verhalen kan schrijven, raadsels kan oplossen en over alles onder de zon kan kletsen. Deze vriend is een Large Language Model (LLM), een type kunstmatige intelligentie dat bijna alles op het internet heeft gelezen. Maar er is een addertje onder het gras: het brein van deze vriend is als een bevroren momentopname van de wereld van een paar jaar geleden. Ze weten niet wat er gisteren is gebeurd, en ze verzinnen soms feiten die perfect lijken te klinken, maar volkomen onjuist zijn. Dit wordt "hallucineren" genoemd.

Om dit op te lossen, geven we onze vriend een bibliotheekpas voor een enorme, georganiseerde encyclopedie genaamd een Knowledge Graph (KG). In plaats van te gokken, kan de vriend specifieke feiten opzoeken, zoals "Wie is de president van Frankrijk?" of "In welke films speelde Tom Hanks?". Dit doet door een spoor van verbindingen tussen mensen, plaatsen en dingen te volgen. Echter, informatie opvragen bij deze bibliotheek is traag. Elke keer als de vriend een vraag stelt, moet hij naar de bibliotheek lopen, het juiste plankje vinden, een boek eruit pakken, een pagina lezen en weer teruglopen. Als je 100 vragen stelt, en veel daarvan gaan over dezelfde beroemde mensen of plaatsen, is je vriend veel onnodig aan het lopen en het steeds opnieuw ophalen van dezelfde pagina's. Dit artikel vraagt: "Wat als we een kleine wachtkamer direct naast onze vriend hadden waar we de meest populaire pagina's binnen handbereik kunnen houden, zodat hij niet elke keer helemaal naar de bibliotheek hoeft te lopen?"

Dit is precies wat de onderzoekers aan de Texas A&M University hebben gedaan. Ze hebben een slim systeem gebouwd genaamd KGCache. Denk aan KGCache als een magisch "post-it"-bord geplaatst tussen je AI-vriend en de gigantische bibliotheek. Wanneer je vriend informatie opvraagt over een specifiek persoon (zoals "Elon Musk"), controleert het systeem eerst de post-its. Als de informatie er al staat, wordt deze direct overhandigd. Zo niet, dan rent het naar de bibliotheek, pakt de informatie, plakt het op het bord voor de volgende keer en geeft het dan aan je vriend.

De onderzoekers hebben dit getest op twee grote sets lastige vragen (genaamd WebQSP en CWQ) en ontdekten iets spannends: je AI-vriend vraagt steeds opnieuw naar dezelfde informatie. Sterker nog, voor sommige populaire vragen waren bijna 76% van de genoemde mensen en plaatsen herhalingen! Daarom was KGCache in staat om antwoorden uit de "post-its" te serveren in plaats van naar de bibliotheek te rennen. Dit maakte het ophaalproces tot wel 1,91 keer sneller op een van de datasets. Dat betekent dat de AI minder tijd besteedde aan het lopen naar de bibliotheek en meer tijd aan het daadwerkelijk nadenken en antwoorden.

Ze probeerden ook een tweede, nog slimmere truc genaamd semantische caching. Stel je voor dat je vriend vraagt: "Wie is de leider van Frankrijk?" en je hebt al eerder opgezocht: "Wie regeert het land Frankrijk?". Hoewel de woorden anders waren, was de betekenis hetzelfde. De semantische cache merkte deze gelijkenis op en zei: "Hé, ik heb het antwoord daarvoor al!" Dit bespaarde nog meer tijd, hoewel de onderzoekers opmerkten dat er meer tests nodig zijn om te controleren of de antwoorden nog steeds 100% accuraat zijn.

Het artikel beweert niet dat het alle AI-problemen heeft opgelost of het systeem perfect heeft gemaakt. In plaats daarvan hebben ze precies gemeten hoeveel tijd er werd bespaard en ontdekten ze dat hoewel de versnelling aanzienlijk was voor het deel van het "naar de bibliotheek lopen", de totale tijd bespaard voor het hele gesprek kleiner was (ongeveer 1,06 keer sneller), omdat de AI nog steeds het denkgedeelte moest doen. Ze hebben ook laten zien dat deze truc werkt, of de AI nu vragen één voor één stelt of een heel pad van vragen tegelijk plant.

Kortom, de onderzoekers hebben bewezen dat door simpelweg te onthouden wat we al hebben opgezocht, we AI-systemen die gebruikmaken van knowledge graphs veel vlotter en efficiënter kunnen maken. Het is een simpel idee — haal niet op wat je al hebt — maar het blijkt een enorme hulp te zijn wanneer je AI-vriend duizenden vragen probeert te beantwoorden over dezelfde beroemde mensen en plaatsen.