In de wereld van kunstmatige intelligentie zijn grote taalmodellen opmerkelijk vloeiend geworden in het schrijven van teksten. Ze kunnen vragen beantwoorden, verhalen samenvatten en gesprekken voeren door het volgende woord in een zin te voorspellen op basis van patronen die ze leerden van enorme hoeveelheden data. Deze modellen hebben echter een fundamentele zwakte: ze weten het verschil niet tussen een feit dat waar is en een zin die simpelweg plausibel klinkt. Om dit op te lossen, ontwikkelden ingenieurs een methode genaamd retrieval-augmented generation. Deze aanpak geeft het model een reeks documenten om te lezen voordat het antwoordt, waardoor het wordt gedwongen zijn reactie te baseren op echt bewijs in plaats van alleen op zijn eigen geheugen. Toch ontstaat er met deze methode een nieuw probleem. Wanneer het systeem naar bewijs zoekt, vindt het vaak een paragraaf tekst waar het antwoord in een zin verborgen zit. Het model moet dan optreden als een detective, die de specifieke feiten uit de proza haalt. Hierbij kan het gemakkelijk de context verkeerd lezen of de waarde onjuist reconstrueren, wat leidt tot antwoorden die vloeiend maar subtiel fout zijn.

Om dit op te lossen, bouwden onderzoekers aan de Universiteit van Salerno in Italië een nieuw systeem genaamd ORACOLO. Ze wilden weten of ze de zoektocht naar feiten nauwkeuriger konden maken door een formele kenniskaart te gebruiken, een ontologie genoemd, in plaats van alleen door gewone tekst te zoeken. Een ontologie is een gestructureerde database waar feiten worden opgeslagen als duidelijke, geïsoleerde verbindingen, zoals een bibliotheekcatalogus waar elk boek met zijn auteur en jaartal in een rigide formaat wordt vermeld. De uitdaging is dat deze catalogi moeilijk te bevragen zijn voor gewone mensen omdat ze een gespecialiseerde, formele taal vereisen. Het team combineerde het beste van beide werelden: ze gebruikten een neuraal netwerk, een type kunstmatige intelligentie dat goed is in het begrijpen van menselijke taal, om een gebruikersvraag te vertalen naar een formele query. Vervolgens gebruikten ze een symbolische engine, een strikt computerprogramma, om die query uit te voeren tegen de gestructureerde kaart. Als de kaart een duidelijk antwoord teruggaf, gebruikte het systeem dat. Als de kaart niets teruggaf, viel het systeem terug op de traditionele methode van het doorzoeken van tekstparagrafen. Deze hybride aanpak stelde hen in staat om te testen of de gestructureerde kaart nauwkeurigere feiten kon bieden dan de tekstzoekopdracht, zelfs wanneer beide methoden hetzelfde taalmodel gebruikten om het uiteindelijke antwoord te schrijven.

De onderzoekers testten dit systeem op een echte bibliotheekcatalogus van de Universiteitbibliotheek van Lugano in Zwitserland. Deze catalogus bevatte bijna honderdduizend feiten over boeken, waaronder titels, auteurs, publicatiedatums en samenvattingen van de inhoud. Ze creëerden een reeks vragen gebaseerd op deze catalogus, variërend van eenvoudige verzoeken zoals "Wie heeft dit boek geschreven?" tot complexere ketens van informatie. Vervolgens vergeleken ze hun nieuwe systeem met een standaardversie die alleen tekstzoekopdrachten gebruikte, waarbij ze ervoor zorgden dat beide systemen exact hetzelfde taalmodel gebruikten om het uiteindelijke antwoord te genereren. Dit was een cruciale stap, aangezien dit betekende dat elk verschil in de resultaten moest komen door de manier waarop de informatie werd gevonden, en niet door de intelligentie van de schrijver. De resultaten toonden een duidelijke verbetering in nauwkeurigheid. Het nieuwe systeem identificeerde de specifieke feiten in het antwoord veel vaker dan het tekstgebaseerde systeem. Terwijl het tekstgebaseerde systeem het juiste antwoord ongeveer vierentwintig procent van de tijd wist te vinden, verbeterde het nieuwe systeem dit naar bijna zevenenveertig procent.

De studie onthulde dat deze verbetering specifiek voortkwam uit het vermogen om exacte feiten op te halen. Wanneer de vraag vroeg om één enkel stuk informatie, zoals een auteursnaam of een publicatiejaar, was het nieuwe systeem aanzienlijk beter. Het presteerde ook goed wanneer de vraag vereiste twee stukken informatie aan elkaar te koppelen. Echter, het voordeel verdween wanneer de vraag vereiste dat het systeem redeneerde over de feiten, zoals het afleiden van een thema uit de inhoud van een boek. In die gevallen presteerden beide systemen vergelijkbaar. Dit suggereert dat de nieuwe architectuur de computer niet slimmer maakt in denken; het maakt de computer eerder beter in het vinden van de exacte grondstoffen die hij nodig heeft om mee te denken. Het systeem bewees ook dat de gestructureerde kaart de antwoorden niet op een meer "getrouwe" manier maakte aan het bewijs dan de tekstzoekopdracht dat deed. Beide systemen waren even goed in het vasthouden aan de informatie die ze kregen. Het verschil was simpelweg dat het nieuwe systeem aan het begin met betere, preciezere informatie werd voorzien.

Een belangrijke bevinding van het onderzoek was hoe het systeem met zijn eigen fouten omging. De onderzoekers ontdekten dat de formele kaart niet altijd werkte. In ongeveer vierentwintig procent van de gevallen faalde de vertaling van menselijke taal naar de formele query, of de query leverde geen resultaten op. Op die momenten gaf het systeem niet op. Het detecteerde de fout en schakelde onmiddellijk over naar de tekstzoekmethode om een antwoord te vinden. Dit vangnet betekende dat het systeem nog steeds een reactie kon geven, zelfs wanneer de strikte kaart dat niet kon. De onderzoekers vonden echter ook dat het systeem het meest accuraat was wanneer de formele kaart correct functioneerde. Wanneer het systeem vertrouwde op de tekstuele fallback, was de verbetering in nauwkeurigheid veel kleiner. Dit bevestigde dat de gestructureerde kaart de bron van de precisie was, terwijl de tekstzoekopdracht diende als een betrouwbare back-up.

De studie onthulde ook een verrassend probleem met de manier waarop we de kwaliteit van deze systemen meten. Een veelgebruikte metriek om antwoorden te evalueren is "relevantie", wat controleert hoe goed het antwoord overeenkomt met het onderwerp van de vraag. De onderzoekers ontdekten dat een systeem dat geen feitelijke fouten maakte maar simpelweg vloeiend gokte, hoger kon scoren op relevantie dan hun accurate systeem. Dit gebeurde omdat het gokkende systeem lange, vloeiende antwoorden schreef die perfect klonken, terwijl het accurate systeem soms korte, directe antwoorden gaf of weigerde te antwoorden wanneer het de feiten niet kon vinden. Dit suggereert dat relevantiescores misleidend kunnen zijn, omdat ze stijl belonen boven inhoud. De onderzoekers concludeerden dat we, om deze systemen echt te evalueren, moeten kijken naar of de feiten correct zijn, en niet alleen of het antwoord goed klinkt.

Ten slotte onderzocht het team de kosten van het draaien van dit nieuwe systeem. Het proces van het vertalen van een vraag, het controleren ervan tegen de kaart, en het vervolgens schrijven van het antwoord, duurde aanzienlijk langer dan simpelweg het taalmodel laten gokken. Gemiddeld duurde het nieuwe systeem ongeveer 292 seconden om een enkele vraag te beantwoorden, vergeleken met ongeveer vijfendertig seconden voor het tekstgebaseerde systeem. De onderzoekers merkten op dat deze vertraging grotendeels kwam door de tijd die de taalmodellen nodig hadden om de informatie te verwerken, en niet door de tijd die het kostte om de kaart te controleren. Ze ontdekten dat één specifieke stap in hun proces, die probeerde complexe vragen in kleinere delen op te splitsen, het systeem eigenlijk vertraagde zonder de resultaten te verbeteren. Het verwijderen van deze stap verkortte de tijd aanzienlijk zonder de nauwkeurigheid aan te tasten. Dit suggereert dat hoewel het systeem momenteel te traag is voor direct, interactief gebruik, het praktisch zou kunnen zijn voor situaties waar nauwkeurigheid belangrijker is dan snelheid, zoals het verifiëren van historische records of het controleren van institutionele gegevens. Het werk demonstreert dat door de flexibiliteit van menselijke taal te combineren met de precisie van gestructureerde data, we systemen kunnen bouwen die veel betrouwbaarder zijn dan die welke alleen op taal vertrouwen.