PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations
Dit paper introduceert PRISM, een nieuw diagnostisch benchmarkkader dat hallucinaties in grote taalmodellen ontleedt in vier specifieke dimensies en drie generatiefasen om de onderliggende oorzaken van fouten beter te begrijpen en betrouwbare modellen te ontwikkelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat een Large Language Model (LLM) – zoals de slimme chatbots die we vandaag de dag gebruiken – een super-intelligente, maar soms wat verwarde kok is in een gigantisch restaurant.
Deze kok kan prachtige gerechten (antwoorden) maken, maar soms serveert hij iets dat er prachtig uitziet, maar op smaak heel raar is of zelfs giftig. Dit noemen we in de tech-wereld "hallucinaties": de AI verzint feiten of volgt instructies niet goed.
Het probleem met de huidige manier van testen is dat we vaak alleen kijken naar het eindresultaat: "Is het gerecht goed?" of "Is het giftig?". Maar als het gerecht mislukt, weten we niet waarom. Was het de verkeerde ingrediëntenkast? Was de kok niet goed opgeleid om te koken? Of luisterde hij gewoon niet naar de bestelling?
Deze paper introduceert PRISM, een nieuw soort "keukentest" die precies uitlegt waar de fout zit.
Wat is PRISM?
PRISM is als een diagnostische scanner voor de hersenen van de AI. In plaats van alleen te zeggen "dit antwoord is fout", kijkt PRISM naar waar in het proces de kok de fout maakte. Ze verdelen de fouten in vier duidelijke categorieën, gebaseerd op drie stappen in het kookproces:
De Ingrediëntenkast (Geheugen):
- Geen ingrediënten (Knowledge Missing): De kok heeft het recept nodig, maar de kast is leeg. Hij weet het gewoon niet.
- Verkeerde ingrediënten (Knowledge Error): De kast is niet leeg, maar er staat een doosje "suiker" dat eigenlijk "zout" is. De kok gelooft dat suiker zout is, omdat dat in zijn geheugen staat.
Het Koken (Redeneren):
- Fout in de berekening (Reasoning Error): De kok heeft alle goede ingrediënten, maar hij vergeet de volgorde van het recept. Hij doet de suiker erbij voordat hij de eieren klopt. De logica is kapot, zelfs als de feiten kloppen.
De Bestelling (Instructies volgen):
- Niet luisteren (Instruction Following Error): De kok heeft de juiste ingrediënten en kent het recept, maar de klant vroeg om "geen noten" en de kok doet er toch noten in. Hij negeert de specifieke regels.
Waarom is dit zo belangrijk?
Vroeger was het testen van AI als het gokken met een dobbelsteen. Je wist niet of de AI slim was of gewoon geluk had. Met PRISM kunnen onderzoekers nu zeggen: "Ah, deze AI is goed in het onthouden van feiten, maar hij is slecht in het volgen van complexe regels."
De verrassende ontdekkingen
De onderzoekers hebben 24 verschillende AI-modellen getest (zowel die van grote bedrijven als open-source versies). Ze ontdekten een pijnlijke waarheid:
Het is als een weegschaal. Als je de kok traint om perfect te luisteren naar bestellingen (instructies volgen), wordt hij vaak een beetje dommer in het logisch redeneren. Als je hem traint om super-slim te redeneren, vergeet hij soms de specifieke regels van de klant.
Het is alsof je een sporter traint om de 100 meter te rennen; hij wordt super snel, maar hij kan misschien niet meer zo goed zwemmen. Je kunt niet alles tegelijk perfect maken zonder ergens anders op te offeren.
De conclusie voor de gewone mens
PRISM is geen gereedschap om AI te "fixen" in één keer, maar het is een fijnmazig meetinstrument. Het helpt ontwikkelaars om te begrijpen waar hun AI faalt, zodat ze gerichte training kunnen geven.
In plaats van te hopen dat de AI "beter" wordt, kunnen we nu zeggen: "Deze AI heeft een zwakke geheugenkast, laten we die vullen" of "Deze AI luistert niet goed, laten we hem straffer trainen op regels."
Kortom: PRISM helpt ons de "superkok" in de keuken te begrijpen, zodat we in de toekomst minder giftige gerechten krijgen en meer betrouwbare antwoorden, vooral in belangrijke situaties zoals medische diagnoses of juridisch advies.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.