💬 NLP

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Dit artikel onthult dat grote taalmodellen vaak een aanzienlijke instabiliteit vertonen in hun antwoorden wanneer zij worden geconfronteerd met betekenisbehoudende parafrases, wat aantoont dat standaard nauwkeurigheidsmetrieken betrouwbaarheidsproblemen kunnen maskeren en dat zelf-parafrasestrategieën effectief latente kennis kunnen herstellen om de prestaties te verbeteren.

Oorspronkelijke auteurs: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Gepubliceerd 2026-07-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Illusie van de Perfecte Robot

Stel je voor dat je praat met een zeer slimme robotvriend die bijna elk boek in de bibliotheek heeft gelezen. Je stelt een simpele vraag en het geeft je een briljant, correct antwoord. Je voelt je zelfverzekerd, toch? Maar wat als je exact dezelfde vraag nog een keer stelt, maar dan met net iets andere woorden? Zou het dan nog steeds hetzelfde antwoord geven? Dit is de grote vraag achter een nieuwe studie van informaticawetenschappers van de University of Maryland. Ze kijken naar "Large Language Models" (LLM's), wat de superintelligente AI-hersenen zijn achter tools zoals chatbots. Deze modellen staan bekend om hun nauwkeurigheid bij tests, maar deze studie stelt een lastige vraag: Zijn ze werkelijk betrouwbaar, of zijn ze gewoon goed in het raden op basis van hoe een vraag geformuleerd is? Denk aan een student die de exacte bewoording van een oefentoets uit het hoofd leert. Als je de vraag een klein beetje verandert, weet de student dan nog steeds het antwoord, of raakt hij in de war? De onderzoekers wilden ontdekken of deze AI-modellen de wereld echt begrijpen of dat ze gewoon een spelletje "woordovereenkomst" spelen.

Dezelfde Vraag, Het Foute Antwoord

De onderzoekers besloten een spel te spelen met 13 verschillende AI-modellen, variërend van kleinere, open-source modellen tot de enorme, krachtige modellen die door grote technologiebedrijven worden gebruikt. Ze namen vragen over feiten uit de echte wereld (zoals "Hoeveel schaakpartijen verloor Anderssen in 1864?") en wiskundige problemen, en stelden de modellen vervolgens exact dezelfde vragen, maar dan herschreven op tientallen verschillende manieren. Ze zorgden ervoor dat de nieuwe vragen precies hetzelfde betekenden, net zoals zeggen "Hoe gaat het?" versus "Wat is er aan de hand?" of "Hoe gaat het ermee?".

Hier is de verrassende wending die ze vonden: De AI-modellen waren vaak inconsistent. Ondanks dat de vragen hetzelfde betekenden, gaven de modellen soms de eerste keer het juiste antwoord, en gaven ze het de tweede keer fout wanneer de vraag werd geherformuleerd. Sterker nog, voor veel vragen wisselden de modellen tussen het goed en fout hebben, afhankelijk van de bewoording. De studie vond dat de mismatch-percentages — waarbij het model een ander antwoord geeft op dezelfde vraag — konden oplopen tot meer dan 23%. Dat betekent dat als je een model 100 keer dezelfde vraag stelt op verschillende manieren, het je bijna een kwart van de tijd een ander (en foutief) antwoord zal geven, ook al wist het model het juiste antwoord al de hele tijd!

De "Verborgen Kennis"-kloof

Het meest fascinerende deel van het verhaal is wat dit zegt over wat de AI eigenlijk "weet". De onderzoekers ontdekten dat de modellen het juiste antwoord vaak wel binnenin zich hadden. Als je dezelfde vraag op genoeg verschillende manieren stelde, zou het model het uiteindelijk minstens één keer goed krijgen. Dit suggereert dat de kennis aanwezig is, maar dat het model onbetrouwbaar is bij het ophalen ervan.

Om dit te visualiseren, stel je een student voor die een toets maakt:

Standaard Nauwkeurigheid: De student krijgt 80% goed bij de eerste poging.
Betrouwbare Capaciteit: De student krijgt 80% goed elke keer dat je de vraag stelt, ongeacht hoe je hem formuleert.
Latente Capaciteit: De student krijgt het antwoord minstens één keer goed als je het op 10 verschillende manieren vraagt.

De studie vond een enorme kloof tussen "Betrouwbare Capaciteit" en "Latente Capaciteit". De modellen wisten het antwoord vaak wel (Latent), maar slaagden er niet in dit consistent te tonen (Betrouwbaar). In sommige gevallen konden de modellen 30% extra vragen correct beantwoorden als je ze simpelweg op een andere manier stelde, maar faalden ze daarop bij de standaardtest. Dit betekent dat de standaard "nauwkeurigheidsscores" die we op ranglijsten zien, veel instabiliteit kunnen verbergen. De modellen zijn niet noodzakelijkerwijs dom; ze zijn slechts fragiel. Ze vertrouwen op specifieke woordpatronen in plaats van op een diep, rotsvast begrip.

De "Flip" en de "Fix"

De onderzoekers keken ook naar iets dat ze "flip rates" noemen. Dit is wanneer een model een vraag de eerste keer goed heeft, maar het dan fout heeft wanneer je de vraag anders formuleert. Of, nog verwarrender: het krijgt een vraag de eerste keer fout, maar krijgt het de tweede keer goed wanneer je de vraag anders formuleert. Dit "flip-flop" gedrag laat zien dat de hersenen van het model wankel zijn. Het is als een kompas dat naar het Noorden wijst als je het op één manier vasthoudt, maar naar het Oosten wijst als je het een beetje kantelt.

Toch was er een sprankje hoop. De onderzoekers probeerden een simpele truc genaamd Self-Paraphrasing (Zelf-parafraseren). In plaats van alleen de AI één vraag te stellen, vroegen ze het model om de vraag eerst in eigen woorden te herschrijven, en vervolgens te antwoorden op basis van die nieuwe versies. Het is alsof je een student vraagt om "de vraag eerst in je eigen hoofd opnieuw te lezen voordat je antwoordt". Deze simpele stap hielp de modellen de kloof te overbruggen, waardoor hun prestaties verbeterden door hen te helpen die verborgen, latente kennis te ontsluiten.

Wat Dit Betekent voor de Toekomst

De belangrijkste les van dit artikel is dat standaard nauwkeurigheidsscores misleidend kunnen zijn. Alleen omdat een model een hoge score haalt op een test, betekent niet dat het werkelijk betrouwbaar is in de echte wereld. In het echte leven stellen mensen vragen op allerlei vreemde manieren, en als een AI dat niet aankan, is het niet klaar voor het grote publiek. De studie suggereert dat we moeten stoppen met alleen maar kijken naar "hoeveel vragen heeft het goed beantwoord?" en moeten gaan vragen "hoe consistent is het?".

De auteurs suggereren dat voor AI om werkelijk vertrouwen te wekken, het getest moet worden op zijn vermogen om consistent te blijven over verschillende formuleringen heen. Tot die tijd kunnen we de intelligentie van deze robots misschien wel overschatten. Ze zijn misschien briljant in het uit het hoofd leren van het script, maar ze moeten nog leren hoe ze kunnen improviseren zonder hun draad kwijt te raken.

Technische Samenvatting: Dezelfde Vraag, Andere Antwoorden: Het Evalueren van LLM-Betrouwbaarheid Voorbij Accuratesse

Probleemstelling

Hoewel Large Language Models (LLM's) een hoge accuratesse vertonen op standaard benchmarks, blijft hun betrouwbaarheid onduidelijk wanneer dezelfde vraag op verschillende maar semantisch equivalente manieren wordt gepresenteerd. Huidige evaluatiepraktijken vertrouwen vaak op single-prompt accuratesse, wat significante instabiliteit kan maskeren. Bestaande studies naar de robuustheid van LLM's richten zich vaak op oppervlakkige perturbaties (bijv. wijzigingen in opmaak, adversariële ruis) of multiple-choice taken, die de variabiliteit van de output beperken. Bovendien verhullen geaggregeerde accuratesse-metrieken vaak fluctuaties op instantieniveau, en lijden eerdere studies naar parafrasering soms aan "betekenisdrift" in gegenereerde variaties. Dit werk adresseert de kloof in het begrip van hoe LLM's zich gedragen onder rigoureuze, betekenisbehoudende parafrasering in open eind generatietaken, specifiek voor feitelijke vraagbeantwoording en wiskundige redenering.

Methodologie

De auteurs introduceren een gecontroleerd framework om de consistentie van LLM's te evalueren met behulp van rigoureus gevalideerde semantisch equivalente inputs.

1. Constructie van Semantisch Equivalent Testsets

Om het effect van de oppervlaktevorm te isoleren, genereert de studie sets van parafrases voor elke originele query ( $Q_0$ ) met behulp van een driefasige validatiepipeline:

Gecontroleerde Generatie: Een hoogwaardig model (GPT-4.1-mini) genereert parafrases geconditioneerd op lichte cues om structurele of stilistische variatie te induceren (bijv. toon, syntaxis) terwijl de intentie en beperkingen behouden blijven.
Lexicale Overlap Filtering: Kandidaten met een hoge lexicale overlap (>0.8) met het origineel worden verworpen om echte herformulering in plaats van oppervlakkige bewerkingen te garanderen.
Dubbelvoudige Semantische Verificatie:
- Een LLM-judge verifieert dat de parafrase exact dezelfde informatie opvraagt.
- Een NLI-gebaseerde filter (facebook/bart-large-mnli) controleert op bidirectionele implicatie tussen het origineel en de parafrase.
Menselijke Validatie: Een subset van parafrase-paren (~1250) werd geannoteerd door mensen, waarbij een overeenstemming van 92–98% werd bereikt op semantische equivalentie, wat de striktheid van de pipeline bevestigt.

2. Evaluatieprotocol

Modellen: 13 modellen werden geëvalueerd, inclusief open-weight modellen (Llama-3, Qwen-2.5/3 families variërend van 0.6B tot 32B parameters) en propriëtaire modellen (GPT-3.5, GPT-4o, GPT-4.1 varianten).
Datasets: Vier benchmarks die feitelijke QA (SIMPLEQA, TRUTHFULQA) en wiskundige redenering (GSM8K, MATH-500) dekken.
Decoding: Deterministische decoding werd gebruikt om variabiliteit toe te schrijven aan de interne staat van het model in plaats van aan stochastische sampling-ruis.
Metrieken: De studie gaat verder dan standaard accuratesse door de volgende te definiëren:
- Accuratesse Varianten: Originele Accuratesse ( $A_{orig}$ ), Gemiddelde Parafrase Accuratesse ( $A_{dist}$ ), en Meerderheidsstem Accuratesse ( $A_{MV}$ ).
- Instantie-niveau Stabiliteit: Mismatch Rate (verschil tussen origineel en meerderheidsstem), Prediction Flip Rates (directionele instabiliteit), en Non-Determinisme (ND) Rate (fractie van sets met meerdere verschillende labels).
- Capaciteitsgrenzen:
  - Maximale Capaciteit ( $A_{any}$ ): De proportie instanties waarbij het model correct is op ten minste één parafrase (latente kennis).
  - Betrouwbare Capaciteit ( $A_{strict}$ ): De proportie instanties waarbij het model correct is op alle parafrases (betrouwbare kennis).

Belangrijkste Resultaten

1. De Illusie van Stabiliteit

Geaggregeerde accuratesse-metrieken tonen slechts bescheiden fluctuaties (doorgaans 0–5%) over parafrases heen. Echter, analyse op instantieniveau onthult aanzienlijke verborgen instabiliteit:

Hoge Mismatch Rates: Tot 23% van de vragen krijgt een andere correctheid-label wanneer geparafraseerd, zelfs wanneer de geaggregeerde accuratesse-kloof bijna nul is.
Non-Determinisme: Tot 47% van de parafrase-sets bevat conflicterende voorspellingen (het model geeft verschillende labels voor semantisch identieke inputs).
Flip Rates: Modellen beantwoorden de originele vraag vaak correct maar falen op parafrases, en vice versa, falen op het origineel maar slagen op parafrases. Dit geeft aan dat standaard accuratesse vaak een statistisch bijproduct is van compenserende fouten in plaats van echte betrouwbaarheid.

2. De Betrouwbaarheidskloof

Er bestaat een aanzienlijk verschil tussen de latente kennis van een model en zijn consistente prestaties:

Latent vs. Betrouwbaar: $A_{any}$ (best-case) is consistent hoger dan $A_{strict}$ (worst-case). Bijvoorbeeld, op TRUTHFULQA bezitten modellen vaak de interne capaciteit om nog eens 30% van de vragen correct te beantwoorden, maar falen ze om deze kennis consistent op te halen over verschillende formuleringen.
Schaalbaarheidstrends: Hoewel grotere modellen over het algemeen een betere stabiliteit en hogere $A_{strict}$ vertonen, blijft er een kloof bestaan, zelfs bij high-performing modellen. Chain-of-Thought (CoT) redenering verbetert zowel de accuratesse als de consistentie, maar elimineert instabiliteit niet volledig.

3. De Kloof Overbruggen via Zelf-Parafrasering

De studie demonstreert dat de "betrouwbaarheidskloof" deels overbrugd kan worden tijdens de inferentie. Door een Self-Paraphrasing strategie toe te passen—waarbij het model zijn eigen parafrases genereert om een rijkere context te creëren voordat het antwoord geeft—verbeterde de prestatie voor 6 van de 7 geteste modellen. Dit suggereert dat de latente kennis aanwezig is, maar inconsistent wordt opgehaald door gevoeligheid voor de oppervlaktevorm.

Betekenis en Claims

Het paper betoogt dat standaard accuratesse-metrieken een onvolledig en vaak te optimistisch beeld geven van de betrouwbaarheid van LLM's. De primaire bijdragen zijn:

Onthullen van Instabiliteit op Instantieniveau: De studie toont aan dat er substantiële instabiliteit bestaat onder betekenis-behoudende inputs, wat gemaskeerd wordt door geaggregeerde accuratesse-scores.
Definiëren van de Betrouwbaarheidskloof: Het formaliseert het onderscheid tussen latente capaciteit ( $A_{any}$ ) en betrouwbare capaciteit ( $A_{strict}$ ), en laat zien dat modellen vaak kennis bezitten die ze niet betrouwbaar kunnen ontsluiten.
Voorstellen van een Nieuw Evaluatieparadigma: De auteurs pleiten voor een consistentie-bewuste evaluatie over geparafraseerde inputs om de werkelijke real-world deployment scenario's beter te reflecteren, waarbij de formulering van de gebruiker varieert.
Praktische Mitigatie: De bevindingen suggereren dat eenvoudige test-time strategieën, zoals zelf-parafrasering, kunnen fungeren als een "denoising" mechanisme om latente kennis te herstellen en robuustheid te verbeteren zonder hertraining.

De auteurs concluderen dat het evalueren van LLM's vereist dat men verder kijkt dan single-prompt accuratesse naar fijnmazige, consistentie-bewuste benchmarks om de werkelijke betrouwbaarheid en capaciteit accuraat te beoordelen.