💬 NLP

Popular but Wrong: Understanding and Mitigating LLM Overconfidence through Knowledge Popularity

Dit artikel onthult dat grote taalmodellen overmoed vertonen bij onjuiste antwoorden wanneer die antwoorden zeer populair zijn of vaak samen voorkomen met de zoekopdracht, en demonstreert dat het opnemen van signalen over de populariteit van kennis de overmoed effectief vermindert terwijl de nauwkeurigheid van de vertrouwensinschatting aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

Gepubliceerd 2026-09-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de stille brom van een serverpark is een nieuw soort intelligentie opgekomen, een die poëzie kan schrijven, vergelijkingen kan oplossen en vragen kan beantwoorden met een vloeiendheid die bijna menselijk aanvoelt. Deze grote taalmodellen zijn getraind op enorme oceanen van tekst, waarbij ze leren om het volgende woord in een zin te voorspellen door patronen in menselijke kennis te herkennen. Maar er is een addertje onder het gras: deze machines "weten" feiten niet echt zoals wij dat doen. Ze hebben geen geheugen van de wereld, alleen een statistisch besef van welke woorden gewoonlijk samen voorkomen. Wanneer ze het niet zeker weten, geven ze dat vaak niet toe. In plaats daarvan produceren ze regelmatig onjuiste antwoorden met absolute zekerheid, een fenomeen dat onderzoekers overmoed noemen. Dit is een kritiek probleem voor iedereen die op deze hulpmiddelen vertrouwt voor veiligheid, geneeskunde of financiën, omdat een zelfverzekerde leugen veel gevaarlijker is dan een aarzelende waarheid. De kernvraag voor wetenschappers is geweest waarom deze modellen hun eigen fouten zo diep vertrouwen. Is het een willekeurige glitch, of is er een verborgen patroon in hoe ze leren dat hen zeker maakt van de verkeerde dingen?

Een team van onderzoekers ging op zoek naar het antwoord op dit mysterie door te kijken naar het concept van populariteit. Ze vroegen zich af of de modellen simpelweg de voorkeur gaven aan antwoorden die beroemd of veel voorkomend waren in hun trainingsdata, zelfs wanneer die antwoorden onjuist waren voor de specifieke vraag die gesteld werd. Om dit te testen, richtten ze zich op een specifiek type taak: feitelijke vragen over entiteiten uit de echte wereld, zoals vragen wie een specifieke film heeft geregisseerd of waar een basketballer is geboren. Ze verzamelden duizenden van deze vragen en vergeleken de juiste antwoorden met de onjuiste antwoorden die de modellen genereerden. Ze maten de "populariteit" van de betrokken personen en plaatsen door te tellen hoe vaak links naar hen wezen op het internet en hoe vaak zij samen in geschreven documenten voorkwamen. Deze aanpak stelde hen in staat om te zien of de modellen naar de meest bekende namen neigden in plaats van naar de juiste.

De onderzoekers ontdekten dat wanneer deze modellen fouten maken, hun fouten verre van willekeurig zijn. In plaats van obscure of onwaarschijnlijke namen te raden, hebben de modellen de neiging om antwoorden te hallucineren die populairder zijn dan de correcte feiten. Als een model bijvoorbeeld niet weet wie de regisseur van een minder bekende film is, is het eerder geneigd om met veel zelfvertrouwen een beroemde regisseur te noemen die het vele malen heeft gezien, in plaats van een willekeurige onbekende. Bovendien kiezen de modellen vaak voor antwoorden die vaak in dezelfde zinnen voorkomen als de vraag, zelfs als die connectie onjuist is. Een model kan een vraag over een filmregisseur beantwoorden door de producent te noemen, simpelweg omdat die twee rollen vaak samen worden genoemd in artikelen. De studie vond dat deze populaire maar onjuiste alternatieven niet alleen algemeen voorkomen, maar ook degenen zijn die het model het meest vertrouwt. Zelfs wanneer het antwoord onjuist is, kent het model een hoger niveau van vertrouwen toe aan het populaire, bekend klinkende antwoord dan aan een minder beroemd, correct antwoord.

Dit patroon houdt stand bij verschillende soorten vragen en verschillende groottes van modellen, wat wijst op een fundamenteel gebrek in de manier waarop deze systemen kennis verwerken. De onderzoekers ontdekten dat hoe vaker een stuk informatie wordt herhaald in de trainingsdata, hoe groter de kans dat het model dit genereert en hoe zekerder het model zal zijn, ongeacht of het het juiste antwoord is voor de specifieke query. Dit creëert een gevaarlijke feedbackloop waarbij het meest bekende onjuiste antwoord wordt behandeld als de meest waarschijnlijke waarheid. De studie benadrukt dat aanzienlijke hiaten in domeinkennis gepaard gaan met een nog sterkere populariteits-gebiaste generatie, wat betekent dat wanneer modellen minder weten over een specifiek onderwerp, ze eerder vertrouwen op bekende maar onjuiste associaties. De bevindingen onthullen sterke systematische associaties tussen populariteit en overmoed, hoewel de onderzoekers opmerken dat dit correlaties zijn en geen causaliteiten, wat betekent dat ze een duidelijke link laten zien zonder te bewijzen dat populariteit alleen de overmoedige voorspellingen veroorzaakt.

Om dit aan te pakken, ontwikkelden de onderzoekers een methode om de modellen te helpen herkennen wanneer hun vertrouwen mogelijk onterecht is. Ze creëerden een systeem dat kijkt naar de populariteit van het antwoord en de relatie tussen de vraag en het antwoord voordat het de vertrouwensscore van het model accepteert. Door mee te wegen hoe populair het antwoord is en hoe vaak het met de vraag voorkomt, kan het systeem het vertrouwen van het model naar beneden bijstellen wanneer het te zeker is van een populair maar waarschijnlijk onjuist antwoord. Toen ze deze aanpak testten op zes verschillende modellen, waren de resultaten opmerkelijk. Het gemiddelde vertrouwen dat de modellen aan hun onjuiste antwoorden hechtten, daalde drastisch, van een hoge 0,765 naar 0,254. Tegelijkertijd verbeterde de algehele nauwkeurigheid van het vertrouwen van het model aanzienlijk, wat betekent dat het model veel beter werd in weten wanneer het gelijk had en wanneer het ongelijk had.

De studie concludeert dat populariteit een belangrijke drijfveer is van overmoed in kunstmatige intelligentie. De modellen raden niet alleen; ze volgen een pad van de minste weerstand naar de meest bekende namen en associaties. Door dit vooroordeel te begrijpen, is het mogelijk om betere waarborgen te bouwen die voorkomen dat deze systemen autoritair klinken wanneer ze eigenlijk onjuist zijn. De onderzoekers merkten op dat hoewel hun werk zich richtte op feitelijke vragen over specifieke entiteiten, het principe waarschijnlijk zich uitstrekt naar andere gebieden waar de modellen mogelijk voorkeurs patronen boven specifieke waarheden verkiezen. Ze erkenden ook dat hun maten van populariteit gebaseerd waren op publieke internetdata, wat dient als een proxy voor wat de modellen tijdens hun training zagen, en dat de relatie die ze vonden een sterke correlatie is en geen bewezen oorzaak-gevolgrelatie. Desalniettemin biedt het vermogen om deze populariteitssignalen te gebruiken om de overmoed van de machine te temperen een praktische stap naar het betrouwbaarder en vertrouwwaardiger maken van deze krachtige hulpmiddelen voor dagelijks gebruik.

Technische Samenvatting: Populair maar Fout: Het begrijpen en mitigeren van overmoed bij LLM's door kennispopulariteit

Probleemstelling

Large Language Models (LLM's) vertonen vaak overmoed (overconfidence), waarbij ze hoge generatiekansen toekennen aan onjuiste antwoorden. Hoewel bestaand onderzoek heeft vastgesteld dat LLM's vaak slecht gekalibreerd zijn, blijven de specifieke factoren die deze overmoed drijven onvoldoende begrepen. Eerdere studies richtten zich grotendeels op populariteit aan de "ground-truth-zijde" (d.w.z. hoe vaak het correcte antwoord voorkomt in de trainingsdata) om te verklaren wanneer modellen slagen. Deze benadering verklaart echter niet waarom modellen met veel vertrouwen onjuiste antwoorden genereren. Dit artikel stelt dat de mismatch tussen de juistheid van het antwoord en de toegewezen betrouwbaarheid voortkomt uit de frequentiestructuur van de geleerde kennis, specifiek de populariteit van het gegenereerde antwoord zelf, in plaats van alleen de correctheid van de ground truth.

Methodologie

Taak en Data

De studie richt zich op entiteit-gecentreerde feitelijke vraagbeantwoording (QA) afgeleid van Wikidata-triplets (Onderwerp, Relatie, Object). De modellen worden bevraagd om het object te genereren gegeven een onderwerp en een relatie.

Datasets: Drie datasets geconstrueerd door eerder werk (Yuksekgonul et al., 2023) die Films (Regisseurs), Nummers (Artiesten) en Basketbal (Geboorteplaatsen van spelers) beslaan. Deze datasets variëren in kennispopulariteit en modelaccuratesse.
Modellen: Experimenten werden uitgevoerd op zes LLM's, inclus\u2019 open-source modellen (Llama 3-8B, Qwen2-7B, Qwen2.5-7B/14B/32B) en een black-box model (ChatGPT/GPT-3.5-Turbo).

Metrieken voor Kennispopulariteit

Aangezien de trainingsdata niet toegankelijk is, gebruiken de auteurs externe statistieken als proxies voor de frequentie van kennis:

Entiteitspopulariteit ($Pop$): Gemeten door het aantal Wikipedia-sitelinks dat naar een entiteit verwijst.
Co-occurrentie-aantal ($RPop$): Gemeten door het aantal Wikipedia-documenten waarin de vraag-entiteit en de antwoord-entiteit samen voorkomen.
Gedefinieerde Signalen:
- $Pop_Q$ : Populariteit van de vraag-entiteit.
- $Pop_{GT}$ : Populariteit van het ground-truth antwoord.
- $RPop_{GT}$ : Co-occurrentie tussen de vraag en de ground-truth.
- $Pop_{Ge}$ : Populariteit van het gegenereerde antwoord.
- $RPop_{Ge}$ : Co-occurrentie tussen de vraag en het gegenereerde antwoord.

Analyse- en Kalibratieaanpak

Correlationele Analyse: De auteurs analyseren de relatie tussen deze populariteitssignalen en de modelbetrouwbaarheid (gedefinieerd als het geometrisch gemiddelde van de token-generatiekansen) voor zowel correcte als incorrecte voorspellingen met behulp van partiële Spearman-correlatiecoëfficiënten.
Kalibratiestrategie: Om overmoed te mitigeren, stellen de auteurs een populariteitsbewuste betrouwbaarheidsschatter voor.
- Model: Een lichtgewicht Multi-Layer Perceptron (MLP) neemt de ruwe betrouwbaarheid van het model ( $c$ ) en populariteitssignalen ( $p$ ) als input om de ground-truth juistheid ( $y$ ) te voorspellen.
- Signalen: Het systeem test individuele signalen ( $Pop_Q, Pop_{Ge}, RPop_{Ge}$ ) en een gecombineerde setting.
- Zelf-gegenereerde Populariteit: Om de afhankelijkheid van externe corpora te verminderen, onderzoeken de auteurs ook het gebruik van het LLM zelf om populariteitssignalen te schatten ( $\hat{Pop}$ ).

Belangrijkste Bevindingen

1. Hallucinaties zijn niet willekeurig en zijn populair

Wanneer LLM's hallucineren, genereren ze niet willekeurige foute antwoorden. In plaats daarvan hebben ze de neiging om antwoorden te genereren die:

Popularer zijn dan het ground-truth antwoord ( $Pop_{Ge} > Pop_{GT}$ ).
Sterker geassocieerd zijn met de vraag-entiteit dan de ground truth ( $RPop_{Ge} > RPop_{GT}$ ).
Dit patroon is het meest uitgesproken in domeinen waar het model een lagere feitelijke recall heeft (bijv. de Basketbal-dataset), wat suggereert dat wanneer kennis schaars is, modellen terugvallen op globaal populaire of sterk co-ocrerende entiteiten.

2. Populariteit drijft vertrouwen in fouten aan

Er is een sterke positieve correlatie tussen de populariteit van een gegenereerd antwoord en het vertrouwen dat eraan wordt toegekend, zelfs wanneer het antwoord onjuist is.

Incorrecte Voorspellingen: Vertrouwen wordt sterk gedreven door de vraag-antwoord co-occurrentie ( $RPop_{Ge}$ ) en de populariteit van het antwoord ( $Pop_{Ge}$ ).
Correcte Voorspellingen: Het vertrouwen is uniform hoog omdat correcte antwoorden doorgaans gepaard gaan met zeer populaire en sterk geassocieerde kennis, waardoor correlaties moeilijker te detecteren zijn door de lage variantie.
Opschaling: Het vergroten van de modelomvang (bijv. van 7B naar 32B parameters) elimineert deze correlatie niet; grotere modellen blijven overmoedig in populaire maar onjuiste antwoorden.

3. Mitigatie via Populariteitssignalen

Het opnemen van kennispopulariteitssignalen verbetert de kalibratie van het vertrouwen aanzienlijk:

Reductie van Overmoed: De gemiddelde betrouwbaarheid op incorrecte antwoorden ( $Conf_w$ ) daalde van 0,765 (vanilla waarschijnlijkheid) naar 0,254 bij gebruik van alle populariteitssignalen.
Kwaliteit van Kalibratie: De Expected Calibration Error (ECE) daalde van 0,356 naar 0,050.
Alignment: Het vermogen om correct tussen juiste en onjuiste antwoorden te onderscheiden (Alignment) verbeterde van 77,08% naar 83,72%.
Effectiviteit van Signalen: Onder de individuele signalen was $RPop_{Ge}$ (vraag-antwoord co-occurrentie) de meest effectieve zelfstandige voorspeller.
Zelf-gegenereerde Signalen: Het gebruik van het LLM om populariteitssignalen te schatten verbeterde ook de kalibratie, hoewel met iets minder winst dan het gebruik van externe corpora.

Betekenis en Claims

Het artikel beweert een systematisch begrip te bieden van het "populair maar fout"-fenomeen, waarbij wordt onthuld dat overmoed niet louter een falen van kennisretrieval is, maar een systematische bias naar bekende, hoogfrequente entiteiten.

Mechanisme: De bevindingen suggereren dat LLM's een hoog vertrouwen toekennen aan onjuiste antwoorden omdat die antwoorden sterke populariteitssignalen bezitten (hoge entiteitsfrequentie of hoge co-occurrentie met de query), wat het model interpreteert als een teken van juistheid.
Praktisch Nut: De studie toont aan dat deze populariteitssignalen kunnen worden ingezet als een post-hoc kalibratiemechanisme. Door expliciet de relatie tussen populariteit en juistheid te modelleren, is het mogelijk om overmoed aanzienlijk te verminderen en de betrouwbaarheid van vertrouwen-gebaseerde beslissingen te verbeteren zonder toegang te vereisen tot interne modeltoestanden of hertraining.
Beperkingen: De auteurs merken bescheiden op dat hun bevindingen correlationeel zijn, niet causaal, en dat de studie beperkt is tot closed-book, entiteit-gecentreerde feitelijke QA. De toepasbaarheid op open-ended generatie of complexe redeneertaken blijft een open vraag.

Samenvattend betoogt het artikel dat kennispopulariteit een cruciale, voorheen onderbelichte factor is in de overmoed van LLM's, en dat het rekening houden met de populariteit van gegenereerde antwoorden een levensvatbaar pad biedt naar beter gekalibreerde modellen.