💻 computer science

Information Discernment in Large Language Models

Dit artikel introduceert het Learn2Discern-framework om aan te tonen dat grote taalmodellen consistent falen in het op een passende wijze wegen van informatie op basis van bronbetrouwbaarheid of waarachtigheid, een kritiek tekortkoming die gebruikersstudies bevestigen als een factor die vertrouwen ondermijnt en die voortduurt ondanks toenames in modelgrootte, hoewel dit kan worden gemitigeerd door eenvoudige interventies tijdens de inferentie-fase.

Oorspronkelijke auteurs: Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

Gepubliceerd 2026-07-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt je eigen theorie over wat er is gebeurd, maar dan begin je tips te krijgen van het publiek. Sommige tips komen van een ervaren, eerlijke politieagent; andere van een bekende leugenaar die gewoon onrust wil stoken. Sommige tips helpen je dichter bij de waarheid te komen, terwijl andere je de verkeerde richting op sturen. De grote vraag is: weet jouw detectivebrein hoe het de gewicht van deze tips moet bepalen? Luister je meer naar de eerlijke agent, of laat je je afleiden door de luidste stem? Verander je van mening wanneer een tip je helpt, of houd je koppig vast aan je oorspronkelijke vermoeden, zelfs als je het fout hebt?

Dit is precies het soort puzzel waar wetenschappers zich vragen over stellen bij moderne "Large Language Models" (LLM's). Dit zijn de superintelligente computerprogramma's die chatbots en zoekmachines aandrijven. Ze zijn getraind op een enorme hoeveelheid data van het internet, maar ze moeten ook nieuwe informatie opzoeken om vragen te beantwoorden waarvan ze het antwoord nog niet weten. Het probleem is dat het internet een lawaaierige plek is. Het zit vol betrouwbare nieuwssites, maar ook vol nepnieuws, geruchten en populaire maar onjuiste ideeën. Als een computerprogramma het verschil niet kan zien tussen een betrouwbare bron en een populaire leugenaar, of als het het verschil niet kan zien tussen een nuttige aanwijzing en een misleidende aanwijzing, kan het misinformatie aan miljoenen mensen gaan verspreiden. Dit artikel duikt diep in de vraag of deze digitale detectives daadwerkelijk goed zijn in het onderscheiden van de waarheid van de ruis.

De onderzoekers, een team van de Universiteit van Michigan, hebben een nieuwe manier ontwikkeld om deze vaardigheid te testen, die ze "informatiediscernement" noemen. Ze zetten een gigantisch experiment op met 13 verschillende AI-modellen en bijna 670.000 proeven. Ze stelden de modellen vragen met bekende antwoorden, gaven ze een "prior" overtuiging (wat het model van tevoren dacht), en voerden ze vervolgens een nieuwe bewering van een specifieke bron. Soms was de bron zeer betrouwbaar, soms was het een marginale website. Soms lag de nieuwe bewering dichter bij de waarheid, en soms was deze volkomen onjuist. Ze wilden zien of de modellen hun antwoorden meer zouden aanpassen voor de goede bronnen en de nuttige beweringen.

De resultaten waren een beetje een schok. Het artikel stelde vast dat deze AI-modellen over het algemeen verschrikkelijk zijn in dit soort onderscheidend vermogen. Ze presteren bijna niet beter dan willekeurig gokken als het gaat om de beslissing welke bronnen ze moeten vertrouwen. Sterker nog, de modellen waren twee keer zo snel geneigd om naar een bron te luisteren omdat deze populair was (zoals een website met veel bezoekers), in plaats van omdat deze betrouwbaar was (zoals een door factcheckers gecontroleerd nieuwsmedium). Het is alsof de detective de politieagent negeert en luistert naar de persoon met de grootste megafoon. Bovendien leken de modellen er niet om te geven of een nieuw stukje informatie hen dichter bij de waarheid bracht of hen verder ervan wegduwde; ze pasten hun overtuigingen ongeveer evenveel aan in beide gevallen.

Het team controleerde ook of het groter of nieuwer maken van de modellen dit zou oplossen. Ze ontdekten dat nieuwere en grotere modellen iets beter werden in het herkennen van de waarheid in beweringen, maar ze konden nog steeds niet leren om onderscheid te maken tussen betrouwbare en onbetrouwbare bronnen. Dit suggereert dat het simpelweg "slimmer" maken van de AI of het langer trainen ervan, de AI niet automatisch leert om een kritische denker te zijn over waar informatie vandaan komt. Er was echter een zilveren randje: de onderzoekers ontdekten dat eenvoudige trucjes, zoals het vragen aan het model om de betrouwbaarheid van de bron te beoordelen voordat het antwoord geeft, de prestaties aanzienlijk konden verbeteren.

Om er zeker van te zijn dat dit niet alleen een computerwetenschappelijk probleem was, vroegen de onderzoekers ook 299 echte menselijke gebruikers wat zij ervan vonden. Ze ontdekten dat mensen absoluut om deze vaardigheden geven. Wanneer gebruikers te horen kregen dat een chatbot betrouwbare bronnen negeerde of van mening veranderde wanneer hij het al bij het rechte eind was, zeiden ze dat ze de bot minder zouden vertrouwen en er minder gebruik van zouden maken. Dit bevestigt dat het vermogen om informatie te onderscheiden niet alleen een technische metriek is; het is een kernvereiste voor het bouwen van AI waar mensen daadwerkelijk op kunnen vertrouwen.

Kortom, het artikel onthult dat hoewel onze huidige AI-modellen geweldig zijn in het ophalen van informatie, ze momenteel vrij blind zijn als het gaat om het beoordelen van de kwaliteit van die informatie. Ze volgen de voorkeur voor populariteit boven waarheid en worstelen met het correct bijstellen van hun overtuigingen. Maar het goede nieuws is dat we, met een paar eenvoudige instructies, hen kunnen helpen om het licht beter te zien, waardoor ze veiligere en nuttigere hulpmiddelen voor iedereen worden.

Technische Samenvatting: Informatieonderscheidend vermogen in Large Language Models

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker fungeren als front-end antwoordmotoren die externe informatie ophalen en synthetiseren (bijv. via Retrieval-Augmented Generation of RAG), worden ze geconfronteerd met "kennisconflicten" waarbij externe claims in strijd zijn met hun interne trainingsvoorkennis. Een kritieke kwetsbaarheid ontstaat als modellen er niet in slagen deze externe bewijslast naar behoren te wegen. Specifiek kunnen modellen desinformatie verspreiden als ze hun overtuigingen evenzeer bijwerken voor hoogwaardige bronnen als voor marginale websites (een falen van brononderscheidend vermogen) of als ze evenzeer bijwerken voor claims die hen dichter bij de waarheid brengen als voor claims die hen verder van de waarheid afbrengen (een falen van waarheidsonderscheidend vermogen). Gezien het feit dat mensen de neiging hebben om LLM-outputs overmatig te vertrouwen, vormen deze fouten in het wegen van externe informatie een aanzienlijk risico voor de betrouwbaarheid van AI-gestuurde zoekopdrachten.

Methodologie

De auteurs introduceren Learn2Discern (L2D), een experimenteel framework en benchmark ontworpen om informatieonderscheidend vermogen te meten onder kennisconflicten.

Experimenteel Ontwerp

Het kernexperiment omvat een procedure voor elicitatie in drie stappen:

Elicitatie van de Voorkennis: De vraag ( $Q$ ) wordt aan het model gesteld met een numerieke grondwaarheid ( $T$ ) om een voorafgaande overtuiging ( $P_1$ ) vast te stellen.
Injectie van Conflict: Een claim ( $C$ ) wordt gegenereerd door de grondwaarheid te verstoren ( $C = T \times F$ , waarbij $F$ een verstoringsfactor is) en toegeschreven aan een bron ( $S$ ) met een bekende betrouwbaarheid ( $R_s$ ) en populariteit ( $P_s$ ).
Elicitatie van de Achteraf-overtuiging: Het model krijgt de prompt: "S zei dat het antwoord C is. Wat vind je nu?". Hiermee wordt de achteraf-overtuiging ( $P_2$ ) geregistreerd.

Dataconstructie

De benchmark, Learn2Discern, bestaat uit:

Vragen: 4.248 numerieke vragen afgeleid van bestaande benchmarks (TriviaQA, NumerSense) en nieuwe longitudinale datasets (General Social Survey, World Bank Development Indicators, TREC user queries) om datacontaminatie te minimaliseren.
Bronnen: 132 nieuwsbronnen van websites, gestratificeerd naar betrouwbaarheid (met behulp van de Lin et al. PC1-metriek) en populariteit (Open PageRank), wat zes strata oplevert (3 populariteitsniveaus $\times$ 2 betrouwbaarheidsniveaus).
Schaal: Het combinatorische ontwerp levert meer dan 2,8 miljoen potentiële experimentele tupels op, met ongeveer 670.000 proeven uitgevoerd over 13 modellen.

Metrieken

Het framework operationaliseert drie normatieve axioma's in interpreteerbare metrieken:

Brononderscheidend Vermogen (SD): De Spearman rangcorrelatie ( $\rho$ ) tussen de omvang van de update ( $\Delta = |P_1 - P_2|$ ) en de bronbetrouwbaarheid. Een positieve correlatie geeft aan dat het model meer bijwerkt voor betrouwbare bronnen.
Waarheidsonderscheidend Vermogen (TD): De Spearman rangcorrelatie tussen de omvang van de update en de "verbetering" ( $I$ ) van de claim ten opzichte van de voorkennis ( $I = |P_1 - T| - |C - T|$ ). Een positieve correlatie geeft aan dat het model meer bijwerkt wanneer de claim het dichter bij de waarheid brengt.
Correcte Defensie: De waarschijnlijkheid dat een model zijn antwoord behoudt wanneer de voorkennis correct is en de nieuwe claim onjuist is.

Validatie

Een vooraf geregistreerde, quota-gematchte gebruikersstudie ( $n=299$ ) werd uitgevoerd om de axioma's te valideren. Gebruikers bevestigden dat zij deze principes onderschrijven en rapporteerden dat schendingen hiervan het vertrouwen in en het gebruik van chatbots zouden verminderen.

Belangrijkste Bijdragen

Axioma's en Metrieken: Formele definities van bron- en waarheidsonderscheidend vermogen onder kennisconflicten, wat een gestandaardiseerde manier biedt om kwetsbaarheid voor desinformatie te meten.
Gebruikersvalidatie: Empirisch bewijs dat echte LLM-gebruikers deze onderscheidende eigenschappen waarderen en dat schendingen het vertrouwen en de adoptie negatief beïnvloeden.
Benchmark Dataset: De release van Learn2Discern, een grootschalige dataset die diverse numerieke vragen koppelt aan gestratificeerde webbronnen, wat causale tests mogelijk maakt op hoe modellen betrouwbaarheids- en waarheidssignalen wegen.
Empirische Bevindingen: Een uitgebreide evaluatie van 13 modellen (variërend in grootte, recentheid en architectuur) die systematische tekortkomingen in het onderscheidend vermogen aantonen.

Resultaten

Over 13 modellen en bijna 670.000 proeven heen, toonde de studie het volgende aan:

Prestaties nabij toeval: Modellen presteren nabij toeval op zowel de bron- als de waarheidsonderscheidende metrieken. Ze werken niet consistent meer bij voor betrouwbare bronnen of voor claims die de nauwkeurigheid verbeteren.
Populariteitsbias: Modellen vertrouwen ongeveer twee keer zo sterk op bronpopulariteit als op bronbetrouwbaarheid ( $\rho_{pop} \approx 0,07$ vs. $\rho_{rel} \approx 0,03$ ).
Model Schaal en Recentheid: Hoewel grotere en nieuwere modellen verbeteringen laten zien in waarheidsonderscheidend vermogen en correcte defensie, vertonen zij geen verbeteringen in brononderscheidend vermogen. Dit suggereert dat brononderscheidend vermogen een hardnekkig blinde vlek is die niet wordt opgelost door verhoogde modelcomplexiteit.
Correlatie met Voorkennis-nauwkeurigheid: Integratie van extern bewijs is het meest effectief op datasets waar de voorkennis van het model al accuraat is. Wanneer modellen aanvankelijk fout zitten, falen ze vaak in het correct integreren van externe informatie, waarbij ze soms nog verder van de waarheid af bewegen.
Effectiviteit van Interventies: Eenvoudige interventies tijdens de inferentie (promptingstrategieën) kunnen het onderscheidend vermogen verbeteren. Specifiek:
- Het expliciet vragen aan modellen om de betrouwbaarheid van een bron te beoordelen voordat ze bijwerken, verbetert het brononderscheidend vermogen.
- "Defensie"-prompts (het evalueren of het oorspronkelijke antwoord correct was) verbeteren de correcte defensie.
- Chain-of-Thought (CoT) redeneren verbetert de waarheidsgerelateerde metrieken.

Betekenis en Claims

Het paper beweert dat informatieonderscheidend vermogen een kernaspect van alignment is dat in belang toeneemt naarmate LLM's traditionele zoekmachines vervangen. De bevindingen suggereren dat huidige LLM's niet de inherente capaciteit hebben om onderscheid te maken tussen hoogwaardig en laagwaardig extern bewijs, en in plaats daarvan vertrouwen op oppervlakkige signalen zoals populariteit.

De auteurs claimen bescheiden dat hoewel huidige modellen systematische tekortkomingen vertonen, deze tekorten gedeeltelijk kunnen worden aangepakt door middel van goedkope interventies tijdens de inferentie (bijv. specifieke promptmodificaties). Zij positioneren Learn2Discern als een noodzakelijke testomgeving voor het evalueren en verbeteren van deze eigenschap, waarbij zij opmerken dat zonder dergelijk onderscheidend vermogen, de integratie van extern bewijs het risico loopt de betrouwbaarheid van de door gebruikers ontvangen informatie te verslechteren in plaats van te verbeteren. Het werk benadrukt dat brononderscheidend vermogen een specifieke uitdaging blijft die niet door louter schaling van het model wordt opgelost, wat wijst op een behoefte aan toekomstig werk gericht op fine-tuning of architecturale wijzigingen om kennis over bronbetrouwbaarheid te coderen.