ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
Het artikel introduceert ConsistencyAI, een onafhankelijke benchmark die 19 grote taalmodellen evalueert op feitelijke consistentie over diverse demografische persona's heen, wat onthult dat consistentiescores significant variëren naar zowel modelprovider als onderwerp, met een gemiddelde benchmarkdrempel van 0,8656.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne informatietijdperk wenden we ons steeds vaker tot kunstmatige intelligentie om onze vragen te beantwoorden, van de prijs van melk tot de details van een complexe geschiedenis. Deze systemen, bekend als large language models, zijn ontworpen om menselijke taal te begrijpen en tekst te genereren die aanvoelt als een gesprek. Ze zijn een primaire manier geworden voor mensen om feiten te raadplegen, waarbij ze vaak traditionele zoekmachines voor snelle antwoorden vervangen. Er blijft echter een fundamentele vraag bestaan over hoe deze machines werken: vertellen ze iedereen hetzelfde verhaal, of veranderen ze de feiten afhankelijk van wie er vraagt? Als een computerprogramma weet dat je een jonge student bent, presenteert het dan een andere reeks waarheden dan wanneer het met een oudere uitvoerende praat? Deze mogelijkheid roept zorgen op over eerlijkheid en de integriteit van informatie. Als de feiten zelf verschuiven op basis van iemands achtergrond, zoals leeftijd, geslacht of beroep, suggereert dit dat het systeem niet alleen een vraag beantwoordt, maar de realiteit afstemt op een specifiek publiek. Dit fenomeen, indien reëel, zou de manier waarop verschillende groepen mensen de wereld begrijpen subtiel kunnen vormen, wat potentieel de kloven verdiept in plaats van ze te overbruggen.
Om dit te onderzoeken, creëerden onderzoekers van de Duke University en de University of North Carolina een nieuwe test genaamd ConsistencyAI. Hun doel was om te zien of large language models andere feiten vertellen aan verschillende mensen. Ze vroegen de modellen niet om te controleren of de informatie waar was; in plaats daarvan vroegen ze of de modellen dezelfde set feiten gaven aan een 25-jarige leraar als aan een 60-jarige bouwvakker. Het team bouwde een systeem dat een diverse groep mensen uit de Verenigde Staten simuleerde, die een breed scala aan leeftijden, beroepen en achtergronden vertegenwoordigden. Vervolgens vroegen ze vijfentwintig verschillende kunstmatige intelligentiemodellen om vijf feiten over vijftien verschillende onderwerpen, zoals huisvestingskosten, handelstekorten en politieke conflicten. Elke vraag werd honderd keer aan elk model gesteld, waarbij de context van de persoon die de vraag stelde telkens veranderde met behulp van een set van 100 persona's die werden gesampled uit een representatieve dataset. Door de antwoorden te vergelijken, konden de onderzoekers meten hoeveel de inhoud veranderde wanneer de persona veranderde.
De resultaten toonden aan dat hoewel veel modellen over het algemeen consistent zijn, ze dat niet perfect zijn. De onderzoekers ontdekten dat de modellen inderdaad de feiten die ze presenteerden veranderden op basis van wie ze dachten dat ze tegen hen spraken. In een grootschalige test met 100 persona's varieerden de consistentiescores van de modellen van een hoog van 0,9137 tot een laag van 0,6719, met een gemiddelde score van 0,8555. Dit gemiddelde werd de benchmark voor de studie. Het meest consistente model was xAI's Grok-4, dat ongeacht de gebruiker opmerkelijk stabiel bleef in zijn feiten. Aan de andere kant van het spectrum vertoonden verschillende lichtere en middelmatige modellen de meeste variatie. De studie toonde aan dat het onderwerp dat besproken werd net zo belangrijk was als het model zelf. Wanneer bijvoorbeeld gevraagd werd naar het Amerikaanse handelstekort, een onderwerp met duidelijke, gestandaardiseerde overheidsgegevens, waren de modellen zeer consistent. Echter, wanneer gevraagd werd naar de kosten van huisvesting, een onderwerp met complexe en gevarieerde gegevensbronnen, gaven de modellen veel verschillende antwoorden aan verschillende mensen.
De onderzoekers ontdekten ook dat de modellen niet alleen hun toon of stijl veranderden, maar ook daadwerkelijk verschillende feiten selecteerden. Wanneer de persona veranderde, verschoof de specifieke details, organisaties en cijfers die in de reactie werden genoemd vaak. Bijvoorbeeld, over het onderwerp grensbewaking, neigde een model ernaar om antwoorden te geven die gericht waren op wetshandhaving aan oudere gebruikers, terwijl jongere gebruikers antwoorden ontvingen die gericht waren op geografie. Een ander model gaf vereenvoudigde reacties met veel analogieën aan minderjarigen, maar directe, feitelijke reacties aan volwassenen. Dit suggereert dat de modellen gevoelig zijn voor demografische signalen en hun informatie dienovereenkomstig aanpassen. De studie merkte ook op dat het een geavanceerder of "redenerend" model zijn niet garandeerde voor betere consistentie. Sommige kleinere, oudere modellen presteerden beter dan de nieuwste, meest complexe systemen, wat aangeeft dat consistentie niet simpelweg een bijproduct is van de grootte of intelligentie van een model.
Een aanzienlijk deel van het onderzoek richtte zich op controversiële onderwerpen. Het Israëlisch-Palestijnse conflict vertoonde de grootste variatie in antwoorden, waarbij sommige modellen zeer consistente feiten gaven en andere er wild verschillende gaven. Over dit onderwerp weigerden sommige modellen zelfs te antwoorden of gaven zij foutmeldingen terug, vooral wanneer de gebruiker als een kind werd geïdentificeerd. Dit suggereert dat modellen ingebouwde filters kunnen hebben die ervoor zorgen dat ze afstand nemen van gevoelige onderwerpen afhankelijk van de waargenomen gebruiker. De studie vond ook dat politieke gevoeligheid alleen de inconsistentie niet voorspelde. Hoewel sommige politieke onderwerpen zeer inconsistent waren, waren andere dat niet, en zelfs niet-politieke onderwerpen zoals huisvestingskosten vertoonden een lage consistentie. Dit geeft aan dat de moeilijkheid van het vinden van een enkel, stabiel narratief in de data een belangrijke factor is. Als de beschikbare informatie over een onderwerp rommelig of omstreden is, is het model eerder geneigd om verschillende feiten aan verschillende mensen te presenteren.
De auteurs benadrukken dat hun werk niet bepaalt of de feiten waar zijn, maar eerder of de feiten stabiel zijn. Zij stellen dat zelfs als de informatie correct is, het presenteren van verschillende sets feiten aan verschillende mensen schadelijk kan zijn. Het kan leiden tot bevestigingsvooroordeel (confirmation bias), waarbij mensen alleen de versie van de werkelijkheid horen die past bij hun bestaande overtuigingen, of het kan stereotypen versterken. De studie suggereert dat voor kunstmatige intelligentie om echt betrouwbaar te zijn, het een stabiele set feiten moet bieden, ongeacht wie er vraagt. De onderzoekers hebben hun testinstrumenten en een interactieve website vrijgegeven, zodat journalisten, ontwikkelaars en het publiek zelf kunnen zien hoe verschillende modellen zich gedragen. Ze hopen dat deze transparantie bedrijven zal aanmoedigen om systemen te bouwen die minder geneigd zijn de waarheid aan de gebruiker aan te passen, om er zeker van te zijn dat de informatie waarop we allemaal vertrouwen, consistent en betrouwbaar blijft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.