Evaluating Commercial AI Chatbots as News Intermediaries
Dit artikel evalueert zes commerciële AI-chatbots op 2.100 real-time nieuwsvragen in zes talen en onthult dat, hoewel ze hoge nauwkeurigheid behalen bij goed geformuleerde vragen, ze te kampen hebben met aanzienlijke regionale vooroordelen, fouten afhankelijk van ophaalmechanismen en een ernstige kwetsbaarheid voor valse uitgangspunten die hun betrouwbaarheid als nieuwsintermediairs ondermijnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je, in plaats van de tv aan te zetten of door een krant te scrollen, een superslimme digitale assistent vraagt: "Wat is er vandaag in het nieuws gebeurd?" en die je een perfecte, directe samenvatting geeft. Dat is de belofte van AI-chatbots die fungeren als onze nieuwe "nieuwsbemiddelaars".
Dit artikel is als een enorme, real-time stress-test van zes van de populairste AI-chatbots (inclusief versies van GPT, Gemini, Claude en Grok) om te zien of ze daadwerkelijk vertrouwd kunnen worden met breaking news. De onderzoekers vroegen hen niet alleen over geschiedenis; ze vroegen hen over gebeurtenissen die nu plaatsvinden (in februari 2026) in zes verschillende talen en regio's.
Hier is de uiteenzetting van wat ze vonden, met gebruikmaking van eenvoudige analogieën:
1. De "Meerkeuze"-illusie
De bevinding: Toen de AI een meerkeuzetoets kreeg (zoals een schooltoets met opties A, B, C, D, E), kregen de top-bots meer dan 90% van de antwoorden goed. Ze leken op genieën.
De realiteitscheck: Toen de onderzoekers de opties wegnamen en de bots vroegen om gewoon "het antwoord te vertellen", daalden hun scores met ongeveer 15–20%.
De analogie: Denk aan een student die een toets maakt. Als je hen een meerkeuzevraag geeft, kunnen ze misschien het juiste antwoord raden of de juiste zin herkennen. Maar als je hen vraagt om het essay van scratch te schrijven, kunnen ze struikelen. Het artikel waarschuwt dat de hoge scores die we in koppen zien, deels komen omdat het "meerkeuze"-formaat de AI slimmer doet lijken dan ze eigenlijk is in een echt gesprek.
2. De "Hindi-gat" (Het gebroken kompas)
De bevinding: De AI presteerde zeer goed in het Engels, Frans, Russisch, Arabisch en Turks. Maar toen ze werden gevraagd over nieuws in het Hindi, scoorde elke bot aanzienlijk slechter (dalend tot ongeveer 79% nauwkeurigheid).
De oorzaak: Het was niet dat de bots Hindi niet konden spreken; dat konden ze wel. Het probleem was hun "zoekmachine"-kompas. Toen ze een vraag in het Hindi kregen, negeerden de bots vaak lokale Hindi-nieuwsbronnen en gingen ze in plaats daarvan naar Engelse Wikipedia of Engelse nieuwssites om het antwoord te vinden.
De analogie: Stel je voor dat je een gids in Mumbai vraagt: "Waar is het beste lokale straatvoedsel?" In plaats van je naar een lokale kraam te brengen, rijdt de gids je naar een generiek Amerikaans restaurant in het stadscentrum dat beweert Indiase gerechten te serveren. Het eten is misschien oké, maar het is niet het echte ding, en de details (zoals de prijs of het specifieke gerecht) zijn verkeerd. De AI "vertaalde" het lokale nieuws door een Engels filter, waardoor ze de specifieke feiten miste.
3. Het probleem "Bibliotheek versus de bibliothecaris"
De bevinding: De onderzoekers ontdekten dat de grootste fout van de AI niet was dat ze "slecht kon denken" (redeneren); het was dat ze "slecht was in het vinden van het boek" (informatie ophalen). Meer dan 70% van de fouten gebeurde omdat de AI het verkeerde bronartikel pakte. Zodra ze het juiste artikel hadden, kregen ze het antwoord bijna altijd goed.
De analogie: Stel je een briljante student (de AI) voor die geweldig is in het oplossen van wiskundeproblemen. Maar ze bevindt zich in een bibliotheek waar de boeken in de war zijn. Als de student het verkeerde boek pakt, zal ze het wiskundeprobleem perfect oplossen op basis van de verkeerde informatie. Het probleem is niet het brein van de student; het is de organisatie van de bibliotheek. De AI is slim, maar haar zoektool haalt vaak het verkeerde "boek" van internet.
4. De "Ja-knikker"-valstrik (Adversarial testing)
De bevinding: Toen de onderzoekers de AI bedotten door vragen te stellen met subtiele leugens erin verwerkt (bijvoorbeeld: "Wat gebeurde er toen de President de verkiezingen won?" terwijl hij ze eigenlijk verloor), stortte de prestatie van de AI in. Sommige bots daalden van 90% nauwkeurigheid naar 19%.
De analogie: Stel je een zeer zelfverzekerde maar naïeve vriend voor. Als je zegt: "Ik zag een blauwe olifant in het park", zegt een slimme persoon misschien: "Wacht, olifanten zijn niet blauw." Maar deze AI-vriend zegt: "Oh, echt? Laat me het nieuws checken... ja, hier is een verhaal over de blauwe olifant." De AI is zo graagwillend en zo gefocust op het vinden van iets dat bij je woorden past, dat ze je leugen als waarheid accepteert en er een nepverhaal omheen bouwt.
5. Het effect "Verschillende werelden"
De bevinding: Als je twee verschillende AI-chatbots dezelfde nieuwsvraag stelt, kunnen ze antwoorden geven die gebaseerd zijn op volledig verschillende websites. De ene kan een lokale krant citeren, terwijl de andere een wereldwijde Engelstalige site citeert.
De analogie: Het is alsof twee mensen dezelfde vraag stellen aan twee verschillende tourguides. De ene gids toont je de stad door de ogen van een lokale historicus; de andere toont je de stad door de ogen van een reisblogger. Je krijgt twee verschillende versies van de "realiteit", afhankelijk van welke bot je kiest, en je hebt geen manier om te weten welke van hen eigenlijk naar het echte nieuws kijkt.
De bottom line
Het artikel concludeert dat hoewel deze AI-chatbots steeds beter worden in nieuws, ze kwetsbaar zijn.
- Ze zien er perfect uit op een toets, maar struikelen in echt gesprek.
- Ze behandelen niet-Engels nieuws (vooral Hindi) als een tweederangs burger, filteren het door Engelse bronnen.
- Ze zijn makkelijk te bedriegen door valse premissen en gedragen zich als "ja-knikkers" in plaats van als factcheckers.
- Hun nauwkeurigheid hangt meer af van hoe goed hun zoekmachine het juiste artikel vindt dan van hoe slim het brein van de AI is.
De auteurs waarschuwen dat als we vertrouwen op deze tools voor nieuws zonder deze gebreken te begrijpen, we kunnen eindigen in een wereld waar verschillende mensen verschillende versies van de waarheid zien, en waar lokaal nieuws wordt overschaduwd door een wereldwijd, Engelstalig filter.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.