💬 NLP

Misinformation Exposure in the Chinese Web: A Cross-System Evaluation of Search Engines, LLMs, and AI Overviews

Deze studie introduceert een dataset van 12.161 Chinese ja/nee-vragen om de feitelijke nauwkeurigheid van zoekmachines, zelfstandige taalmodellen en AI-overzichten te vergelijken, waarbij wordt aangetoond dat er aanzienlijke verschillen bestaan in betrouwbaarheid en blootstelling aan desinformatie voor Chinese gebruikers.

Oorspronkelijke auteurs: Geng Liu, Junjie Mu, Li Feng, Mengxiao Zhu, Francesco Pierri

Gepubliceerd 2026-02-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Geng Liu, Junjie Mu, Li Feng, Mengxiao Zhu, Francesco Pierri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een enorm, drukke bibliotheek staat: de Chinese internetwereld. Je hebt een vraag, misschien iets over gezondheid ("Is deze thee goed voor mijn maag?") of over geld ("Moet ik nu aandelen kopen?"). Vroeger ging je naar de bibliotheekassistent (een zoekmachine zoals Baidu of Bing), die je een lijst met boeken gaf. Je moest zelf lezen en beslissen wat waar was.

Vandaag de dag hebben we echter een nieuwe, slimme assistent gekregen: de AI. Deze assistent leest niet alleen de boeken, maar geeft je direct een samenvatting of een direct antwoord. Maar hier zit de valkuil: wat als die slimme assistent zelf niet zeker weet wat waar is, of als hij een boek leest dat vol staat met onzin?

Dit onderzoek van Liu en zijn team is als een grote test die ze hebben gedaan om te kijken hoe betrouwbaar deze verschillende "assistenten" zijn in China. Ze hebben gekeken naar drie soorten systemen:

De traditionele zoekmachine (zoals Baidu of Sogou): Geeft een lijst met links.
De losse AI-chatbot (zoals Qwen of DeepSeek): Geeft direct een antwoord zonder links.
De "AI-overzicht"-functie (in Baidu): Een hybride mix die een samenvatting geeft bovenop de zoekresultaten.

Hier is hoe ze het hebben aangepakt, vertaald in alledaagse taal:

1. De Grote Test: 12.000 Vragen

Stel je voor dat ze een enorme zak met 12.000 vragen hebben verzameld, die echte mensen daadwerkelijk hebben ingetypt op het internet. De meeste vragen waren simpel: "Ja" of "Nee" (bijvoorbeeld: "Is het waar dat deze medicijnkwaliteit slecht is?").

Ze hebben deze vragen voorgelegd aan alle drie de systemen en gekeken: Kregen ze het juiste antwoord?

2. De Resultaten: Niemand is perfect

Het nieuws is niet helemaal goed, maar ook niet helemaal slecht. Het is eerder zoals een sportwedstrijd waar niemand de wereldrecord breekt, maar sommige teams wel beter scoren dan anderen.

De winnaar (maar met een grote "maar"): De "AI-overzicht" van Baidu scoorde het hoogst (ongeveer 70% juiste antwoorden). Maar dat betekent ook dat 30% van de tijd het antwoord fout was! Dat is als een wekker die 30% van de tijd niet afgaat.
De zoekmachines: Baidu en Sogou deden het redelijk goed, maar Bing China (een internationale speler) had een rare bias: hij gaf bijna altijd "Nee" als antwoord, zelfs als het antwoord "Ja" was. Alsof een leraar die bij elke vraag "Nee" roept, ongeacht wat de vraag is.
De AI-chatbots: De slimme modellen (zoals Qwen) deden het goed, maar faalden soms op specifieke onderwerpen. Ze waren bijvoorbeeld heel goed in vragen over "Sociale zaken" of "Onderwijs", maar veel slechter in vragen over "Sport" of "Volwassen thema's".

De belangrijkste les: Zelfs de slimste systemen hallucineren (verzonnen feiten) of maken fouten. Ze zijn niet onfeilbaar.

3. Het Gevaar: Waar is het het ergst?

Hier wordt het echt interessant. De onderzoekers keken niet alleen naar of de systemen fouten maakten, maar ook wie die fouten te horen kreeg.

Ze gebruikten een slimme truc: ze keken naar de Baidu Index. Dit is als een "hitlijst" van wat mensen in verschillende provincies zoeken.

In rijke, drukke kuststeden (zoals Guangdong of Jiangsu) zoeken mensen veel naar gezondheidsinformatie.
Omdat deze mensen veel zoeken én de AI daar soms fouten maakt, is het risico op het horen van onzin daar het grootst.

De metafoor:
Stel je voor dat er een regen van onwaarheden valt. In de dorpen in het binnenland regent het weinig, omdat mensen daar minder zoeken. Maar in de drukke steden aan de kust regent het een stortvloed van onzin, omdat daar duizenden mensen tegelijk naar de hemel (de AI) kijken. De mensen in de drukke steden lopen dus het grootste risico om ziek te worden door "digitale vergiftiging".

Waarom is dit belangrijk voor jou?

Dit onderzoek zegt ons drie dingen:

Vertrouw niet blindelings: Of je nu een traditionele zoekmachine of een super-slimme AI gebruikt, ze maken allemaal fouten. Vooral op belangrijke onderwerpen zoals gezondheid.
Het is niet eerlijk verdeeld: De kans dat je onzin te horen krijgt, hangt af van waar je woont en wat je zoekt. Mensen in drukke gebieden zijn kwetsbaarder.
We moeten waakzaam zijn: Omdat AI steeds vaker ons "venster" naar de wereld wordt, moeten we zorgen dat deze systemen transparanter en betrouwbaarder worden. Anders riskeren we dat hele regio's op basis van verkeerde informatie beslissingen nemen.

Kortom: De slimme assistent is handig, maar hij is nog geen waarheidsgarant. Hij is meer als een enthousiaste stagiair die soms zijn best doet, maar ook weleens een boekje verkeerd leest. En in een wereld waar we allemaal naar hem luisteren, kan die ene verkeerde zin grote gevolgen hebben.

Probleemstelling

De verspreiding van online desinformatie wordt door het Wereld Economisch Forum beschouwd als een van de grootste wereldwijde risico's. Hoewel er veel onderzoek is gedaan naar de betrouwbaarheid van Large Language Models (LLMs) en zoekmachines in Engelstalige omgevingen, blijft hun prestatie in niet-Engelse ecosystemen, met name in China, onvoldoende onderzocht.
De kernproblemen die dit paper adresseert zijn:

Gebrek aan real-world data: Bestaande evaluaties vertrouwen vaak op curatie benchmarks in plaats van echte gebruikersvragen.
Onbekende prestaties in het Chinees ecosysteem: Het is onduidelijk hoe Chinese zoekmachines, standalone LLMs en AI-overzichten (zoals Baidu AI Overview) omgaan met feitelijke vragen van echte gebruikers.
Geografische ongelijkheid: Er is weinig inzicht in hoe de betrouwbaarheid van deze systemen samenhangt met de reële informatiebehoefte van gebruikers in verschillende regio's van China, wat kan leiden tot ongelijke blootstelling aan desinformatie.

Methodologie

De auteurs hebben een unificerend evaluatiekader ontwikkeld om drie informatie-toegangsparadigma's te vergelijken: traditionele zoekmachines, standalone LLMs en AI-genereren overzichten.

1. Dataverzameling en Dataset:

Bron: De dataset is gebaseerd op de openbare T2Ranking-dataset, die bestaat uit zoeklogs van Sogou (een grote Chinese zoekmachine).
Selectie: Uit 307.706 zoekopdrachten zijn 12.161 verifieerbare Ja/Neen-vragen geëxtraheerd.
Filtering: Alleen vragen die een objectief "Ja" of "Nee" antwoord toelaten en waarvoor het originele zoekresultaat (passage) een duidelijk bewijs (Level 3 relevantie) bevatte, werden behouden.
Labeling: Een LLM (DeepSeek) hielp bij het classificeren van vragen en het toekennen van labels (Ja/Nee/Ontwijking), wat vervolgens handmatig werd gevalideerd op een gestratificeerde subset.
Domeinen: De vragen zijn ingedeeld in 10 domeinen, waarbij Gezondheid veruit het grootste deel uitmaakt, gevolgd door Technologie en Financiën.

2. Geëvalueerde Systemen:
De studie vergelijkt drie categorieën systemen onder gelijke omstandigheden:

Zoekmachines: Baidu, Bing China en Sogou. De top 10 resultaten werden opgehaald en geanalyseerd op feitelijke juistheid.
Standalone LLMs: DeepSeek-v3, Qwen-Plus en LLaMA-3-8B-Instruct. Deze werden in een "zero-shot" modus gebruikt zonder externe zoekfuncties, puur op basis van hun interne kennis.
AI Overviews: Baidu's AI-gegenereerde samenvattingen (vergelijkbaar met Google's AI Overview).

3. Evaluatieproces:

Voor zoekmachines en AI-overzichten werd een LLM-agent (Qwen-Plus/DeepSeek) gebruikt om te bepalen of de gegenereerde inhoud of de samenvatting een correct "Ja" of "Nee" antwoord gaf op basis van de verstrekte tekst.
De prestaties werden gemeten als het percentage correcte voorspellingen (% Correct Predictions).
Blootstellingsmetriek: Om de reële impact te schatten, combineerden de auteurs de nauwkeurigheid van de systemen op gezondheidsvragen met Baidu Index-data (zoekvolume per provincie). De formule is: $R_{p,m} = I_p \times A_m$ , waarbij $I_p$ de zoekintensiteit is en $A_m$ de nauwkeurigheid van het systeem.

Belangrijkste Bijdragen

Eerste grote dataset voor Chinese feitelijke verificatie: Een dataset van 12.161 real-world Ja/Neen-vragen, specifiek ontworpen om feitelijke antwoorden in het Chinese webecosysteem te evalueren.
Unificerend evaluatiekader: De eerste systematische cross-systeem vergelijking van zoekmachines, standalone LLMs en AI-overzichten binnen China.
Geografische blootstellingsanalyse: Een nieuwe methode om de potentiële blootstelling aan desinformatie te kwantificeren op provinciaal niveau, gekoppeld aan reële informatiebehoeften.

Resultaten

1. Algemene Nauwkeurigheid:

Baidu AI Overview presteerde het beste met 69,8% correcte antwoorden.
Standalone LLMs: Qwen (68,5%) en DeepSeek (63,3%) presteerden goed, terwijl LLaMA slechts 45,0% haalde.
Zoekmachines: Baidu (63,7%) en Sogou (60,5%) deden het redelijk, maar Bing scoorde aanzienlijk lager (52,0%).
Conclusie: Zelfs het beste systeem geeft bij ongeveer 1 op de 3 tot 4 vragen een fout antwoord.

2. Bias en Asymmetrie:

Er zijn sterke asymmetrieën tussen "Ja" en "Nee" antwoorden.
- Bing had een extreme bias: 98,5% correct op "Nee"-vragen, maar slechts 5,6% op "Ja"-vragen.
- DeepSeek was beter in "Nee" (78,3%) dan in "Ja" (56,6%).
- Qwen was juist beter in "Ja" (71,6%) dan in "Nee" (61,6%).
Zoekmachines vertonen sterke bias per onderwerp; Bing presteerde bijvoorbeeld slecht op "Entertainment" maar goed op "Adult", terwijl Sogou beter was op "Finance".

3. Thema-afhankelijke Variatie:

De nauwkeurigheid varieert sterk per domein. Gezondheid, Onderwijs en Financiën worden over het algemeen beter beantwoord dan "Adult" of "Sport".
AI-overzichten presteerden het beste op "Entertainment" (~~78%) en het slechtste op "Adult" en "Technologie" (~~55-60%).

4. Geografische Blootstelling:

Door de nauwkeurigheid te koppelen aan het zoekvolume (Baidu Index) voor gezondheidsvragen, bleek dat de oostelijke kustprovincies (zoals Guangdong, Jiangsu, Zhejiang) een hoge blootstelling hebben aan potentiële desinformatie.
Dit komt doordat deze regio's een zeer hoge vraag naar gezondheidsinformatie hebben, maar de systemen die daarvoor worden gebruikt niet 100% betrouwbaar zijn.
Centraal en westelijk China hebben een lagere blootstelling, voornamelijk door een lager zoekvolume, niet noodzakelijk door betere systeemnauwkeurigheid.

Betekenis en Conclusie

De studie toont aan dat de overgang van traditionele zoekresultaten naar AI-genereren antwoorden (via LLMs en AI-overzichten) geen garantie biedt voor hogere feitelijke betrouwbaarheid.

Structuurrisico's: Er zijn systematische zwaktes en biases in zowel zoekmachines als generatieve modellen. Gebruikers kunnen vertrouwen op vlot geschreven, maar feitelijke onjuiste antwoorden.
Ongelijkheid: De risico's van desinformatie zijn niet gelijk verdeeld; ze concentreren zich in regio's met de grootste vraag naar informatie, wat bestaande sociale en regionale ongelijkheden kan versterken.
Aanbevelingen: Voor gebruikers betekent dit dat geen enkel systeem als uniform betrouwbaar kan worden beschouwd. Voor platforms en onderzoekers is het cruciaal om domein-specifieke variatie te monitoren en transparantie te vergroten, vooral in hoog-risico domeinen zoals gezondheid.

De auteurs benadrukken dat hun dataset en pipeline openbaar beschikbaar zullen komen om toekomstig onderzoek naar feitelijke verificatie in het Chinees en cross-platform vergelijkingen te faciliteren.