Benchmarking Open-Weight Foundation Models for Global AI Technical Governance
Deze studie adresseert methodologische beperkingen in bestaand onderzoek naar geografische bias in AI door vier open-weight fundamentele modellen te benchmarken tegen een geverifieerde grondwaarheid-dataset (GAID v2) met behulp van een verfijnd classificatieschema voor vijf categorieën van antwoorden om de verschillen in modelprestaties over 227 landen nauwkeurig te meten en te analyseren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je vier zeer intelligente, goed onderlegde bibliothecarissen hebt (de AI-modellen). Je stelt ze een miljoen vragen over hoe verschillende landen het doen met Kunstmatige Intelligentie (AI). Je wilt weten of ze de waarheid spreken of dat ze gewoon dingen verzinnen om zelfverzekerd over te komen.
Dit artikel is een rapportcijfer voor die bibliothecarissen, waarbij specifiek wordt gecontroleerd of ze bevooroordeeld zijn tegenover bepaalde landen of dat ze gewoon in de war raken door specifieke soorten feiten.
Hier is het verhaal van wat ze hebben gevonden, eenvoudig uitgelegd:
1. De Opzet: De "Waarheid" versus de "Gok"
De onderzoekers hadden een enorme, geverifieerde "Antwoordenlijst" (de Global AI Dataset genoemd) met echte cijfers over 227 landen. Ze vroegen de vier AI-modellen om hen specifieke cijfers uit deze lijst te geven.
- Het Doel: Kijken of de AI's de cijfers juist krijgen.
- Het Probleem: Soms, wanneer een AI het antwoord niet weet, zegt hij niet "Ik weet het niet". In plaats daarvan verzint hij zelfverzekerd een getal. Dit wordt een Hallucinatie genoemd (of in het artikel "Confident Fabrication").
2. De Grote Verrassing: Het "Mondiale Zuiden" kreeg niet het kortste eindje
Normaal gesproken denken mensen dat AI-modellen bevooroordeeld zijn omdat ze vooral getraind zijn op data uit rijke, Engelstalige landen (zoals de VS en het VK). Het algemene geloof is dat de AI's meer leugens zullen verzinnen over armere landen (het "Mondiale Zuiden") omdat ze daar minder van weten.
Maar de resultaten waren precies het tegenovergestelde!
- De AI's verzinten eigenlijk meer leugens over rijke landen (het Mondiale Noorden) dan over arme landen.
- Waarom? Denk er zo over na: Als je een bibliothecaris vraagt: "Hoeveel zandkorrels liggen er op dit kleine strandje?" en hij raadt "500", dan zit hij er misschien dichtbij. Maar als je vraft: "Hoeveel zandkorrels liggen er in deze enorme woestijn?" en hij raadt "500", dan zit hij er volledig naast.
- Rijke landen hebben enorme aantallen (miljoenen patenten, miljarden dollars aan rekenkracht). Het is veel moeilder voor een AI om een enorm getal correct te raden dan een klein getal. Daarom werden de AI's vaker "betrapt" op het verzinnen van grote getallen voor rijke landen.
- Noot: Dit betekent niet dat de AI's alles weten over arme landen; het betekent alleen dat de "Antwoordenlijst" voor rijke landen grotere, moeilijkere getallen bevatte.
3. De "Veiligheidsval": De AI's zijn vreselijk in rekenen
De onderzoekers vroegen de AI's naar specifieke, moeilijke getallen zoals "Hoeveel rekenkracht is gebruikt om dit model te trainen?" of "Hoeveel parameters heeft dit model?".
- Het Resultaat: De AI's faalden bijna volledig. Ze verzinten 98% van de tijd de getallen voor deze "Veiligheid"-vragen.
- De Analogie: Het is alsof je een chef vraagt: "Hoeveel milligram zout zit er precies in deze soep?" en de chef gewoon een getal verzint dat chic klinkt, maar totaal verzonnen is.
- De Les: Als je de exacte grootte van een computerchip of de kracht van een supercomputer nodig hebt, vertrouw deze AI's dan niet. Ze zijn aan het gokken.
4. Het "Ja/Nee"-succes: De AI's zijn goed in simpele feiten
Wanneer de onderzoekers simpele "Ja of Nee"-vragen stelden, zoals "Heeft dit land een nationaal AI-strategie gepubliceerd?",
- Het Resultaat: De AI's deden het veel beter. Ze kregen het antwoord ongeveer 42% van de tijd goed (wat hoog is voor hen!).
- Waarom: Het is makkelijker om een "Ja" of "Nee" te onthouden dan om een specifiek getal zoals "14.502 patenten" te verzinnen.
5. De Vergelijking van de Bibliothecarissen: Wie is de Beste?
De onderzoekers testten vier verschillende "bibliothecarissen" (AI-modellen):
- Mistral (Frankrijk): De meest nauwkeurige overall.
- DeepSeek (China): De op één na beste.
- Qwen (China): De derde.
- Llama (VS): Verzon de meeste leugens.
Interessant genoeg maakte het niet veel uit of de bibliothecaris uit de VS, Europa of China kwam. Ze verzinten allemaal leugens met ongeveer dezelfde frequentie. De "nationaliteit" van de AI veranderde de uitkomst niet echt.
6. Het "Ik weet het niet"-probleem
De onderzoekers hoopten dat als de AI's het antwoord niet wisten, ze beleefd zouden zeggen: "Ik weet het niet."
- De Realiteit: De AI's zeiden bijna nooit dat ze het niet wisten. Zelfs wanneer ze totaal aan het gokken waren, klonken ze 100% zelfverzekerd.
- Het Gevaar: Dit is als een student die een toets maakt, op elke vraag gokt, maar de antwoorden in grote, dikke letters opschrijft. Je kunt niet zien of ze slim zijn of gewoon geluk hebben.
7. Hoe stel je betere vragen?
De onderzoekers ontdekten dat de manier waarop je de vraag stelt, uitmaakt.
- Slechte manier: "Wat is het exacte aantal AI-patenten in Land X?" (De AI verzint een getal).
- Betere manier: "Hoe verhoudt het aantal patenten van Land X zich tot het gemiddelde voor zijn regio?"
- Resultaat: Wanneer je om een vergelijking vraagt in plaats van een specifiek getal, verzint de AI minder leugens. Het is also_f je vraagt: "Is dit strand groter dan dat ene?" in plaats van "Hoeveel zandkorrels liggen er op dit strand?".
De Kernboodschap
Als je een overheidsfunctionaris of een onderzoeker bent die AI probeert te gebruiken om de wereld te begrijpen:
- Vertrouw de cijfers niet: Als de AI je een specifiek getal geeft over AI-kracht of patenten, controleer dit dan bij een mens. Het is waarschijnlijk een zelfverzekerde gok.
- Ze zijn slecht in "Veiligheids"-rekenen: Ze kunnen je niet vertellen hoeveel rekenkracht er wordt gebruikt.
- Ze zijn oké in "Ja/Nee": Ze zijn beter in het vertellen of een wet bestaat dan in het vertellen van de exacte details ervan.
- Ze geven nooit toe dat ze het niet weten: Ze zullen altijd antwoorden, zelfs als ze liegen.
Het artikel concludeert dat hoewel deze AI-modellen indrukwekkend zijn, ze momenteel onbetrouwbare instrumenten zijn voor het verzamelen van precieze feiten over mondiaal AI-bestuur. Je hebt nog steeds menselijke experts nodig om de gegevens te verifiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.