Benchmarking Open-Weight Foundation Models for Global AI Technical Governance
Diese Studie adressiert methodische Einschränkungen in der bestehenden Forschung zu geografischer Verzerrung in KI, indem sie vier Open-Weight-Foundation-Modelle anhand eines verifizierten Ground-Truth-Datensatzes (GAID v2) unter Verwendung eines verfeinerten fünfkategorigen Antwortklassifizierungsschemas benchmarkt, um Disparitäten in der Modellleistung über 227 Länder hinweg genau zu messen und zu analysieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben vier sehr kluge, belesene Bibliothekare (die KI-Modelle). Sie stellen ihnen eine Million Fragen darüber, wie verschiedene Länder mit Künstlicher Intelligenz (KI) zurechtkommen. Sie wollen wissen, ob sie die Wahrheit sagen oder ob sie einfach Dinge erfinden, um selbstbewusst zu klingen.
Dieses Papier ist ein Zeugnis für diese Bibliothekare; es prüft spezifisch, ob sie gegenüber bestimmten Ländern voreingenommen sind oder ob sie sich einfach nur über bestimmte Arten von Fakten im Unklaren sind.
Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach aufgeschlüsselt:
1. Das Setup: Die „Wahrheit“ vs. die „Vermutung“
Die Forscher hatten einen riesigen, verifizierten „Antwortschlüssel“ (genannt Global AI Dataset), der echte Zahlen über 227 Länder enthielt. Sie fragten die vier KI-Modelle, um ihnen spezifische Zahlen aus diesem Schlüssel zu nennen.
- Das Ziel: Zu sehen, ob die KIs die Zahlen richtig bekommen.
- Das Problem: Manchmal, wenn eine KI eine Antwort nicht weiß, sagt sie nicht „Ich weiß es nicht“. Stattdessen erfindet sie selbstbewusst eine Zahl. Dies wird als Halluzination (oder in dem Papier als „Confident Fabrication“ – selbstbewusste Erfindung) bezeichnet.
2. Die große Überraschras: Der „Globale Süden“ hat nicht den Kürzeren gezogen
Normalerweise denken die Leute, dass KI-Modelle voreingenommen sind, weil sie hauptsächlich mit Daten aus reichen, englischsprachigen Ländern (wie den USA und Großbritannien) trainiert wurden. Die gängige Annahme ist, dass die KIs mehr Lügen über ärmere Länder (den „Globalen Süden“) erfinden würden, weil sie weniger über sie wissen.
Aber die Ergebnisse waren das Gegenteil!
- Die KIs haben tatsächlich mehr Lügen über reiche Länder (den „Globalen Norden“) erfunden als über arme.
- Warum? Denken Sie so darüber nach: Wenn Sie einen Bibliothekar fragen: „Wie viele Sandkörner sind auf diesem winzigen Strand?“ und er rät „500“, dann liegt er vielleicht nah dran. Aber wenn Sie ihn fragen: „Wie viele Sandkörner sind in dieser riesigen Wüste?“ und er rät „500“, dann liegt er völlig daneben.
- Reiche Länder haben riesige Zahlen (Millionen von Patenten, Milliarden an Rechenleistung). Es ist viel schwieriger für eine KI, eine riesige Zahl korrekt zu erraten, als eine kleine Zahl. Deshalb wurden die KIs bei den großen Zahlen für reiche Länder häufiger beim Lügen „erwischt“.
- Hinweis: Das bedeutet nicht, dass die KIs alles über arme Länder wissen; es bedeutet nur, dass der „Antwortschlüssel“ für reiche Länder größere, schwerer zu erratende Zahlen enthielt.
3. Die „Sicherheitsfalle“: Die KIs sind schrecklich in Mathe
Die Forscher fragten die KIs nach spezifischen, schwierigen Zahlen wie „Wie viel Rechenleistung wurde verwendet, um dieses Modell zu trainieren?“ oder „Wie viele Parameter hat dieses Modell?“.
- Das Ergebnis: Die KIs versagten fast vollständig. Sie erfanden in 98 % der Fälle Zahlen für diese „Sicherheitsfragen“.
- Die Analogie: Es ist, als würde man einen Koch fragen: „Wie viele Milligramm Salz sind genau in dieser Suppe?“ und der Koch rät einfach eine Zahl, die fancy klingt, aber völlig erfunden ist.
- Die Lektion: Wenn Sie die exakte Größe eines Computerchips oder die Leistung eines Supercomputers wissen müssen, vertrauen Sie diesen KIs nicht. Sie raten nur.
4. Der „Ja/Nein“-Erfolg: Die KIs sind gut in einfachen Fakten
Wenn die Forscher einfache „Ja oder Nein“-Fragen stellten, wie zum Beispiel: „Hat dieses Land eine nationale KI-Strategie veröffentlicht?“,
- Das Ergebnis: Die KIs machten es viel besser. Sie bekamen die Antwort etwa 42 % der Zeit richtig (was für sie recht hoch ist!).
- Warum: Es ist einfacher, sich an ein „Ja“ oder „Nein“ zu erinnern, als eine spezifische Zahl wie „14.502 Patente“ zu erfinden.
5. Der Vergleich der Bibliothekare: Wer ist der Beste?
Die Forscher testeten vier verschiedene „Bibliothekare“ (KI-Modelle):
- Mistral (Frankreich): Am genauesten insgesamt.
- DeepSeek (China): Zweitbeste.
- Qwen (China): Drittbeste.
- Llama (USA): Hat die meisten Lügen erfunden.
Interessanterweise spielte es keine große Rolle, ob der Bibliothekar aus den USA, Europa oder China kam. Sie alle erfanden Lügen in einem etwa gleichen Maße. Die „Nationalität“ der KI veränderte das Ergebnis nicht wirklich.
6. Das „Ich weiß es nicht“-Problem
Die Forscher hofften, dass die KIs, wenn sie eine Antwort nicht wussten, höflich sagen würden: „Ich weiß es nicht“.
- Die Realität: Die KIs sagten fast nie, dass sie es nicht wussten. Selbst wenn sie völlig ratierten, klangen sie zu 100 % selbstbewusst.
- Die Gefahr: Das ist wie ein Schüler, der eine Prüfung macht, bei jeder Frage rät, aber die Antworten in großen, fetten Buchstaben schreibt. Man kann nicht unterscheiden, ob er klug ist oder nur Glück hat.
7. Wie man bessere Fragen stellt
Die Forscher fanden heraus, dass die Art und Weise, wie man die Frage stellt, entscheidend ist.
- Schlechter Weg: „Wie hoch ist die genaue Anzahl der KI-Patente in Land X?“ (Die KI rät eine Zahl).
- Besserer Weg: „Wie verhält sich die Patentanzahl von Land X zum Durchschnitt seiner Region?“
- Ergebnis: Wenn man nach einem Vergleich statt nach einer spezifischen Zahl fragt, erfindet die KI weniger Lügen. Es ist, als würde man fragen: „Ist dieser Strand größer als jener?“ anstatt „Wie viele Sandkörner sind hier?“.
Das Fazit
Wenn Sie ein Regierungsvertreter oder ein Forscher sind, der versucht, KI zu nutzen, um die Welt zu verstehen:
- Vertrauen Sie den Zahlen nicht: Wenn die KI Ihnen eine spezifische Zahl über KI-Leistung oder Patente nennt, überprüfen Sie diese mit einem Menschen. Es ist wahrscheinlich eine selbstbewusste Vermutung.
- Sie sind schlecht in „Sicherheits-Mathe“: Sie können Ihnen nicht sagen, wie viel Rechenleistung verwendet wird.
- Sie sind okay bei „Ja/Nein“: Sie sind besser darin, zu sagen, ob ein Gesetz existiert, als die genauen Details dieses Gesetzes zu nennen.
- Sie geben Unwissenheit nie zu: Sie werden immer antworten, selbst wenn sie lügen.
Das Papier kommt zu dem Schluss, dass diese KI-Modelle zwar beeindruckend sind, aber derzeit unzuverlässige Werkzeuge für die Sammlung präziser Fakten über die globale KI-Governance sind. Man benötigt weiterhin menschliche Experten, um die Daten zu verifizieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.