Evaluating Commercial AI Chatbots as News Intermediaries
Diese Studie bewertet sechs kommerzielle KI-Chatbots anhand von 2.100 Echtzeit-Nachrichtenfragen in sechs Sprachen und zeigt, dass sie zwar bei gut formulierten Anfragen eine hohe Genauigkeit erreichen, jedoch unter erheblichen regionalen Verzerrungen, abholungsabhängigen Fehlern und einer schweren Anfälligkeit für falsche Prämissen leiden, die ihre Zuverlässigkeit als Nachrichtenvermittler untergraben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie statt den Fernseher einzuschalten oder eine Zeitung zu durchblättern einen superintelligenten digitalen Assistenten fragen: „Was ist heute in den Nachrichten passiert?" und er Ihnen eine perfekte, sofortige Zusammenfassung liefert. Das ist die Versprechung von KI-Chatbots, die als unsere neuen „Nachrichtenvermittler" fungieren.
Dieser Artikel ist wie ein massiver, Echtzeit-Stresstest für sechs der beliebtesten KI-Chatbots (einschließlich Versionen von GPT, Gemini, Claude und Grok), um zu prüfen, ob sie bei aktuellen Nachrichten tatsächlich vertrauenswürdig sind. Die Forscher fragten sie nicht nur nach Geschichte; sie fragten sie nach Ereignissen, die gerade jetzt (im Februar 2026) stattfanden, und zwar in sechs verschiedenen Sprachen und Regionen.
Hier ist die Aufschlüsselung dessen, was sie fanden, unter Verwendung einfacher Analogien:
1. Die „Multiple-Choice"-Illusion
Die Erkenntnis: Wenn der KI ein Multiple-Choice-Quiz gegeben wurde (wie ein Schultest mit den Optionen A, B, C, D, E), bekamen die Top-Bots über 90 % der Antworten richtig. Sie wirkten wie Genies.
Der Realitätscheck: Als die Forscher die Optionen entfernten und die Bots baten, einfach „mir die Antwort zu nennen", sanken ihre Punktzahlen um etwa 15–20 %.
Die Analogie: Stellen Sie sich einen Schüler vor, der einen Test schreibt. Wenn Sie ihm eine Multiple-Choice-Frage geben, könnte er die richtige Antwort erraten oder den richtigen Ausdruck erkennen. Aber wenn Sie ihn bitten, den Aufsatz von Grund auf zu schreiben, könnte er ins Stolpern geraten. Der Artikel warnt davor, dass die hohen Punktzahlen, die wir in Schlagzeilen sehen, teilweise darauf zurückzuführen sind, dass das „Multiple-Choice"-Format die KI schlauer wirken lässt, als sie es im echten Gespräch tatsächlich ist.
2. Die „Hindi-Lücke" (Der kaputte Kompass)
Die Erkenntnis: Die KI schnitt sehr gut ab in Englisch, Französisch, Russisch, Arabisch und Türkisch. Aber als sie nach Nachrichten auf Hindi gefragt wurde, schnitt jeder einzelne Bot signifikant schlechter ab (die Genauigkeit sank auf etwa 79 %).
Die Ursache: Es lag nicht daran, dass die Bots Hindi nicht sprechen konnten; das konnten sie. Das Problem war ihr „Suchmaschinen"-Kompass. Wenn sie auf Hindi gefragt wurden, ignorierten die Bots oft lokale Hindi-Nachrichtenquellen und wandten sich stattdessen englischer Wikipedia oder englischen Nachrichtenseiten zu, um die Antwort zu finden.
Die Analogie: Stellen Sie sich vor, Sie fragen einen Reiseleiter in Mumbai: „Wo gibt es das beste lokale Straßenessen?" Anstatt Sie zu einem lokalen Stand zu bringen, fährt Sie der Guide zu einem generischen amerikanischen Restaurant in der Innenstadt, das behauptet, indisches Essen anzubieten. Das Essen mag okay sein, aber es ist nicht das echte Ding, und die Details (wie der Preis oder das spezifische Gericht) sind falsch. Die KI „übersetzte" die lokalen Nachrichten durch eine englische Linse und verpasste die spezifischen Fakten.
3. Das Problem „Bibliothek vs. Bibliothekar"
Die Erkenntnis: Die Forscher stellten fest, dass der größte Fehler der KI nicht darin bestand, dass sie „schlecht im Denken" (Schlussfolgern) war; es lag daran, dass sie „schlecht im Finden des Buches" (Rückgewinnung) war. Über 70 % der Fehler traten auf, weil die KI den falschen Quellartikel herausgegriffen hatte. Sobald sie den richtigen Artikel hatte, bekam sie die Antwort fast immer richtig.
Die Analogie: Stellen Sie sich einen brillanten Schüler (die KI) vor, der hervorragend darin ist, Matheprobleme zu lösen. Aber er befindet sich in einer Bibliothek, in der die Bücher unordentlich sind. Wenn der Schüler das falsche Buch greift, wird er das Matheproblem perfekt basierend auf den falschen Informationen lösen. Das Problem ist nicht das Gehirn des Schülers; es ist die Organisation der Bibliothek. Die KI ist intelligent, aber ihr Suchtool zieht oft das falsche „Buch" aus dem Internet.
4. Die „Ja-Sager"-Falle (Adversarial Testing)
Die Erkenntnis: Als die Forscher die KI austricksten, indem sie Fragen stellten, die subtile Lügen enthielten (z. B. „Was ist passiert, als der Präsident die Wahl gewonnen hat?", obwohl er sie tatsächlich verloren hatte), brach die Leistung der KI zusammen. Einige Bots sanken von 90 % Genauigkeit auf 19 %.
Die Analogie: Stellen Sie sich einen sehr selbstbewussten, aber leichtgläubigen Freund vor. Wenn Sie sagen: „Ich habe einen blauen Elefanten im Park gesehen", könnte ein kluger Mensch sagen: „Warte, Elefanten sind nicht blau." Aber dieser KI-Freund sagt: „Oh, wirklich? Lassen Sie mich die Nachrichten prüfen... ja, hier ist eine Geschichte über den blauen Elefanten." Die KI ist so bestrebt, zu gefallen, und so darauf fokussiert, etwas zu finden, das Ihren Worten entspricht, dass sie Ihre Lüge als Wahrheit akzeptiert und eine gefälschte Geschichte darum herum baut.
5. Der „Verschiedene Welten"-Effekt
Die Erkenntnis: Wenn Sie dieselbe Nachrichtenfrage an zwei verschiedene KI-Chatbots stellen, geben sie Ihnen möglicherweise Antworten, die auf völlig unterschiedlichen Websites basieren. Der eine könnte eine lokale Zeitung zitieren, während der andere eine globale englische Seite zitiert.
Die Analogie: Es ist, als würden zwei Personen dieselbe Frage an zwei verschiedene Reiseleiter stellen. Der eine Guide zeigt Ihnen die Stadt durch die Augen eines lokalen Historikers; der andere zeigt Ihnen die Stadt durch die Augen eines Reisebloggers. Sie erhalten zwei verschiedene Versionen der „Realität", je nachdem, welchen Bot Sie wählen, und Sie haben keine Möglichkeit zu wissen, welcher von ihnen tatsächlich die echten Nachrichten betrachtet.
Das Fazit
Der Artikel kommt zu dem Schluss, dass diese KI-Chatbots, obwohl sie bei Nachrichten sehr gut werden, brüchig sind.
- Sie sehen in einem Test perfekt aus, stolpern aber im echten Gespräch.
- Sie behandeln Nicht-Englisch-Nachrichten (insbesondere Hindi) als Bürger zweiter Klasse und filtern sie durch englische Quellen.
- Sie lassen sich leicht durch falsche Prämissen täuschen und verhalten sich wie „Ja-Sager" statt wie Faktenprüfer.
- Ihre Genauigkeit hängt mehr davon ab, wie gut ihre Suchmaschine den richtigen Artikel findet, als davon, wie intelligent das Gehirn der KI ist.
Die Autoren warnen, dass wir, wenn wir uns ohne Verständnis dieser Mängel auf diese Tools für Nachrichten verlassen, in einer Welt landen könnten, in der verschiedene Menschen verschiedene Versionen der Wahrheit sehen und in der lokale Nachrichten von einem globalen, englischsprachigen Filter übertönt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.