Temporal Reliability of ChatGPT-Generated Bilingual Texts: Implications for AI-Assisted Language Learning and Multilingual Information Access

Stellen Sie sich vor, Sie hätten einen superintelligenten, allwissenden Roboter-Freund, der jede Sprache der Erde spricht. Sie bitten ihn, einen kniffligen Satz zu übersetzen, und er liefert Ihnen die perfekte Antwort. Aber was wäre, wenn Sie dieselbe Frage einen Monat später stellen würden, nachdem der Roboter ein „Software-Update“ erhalten hat? Gibt er immer noch dieselbe Antwort, oder hat er etwas vergessen, seine Meinung geändert oder angefangen, in einem anderen Stil zu sprechen? Dies ist die große Frage hinter einer neuen Studie in der Welt der Künstlichen Intelligenz (KI) und der Sprache.

Wissenschaftler nennen diese superintelligenten Roboter „Large Language Models“ (LLMs). Sie sind wie digitale Gehirne, die schreiben, übersetzen und chatten können. Normalerweise erwarten wir, wenn wir ein neues Videospiel oder ein neues Telefon kaufen, dass die neueste Version besser als die alte ist. Wir gehen davon aus, dass, wenn eine Firma „Version 5.0“ und dann „Version 6.0“ veröffentlicht, die zweite intelligenter, schneller und genauer ist. Aber bei diesen KI-Robotern ist es nicht immer so einfach. Sie werden im Hintergrund ständig angepasst und aktualisiert, was manchmal die Art und Weise verändert, wie sie denken oder sprechen, ohne dass wir es überhaupt merken. Diese Studie stellt eine sehr wichtige Frage: Wenn Sie eine KI nutzen, um beim Sprachenlernen zu helfen oder Nachrichten in einer Fremdsprache zu lesen, können Sie darauf vertrauen, dass die „neueste“ Version tatsächlich die beste ist? Oder wird der Roboter bei bestimmten Dingen manchmal schlechter, während er in anderen besser wird?

Das Experiment: Den Speicher des Roboters testen

Um dies herauszufinden, entschied sich ein Forscher namens Zhihan Fu dazu, ein Spiel namens „Finde den Unterschied“ mit vier verschiedenen Versionen eines populären KI-Chatbots (genannt GPT-5.0, GPT-5.4, GPT-5.5 und GPT-5.6 Sol) zu spielen. Betrachten Sie diese Versionen wie vier verschiedene Schnappschüsse derselben Person, die über einige Monate hinweg aufgenommen wurden.

Der Forscher bat den Roboter nicht nur zum Chatten; er stellte ihn vor eine sehr spezifische Herausung. Er nahm drei reale Artikel – einen über Geld (Finanzen), einen über Solartechnologie und einen über staatliche Regeln (öffentliche Ordnung/Public Policy) – und bat jede einzelne Version des Roboters, diese aus dem Chinesischen ins Englische zu übersetzen. Er verwendete für jede Version exakt dieselben Anweisungen und verglich ihre Antworten mit einer „Goldstandard“-Übersetzung, die von einem menschlichen Experten erstellt wurde.

Er nutzte zwei Hauptwege, um die Übersetzungen zu beurteilen:

1. Der „Bedeutungs“-Check: Er verwendete ein Werkzeug namens COMET, um zu sehen, wie nah die Bedeutung des Roboters an der Bedeutung des menschlichen Experten lag. Hat er alle Fakten korrekt beibehalten?
2. Der „Lesbarkeit“-Check: Er maß, wie leicht der Text zu lesen war. War er zu schwer? Waren die Sätze zu lang? Verwendete er die richtigen Wörter?

Die Überraschung: Der Roboter wird nicht geradlinig besser

Die Ergebnisse waren ein wenig wie das Beobachten einer Achterbahn, die in verschiedenen Richtungen für verschiedene Passagiere auf und ab fährt. Die große Überraschung war, dass neuere Versionen der KI nicht automatisch besser waren. Tatsächlich änderte sich die Leistung des Roboters auf seltsame, unvorhersehbare Weise, je nachdem, über welches Thema er sprach.

Hier ist das, was in jeder „Welt“ geschah, die der Roboter besuchte:

• Die Welt der staatlichen Regeln (Public Policy): Dies war der einzige Ort, an dem der Robot stetig besser darin wurde, die Bedeutung korrekt beizubehalten. Mit jeder neuen Version stieg der „Bedeutungs“-Score an und erreichte seinen Höchstpunkt mit der neuesten Version, GPT-5.6 Sol. Es gab jedoch einen Haken: Während die Bedeutung genauer wurde, wurde der Text schwerer zu lesen. Die neueren Versionen begannen, in einem komplexeren, klobigeren Stil zu schreiben, der sich weniger wie eine flüssige Geschichte und mehr wie ein steifes Rechtsdokument anfühlte.
• Die Geld-Welt (Finanzen): Hier war der Roboter eine Zeit lang recht beständig, erreichte aber seinen Höhepunkt mit der Version GPT-5.5, bevor er mit der neuesten Version wieder etwas schlechter wurde. Die neueste Version war hier nicht der Champion.
• Die Solarstrom-Welt (Technologie): Dies war die wildeste Fahrt. Der Roboter startete stark, wurde mit der Version GPT-5.4 sogar noch besser und wurde danach mit jedem Update schlechter. Als die neueste Version (GPT-5.6 Sol) ankam, war seine Fähigkeit, die Bedeutung korrekt beizubehalten, unter sogar die allererste Version gefallen! Die neueste Version tat jedoch etwas Interessantes: Sie brach die langen, verwirrenden Sätze in kürzere, prägnantere Sätze auf, was den Text leichter lesbar erscheinen ließ, obwohl sie tatsächlich einige der wichtigen technischen Details vermissen ließ.

Das große Fazit: „Neuer“ bedeutet nicht „Besser“

Die Studie legt nahe, dass wir nicht einfach davon ausgehen können, dass das neueste KI-Update das beste Werkzeug für die Aufgabe ist. Es ist wie ein Koch, der eine neue Küche bekommt. Vielleicht macht der neue Ofen seine Kuchen perfekt, aber die neuen Messer machen sein Gemüseschneiden langsamer.

• Für Regierungstexte: Die neueste KI ist am genauesten, aber auch am schwersten zu lesen.
• Für technische Handbücher: Die neueste KI schreibt in kürzeren Sätzen (was gut aussieht), aber sie verliert tatsächlich Bedeutung im Vergleich zu älteren Versionen.
• Für Finanztexte: Die mittlere Version (GPT-5.5) war die beste, nicht die neueste.

Der Forscher fand heraus, dass die Fähigkeit des Roboters, die Bedeutung korrekt zu halten, und seine Fähigkeit, leicht lesbar zu sein, oft in entgegengesetzte Richtungen liefen. Manchmal machte das genauer machen des Textes ihn schwieriger zu verstehen. Ein anderes Mal machte das Kürzer- und Einfacher-Machen ihn weniger genau.

Warum das für Sie wichtig ist

Wenn Sie ein Student sind, der KI nutzt, um beim Sprachenlernen zu helfen, oder wenn Sie versuchen, Nachrichten aus einem anderen Land zu lesen, ist diese Studie ein Warnhinweis. Sie sagt uns, dass wir nicht einfach die „neueste“ Version einer KI greifen und davon ausgehen sollten, dass sie die klügste ist. Die „beste“ Version hängt ganz davon ab, was Sie genau tun möchten.

Wenn Sie eine komplexe staatliche Regel verstehen müssen, liefert Ihnen die neueste Version vielleicht die richtigen Fakien, aber auf eine verwirrende Weise. Wenn Sie ein technisches Handbuch lesen, sieht die neueste Version vielleicht einfach aus, könnte aber eine entscheidende Sicherheitswarnung übersehen haben. Die Studie legt nahe, dass wir diese KI-Tools immer wieder neu testen müssen, indem wir sie für spezifische Aufgaben prüfen, denn der Roboter ändert seine Persönlichkeit jedes Mal, wenn er ein Update erhält. Die „perfekte“ KI-Übersetzung existiert noch nicht; stattdessen haben wir einen Roboter, der sich ständig verschiebt, und wir müssen vorsichtig sein, welcher Version wir für welche Aufgabe vertrauen.