Consistent but Miscalibrated: Evaluating LLM Limitations for Risk Communication in Natural Language
Diese Studie evaluiert neun große Sprachmodelle als Post-hoc-Erklärer für die probabilistische Risikokommunikation und stellt fest, dass sie zwar im Allgemeinen konsistent sind, aber dennoch signifikant falsch kalibriert bleiben – insbesondere im Hinblick auf Unsicherheit –, was darauf hindeutet, dass sie noch keine zuverlässigen Zero-Shot-Werkzeuge für die Übersetzung numerischer Vorhersagen in natürliche Sprache sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine Kristallkugel, die die Zukunft vorhersagen kann, aber anstatt Ihnen ein klares „Ja“ oder „Nein“ zu geben, flüstert sie Zahlen wie „73 % Chance“ oder „sehr unsichere Vorhersage“. Stellen Sie sich nun vor, Sie bitten einen superintelligenten Roboter (ein Large Language Model, oder LLM), diese Zahlen in einfaches Englisch zu übersetzen. Sie möchten, dass der Roboter sagt: „Es ist sehr wahrscheinlich, dass es regnet“, wenn die Zahl hoch ist, und „Es ist sehr unsicher“, wenn die Zahl wackelig ist.
Die große Frage, die diese Arbeit stellt, lautet: Können diese Roboter diese Aufgabe tatsächlich erledigen, ohne dabei Fehler zu machen?
Die Forscher richteten ein massives Spiel der „Übersetzung“ ein, um dies herauszufinden. Sie ließen die Roboter nicht einfach nur raten; sie fütterten sie mit simulierten Vorhersagen einer „Kristallkugel“ (die mathematisch mit einer sogenannten Beta-Verteilung modelliert wurden), die über spezifische, bekannte Grade an Wahrscheinlichkeit und Unsicherheit verfügten. Dann baten sie neun verschiedene KI-Modelle, die perfekte Phrase aus einem strengen Menü von Optionen (wie „sehr wahrscheinlich“ oder „hochgradig unsicher“) zu wählen, um die Situation zu beschreiben. Dies taten sie immer und immer wieder, wobei sie die „Temperatur“ (wie kreativ oder zufällig der Roboter sein darf) änderten und sie in sechs verschiedenen realen Szenarien testeten, von der Vorhersage von Überschwemmungen bis hin zur Vermutung, ob ein Spieler gewinnen wird.
Hier ist das Urteil, direkt aus dem Labor: Die Roboter sind konsistent, aber sie sind schrecklich in der Kalibrierung.
Stellen Sie sich das wie einen Wettervorhersager vor, der unglaublich zuverlässig darin ist, jedes Mal das Gleiche zu sagen, wenn Sie ihn fragen, aber völlig falsch liegt, was die Bedeutung dieser Sache angeht.
- Konsistenz (Der „zuverlässige Roboter“): Wenn Sie demselben Roboter dieselbe Frage zehnmal stellen, wird er fast immer exakt dieselbe Antwort geben. Es ist wie ein Papagei, der sein Skript nie vergisst. Die meisten der Modelle schnitten hier sehr gut ab, wobei ein Spitzenmodell (GPT-5.4) eine perfekte Punktzahl von 1,0 erreichte. Er wich nie von der Spur ab.
- Kalibrierung (Der „Wahrheitssprecher“): Hier stolpern die Roboter. Kalibrierung bedeutet, die Wörter mit der tatsächlichen Mathematik in Einklang zu bringen. Wenn die Mathematik „95 % Chance“ sagt, sollte der Roboter „praktisch sicher“ sagen. Wenn sie „10 % Chance“ sagt, sollte er „sehr unwahrscheinlich“ sagen. Die Studie fand heraus, dass die meisten Roboter fehlkalibriert sind. Sie wählen oft die gleichen mittelmäßigen Phrasen (wie „etwas sicher“) zur Mitte hin, ungeachtet dessen, ob die Mathematik gerade „fast unmöglich“ oder „garantiert“ schreit. Sie sind wie eine Person, die immer „vielleicht“ sagt, egal was die Würfel zeigen.
Was die Arbeit explizit ausschließt:
Sie denken vielleicht: „Vielleicht können die Roboter einfach nicht rechnen! Vielleicht werden sie besser, wenn wir ihnen die endgültigen Zahlen direkt statt der Rohdaten geben?“ Die Forscher testeten genau diese Idee. Sie gaben den Robotern den vorab berechneten „Modus“ (die wahrscheinlichste Zahl) und die „Stichprobengröße“ (wie sicher sich die Mathematik ist) direkt im Prompt. Das Ergebnis? Es half nicht. Die Roboter scheiterten trotzdem daran, die Zahlen den richtigen Wörtern zuzuordnen. Dies deutet darauf hin, dass das Problem nicht darin liegt, dass sie die Mathematik nicht beherrschen; das Problem liegt im Übersetzungsschritt selbst. Sie verfügen einfach nicht über ein solides internes Wörterbuch, das Zahlen mit Wörtern verknüpft.
Der „Temperatur“-Trade-off:
Die Forscher spielten auch mit der Einstellung der „Temperatur“, die steuert, wie zufällig die Entscheidungen des Roboters sind.
- Niedrige Temperatur: Der Roboter ist ein langweiliger Roboter. Er wählt jedes Mal das gleiche sichere Wort. Hohe Konsistenz, aber er bleibt in einem Trott stecken und passt nicht gut zu den Zahlen.
- Hohe Temperatur: Der Roboter wird ein wenig wild. Er beginnt, verschiedene Wörter zu wählen, was tatsächlich hilft, die Zahlen besser abzubilden (was die Kalibrierung verbessert), aber er wird zu einem unbeständigen Roboter, der Ihnen für dieselbe Frage unterschiedliche Antworten gibt (was die Konsistenz zerstört).
Der einzige Star-Performer:
Es gab eine Ausnahme: GPT-5.4. Dieses Modell war ein Biest bei der Beschreibung der Wahrscheinlichkeit. Es erreichte eine nahezu perfekte Kalibrierungspunktzahl von 0,96 und eine perfekte Konsistenzpunktzahl von 1,0. Es schien ein perfektes, starres Regelwerk gelernt zu haben: „Wenn die Zahl X ist, sage ich Y.“ Doch selbst dieser Super-Roboter versagte, wenn es um die Unsicherheit ging. Er erreichte nur 0,37 bei Aufgaben zur Unsicherheit und griff auf vage, mittlere Phrasen zurück, genau wie die anderen. Es stellt sich heraus, dass selbst der klügste Roboter nicht weiß, wie er sagen soll: „Ich bin mir wirklich nicht sicher“, auf eine Weise, die der Mathematik entspricht.
Das Fazsergebnis:
Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle derzeit nicht bereit sind, als eigenständige Werkzeuge zur Erklärung von Risiken für die Öffentlichkeit zu dienen. Sie sind wie ein sehr konsistenter Übersetzer, der eine Sprache spricht, in der die Wörter nicht ganz zur Bedeutung passen. Wenn Sie sie nach einem medizinischen Risiko oder einer Überschwemmungswarnung fragen, könnten sie eine selbstbewusst klingende Antwort geben, die tatsächlich irreführend ist.
Die Autoren schlagen vor, dass diese Modelle zwar großartig darin sind, flüssige, leicht lesbare Sätze zu bilden, wir sie aber nicht einfach in einen Risikorechner einbinden und erwarten können, dass sie präzise sind. Der „Engpass“ ist nicht die Mathematik; es ist die Unfähigkeit des Roboters, eine Zahl wirklich in ein vertrauenswürdiges Wort zu verwandeln. Bis das behoben ist, müssen wir sehr vorsichtig sein, wenn wir KI erklären lassen, wie hoch die Chancen bei lebensbedrohlichen Situationen sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.