Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions
Die Studie zeigt, dass aktuelle große Sprachmodelle keine funktionierenden internen Zufallsgeneratoren besitzen und bei der Erzeugung von Zufallszahlen aus statistischen Verteilungen, insbesondere bei unabhängigen Anfragen und komplexen Verteilungen, systematisch versagen, was externe Werkzeuge für Anwendungen mit statistischen Garantien erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Warum KI-Modelle keine guten Würfelspieler sind – Eine einfache Erklärung
Stellen Sie sich vor, Sie haben einen Zauberer, der alles wissen kann: Er kann Gedichte schreiben, Code programmieren und komplexe Fragen beantworten. Aber wenn Sie ihn bitten, einfach nur zufällig eine Zahl zwischen 1 und 6 zu nennen – wie beim Würfeln –, dann versagt er kläglich.
Genau das ist die Kernbotschaft einer neuen Studie von Harvard-Forschern: Große Sprachmodelle (wie Chatbots) sind extrem schlecht darin, echte Zufallszahlen zu erzeugen.
Hier ist die Geschichte, einfach erklärt:
1. Das Problem: Der „Zufalls-Zauberer", der nicht zufällig ist
In der Welt der KI wird oft erwartet, dass diese Modelle nicht nur Texte schreiben, sondern auch als Teil von Systemen fungieren, die auf Wahrscheinlichkeiten basieren. Zum Beispiel:
- Ein Lehrer möchte, dass die KI automatisch Quizfragen erstellt, bei denen die richtige Antwort (A, B, C oder D) wirklich zufällig verteilt ist.
- Ein Künstler möchte, dass die KI Bilder beschreibt, bei denen die Geschlechter oder Hautfarben der Personen genau so verteilt sind wie in der echten Welt (z. B. 50 % Männer, 50 % Frauen).
Die Forscher haben 11 der fortschrittlichsten KI-Modelle getestet. Sie haben sie gebeten, 1.000 Mal Zahlen zu generieren, die bestimmten mathematischen Regeln folgen (wie eine faire Münze, die 50/50 landet, oder eine Glockenkurve).
Das Ergebnis? Die Modelle waren katastrophal.
- Wenn sie 1.000 Zahlen auf einmal in einer Antwort liefern sollten, schafften es nur wenige Modelle, die Regeln halbwegs einzuhalten.
- Wenn sie 1.000 einzelne, unabhängige Anfragen stellen mussten (jedes Mal neu starten), versagten fast alle Modelle komplett. Sie konnten keine einzige Verteilung korrekt nachahmen.
2. Die Analogie: Der Schauspieler vs. der Statistiker
Stellen Sie sich die KI wie einen Schauspieler vor, der eine Rolle spielt.
- Wenn der Schauspieler eine Szene spielt, in der er eine Gruppe von Menschen darstellt, die zufällig durch einen Park laufen, kann er das gut. Er nutzt seinen Kontext: „Ah, ich habe gerade einen großen Mann gesehen, also mache ich jetzt einen kleinen." Er korrigiert sich selbst im Fluss des Gesprächs. Das ist wie das Batch-Verfahren (alles auf einmal).
- Aber wenn Sie den Schauspieler bitten, allein in einem leeren Raum zu stehen und alle 5 Sekunden eine völlig neue, unabhängige Entscheidung zu treffen (z. B. „Welche Farbe hat mein Hemd heute?"), dann scheitert er. Er hat kein echtes „Zufalls-Modul" im Kopf. Stattdessen greift er auf seine alten Gewohnheiten zurück. Er mag vielleicht die Farbe Blau, also wählt er immer wieder Blau, egal wie oft Sie ihn bitten, etwas anderes zu wählen.
Die Studie zeigt: Die KI hat keine innere „Zufalls-Maschine". Sie kann nur beschreiben, wie Zufall aussieht, aber sie kann ihn nicht sein.
3. Die gefährlichen Folgen: Warum das wichtig ist
Warum sollten wir uns darum kümmern, ob eine KI gut würfeln kann? Weil es reale Konsequenzen hat:
- Der unfairer Test: Wenn eine KI 1.000 Quizfragen erstellt und die richtige Antwort immer bei „C" steht (weil die KI eine Vorliebe für C hat), dann ist der Test unfair. Schüler könnten raten und trotzdem bestehen, ohne etwas gelernt zu haben. Die Studie zeigte: Die KIs haben massive Vorlieben für bestimmte Buchstaben, obwohl sie explizit angewiesen wurden, zufällig zu wählen.
- Der verzerrte Spiegel: Wenn eine KI Bilder für eine Datenbank erstellt und dabei die ethnische Vielfalt nicht korrekt abbildet (z. B. viel zu viele weiße Personen und gar keine hispanischen), dann lernen die nächsten KI-Modelle auf diesen Daten. Das führt zu Vorurteilen in der echten Welt. Die KI hat hier die „Zufalls-Regeln" der Demografie ignoriert.
4. Das Paradoxon: Je mehr man fragt, desto schlimmer wird es
Ein besonders kurioses Ergebnis: Je mehr Zahlen die KI auf einmal produzieren soll, desto schlechter wird die Verteilung.
Stellen Sie sich vor, Sie bitten jemanden, eine lange Liste mit zufälligen Zahlen zu schreiben. Je länger die Liste wird, desto mehr „vergisst" die KI, dass sie zufällig sein soll, und rutscht in ihre eigenen, festen Muster. Es ist, als würde ein Spieler beim Würfeln nach 100 Würfen denken: „Ich habe schon so oft eine 6 gewürfelt, jetzt muss es eine 1 sein" – dabei ist das genau das, was man nicht tun sollte.
Fazit: Wir brauchen externe Werkzeuge
Die Botschaft der Forscher ist klar: Verlassen Sie sich nicht auf die KI, wenn es um echte Zufälligkeit geht.
Wenn Sie ein System bauen, das statistisch korrekt sein muss (z. B. für wissenschaftliche Studien, faire Tests oder faire Datensätze), dürfen Sie nicht einfach der KI sagen: „Mach das zufällig." Stattdessen müssen Sie der KI sagen: „Schreibe mir einen Python-Code, der die Zufallszahlen mit einer echten mathematischen Bibliothek berechnet."
Die KI ist ein brillanter Schriftsteller und ein guter Denker, aber als Würfelspieler ist sie noch nicht einsatzbereit. Sie braucht einen externen Assistenten, um die Zufälle zu regeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.