Humans and LLMs Diverge on Probabilistic Inferences
Die Studie stellt mit ProbCOPA einen neuen Datensatz vor und zeigt, dass sich große Sprachmodelle bei probabilistischen Schlussfolgerungen systematisch von menschlichen Urteilen unterscheiden, da sie keine menschenähnlichen Wahrscheinlichkeitsverteilungen erzeugen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Wenn Menschen und KI über „Vielleicht" streiten – Eine Reise in die Welt der Wahrscheinlichkeiten
Stell dir vor, du sitzt an einem regnerischen Dienstagmorgen. Du siehst aus dem Fenster und denkst: „Da ist ein Unfall auf der Autobahn."
Was passiert als Nächstes?
- Möglichkeit A: Der Verkehr wird viel schlimmer als sonst.
- Möglichkeit B: Der Verkehr bleibt völlig unverändert.
Ein Computer, der nur nach strengen Logikregeln arbeitet, würde sagen: „Ich kann das nicht beweisen! Es könnte sein, aber es muss nicht." Aber ein Mensch denkt anders. Ein Mensch sagt: „Okay, Möglichkeit A ist sehr wahrscheinlich, aber nicht zu 100 %. Möglichkeit B ist eher unwahrscheinlich, aber vielleicht wurde das Wrack ja sofort weggeschleppt."
Das ist das Herzstück dieser neuen Studie: Wie urteilen Menschen über Dinge, die nicht sicher sind, und wie urteilen moderne KI-Modelle (wie die, die du hier liest) darüber?
Das Experiment: Die „Glücksrads"-Methode
Die Forscher haben ein neues Spiel entwickelt, das sie PROBCOPA nennen. Stell dir das wie ein riesiges Glücksrad vor, das nicht nur „Gewonnen" oder „Verloren" anzeigt, sondern jede Zahl dazwischen.
- Die Aufgabe: Sie nahmen 210 alltägliche Situationen (wie den Unfall oben) und fragten 25 bis 30 echte Menschen: „Wie wahrscheinlich ist es, dass X passiert?" Die Menschen mussten eine Zahl zwischen 0 (gar nicht) und 100 (zu 100 %) wählen.
- Das Ergebnis bei Menschen: Die Antworten waren wie ein buntes Gemisch. Bei manchen Dingen waren sich alle einig (z. B. „Wenn es regnet, wird der Boden nass" – fast alle sagten 95-100 %). Aber bei vielen Dingen gab es eine breite Streuung. Manche sagten 60 %, andere 75 %, wieder andere 40 %. Das zeigt: Menschen sind unsicher, aber diese Unsicherheit ist vielfältig und nuanciert. Wir alle haben ein leicht anderes Gefühl für die Wahrscheinlichkeit.
Der KI-Vergleich: Die sture Schüler
Dann ließen die Forscher acht der klügsten KI-Modelle der Welt (wie GPT-5, Gemini, Claude) dieselben Aufgaben lösen. Sie baten die KIs, genau wie die Menschen, eine Zahl zwischen 0 und 100 zu nennen.
Hier kam das große Problem ans Licht:
- Die KI ist ein Extremist: Die KIs mochten keine mittleren Zahlen. Sie schworen fast immer auf „Fast sicher" (90-95 %) oder „Fast unmöglich" (5-10 %). Die graue Zone, das „Vielleicht", war für sie ein No-Go.
- Die KI ist ein Einzelgänger: Wenn du die gleiche KI 30 Mal fragst, gibt sie dir fast immer die exakt gleiche Antwort. Sie hat keine „Stimmungsschwankungen". Ein Mensch hingegen könnte heute bei einer Frage 60 % sagen und morgen 70 %. Die KI ist wie ein Roboter, der immer denselben Takt schlägt, während Menschen wie ein Jazz-Orchester sind, das jedes Mal ein bisschen anders spielt.
- Die KI ist zu selbstbewusst: Die KIs waren sich ihrer Antworten so sicher, dass sie die menschliche Unsicherheit gar nicht nachahmen konnten. Sie sagten nicht: „Ich bin mir nicht sicher." Sie sagten: „Es ist zu 92 % so." – auch wenn die Menschen sich gar nicht einig waren.
Ein kreatives Bild: Der Koch und der Rezeptbuch-Computer
Stell dir vor, du fragst einen Koch (den Menschen) und einen Computer, der nur Kochbücher kennt (die KI), nach dem Geschmack einer neuen Suppe.
- Der Koch probiert die Suppe und sagt: „Hmm, das ist sehr würzig, aber vielleicht fehlt noch ein wenig Salz. Ich würde sagen, sie ist zu 80 % perfekt, aber je nachdem, wer sie isst, könnte sie auch nur 60 % sein." Er schmeckt die Nuancen.
- Der Computer öffnet sein riesiges Kochbuch, sucht nach „Würzige Suppe" und sagt: „Laut Rezept ist diese Suppe zu 99 % perfekt." Er ignoriert die kleinen Zweifel und die Tatsache, dass Geschmäcker variieren. Er gibt dir eine feste Zahl, aber keine echte Bandbreite an Meinungen.
Was die Forscher herausfanden
Die Studie zeigt, dass KI zwar in Mathe und Logik brillant ist, aber im Bereich des „menschlichen Raten" noch hinkt.
- Unsicherheit ist menschlich: Dass Menschen bei unsicheren Dingen unterschiedliche Antworten geben, ist kein Fehler. Es ist ein Zeichen von echtem Denken. Die KI vermisst diese Vielfalt.
- Die Denkwege der KI: Die Forscher haben sich angeschaut, wie die KI denkt (ihre „Gedankenketten"). Sie stellten fest, dass die KI oft länger nachdenkt, wenn die Menschen unsicher sind. Aber statt ihre Antwort zu variieren, wird sie nur noch selbstbewusster in ihrer Extremposition. Sie denkt mehr nach, um eine feste Antwort zu finden, statt die Bandbreite der Möglichkeiten zu akzeptieren.
- Der „Mittelwert"-Fehler: Wenn man die KI versucht, menschlicher zu machen (z. B. indem man ihr eine Persönlichkeit gibt oder sie öfter fragt), hilft das kaum. Sie bleibt stur.
Fazit: Warum das wichtig ist
Wir leben in einer Welt voller Unsicherheiten. Wir treffen Entscheidungen basierend auf „Vielleicht" und „Wahrscheinlich". Wenn wir KI-Modelle nutzen, die uns sagen, dass Dinge zu 99 % sicher sind, obwohl sie es gar nicht sind, können das gefährlich werden.
Diese Studie ist wie ein Spiegel: Sie zeigt uns, dass KI zwar sehr schlau ist, aber noch nicht gelernt hat, wie ein Mensch zu zweifeln und wie ein Mensch zu variieren. Sie ist wie ein Schüler, der alle Antworten auswendig gelernt hat, aber noch nicht verstanden hat, dass das Leben oft keine eindeutigen Antworten hat, sondern nur Graustufen.
Kurz gesagt: Menschen sind wie ein farbenfrohes Ölgemälde mit vielen Schattierungen. Die aktuelle KI ist wie ein Schwarz-Weiß-Foto mit extrem harten Kontrasten – sie sieht scharf aus, aber ihr fehlt die Tiefe der menschlichen Unsicherheit.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.