Benchmarking Large Language Model Rationality Using Measurement Axioms
Dieses Paper führt einen auf Nutzenaxiomen basierendenen, maßtheoretischen Rahmen zur Bewertung der Rationalität von Large Language Models ein und zeigt auf, dass viele Modelle systematische Verletzungen der Präferenztransitivität aufweisen, welche die Entscheidungskohärenz untergraben, selbst wenn einige Muster menschliches Verhalten widerspiegeln.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Assistenten ein, der Ihnen helfen soll, wichtige Entscheidungen zu treffen, wie etwa die Wahl zwischen verschiedenen Investitionsplänen oder medizinischen Behandlungen. Sie wollen nicht nur einen Assistenten, der bei einem Test das „richtige“ Ergebnis liefert; Sie wollen einen, der konsistent ist. Wenn er sagt, dass Plan A besser als Plan B ist und Plan B besser als Plan C, sollte er logischerweise auch zu dem Schluss kommen, dass Plan A besser als Plan C ist. Wenn er seine Meinung ändert, je nachdem, wie man ihn fragt oder was er zu Mittag gegessen hat, ist er kein zuverlässiger Entscheidungsträger.
Dieses Paper ist wie ein strenger „Logiktest“ für 20 verschiedene Large Language Models (LLMs) – die KI-Gehirne hinter Tools wie Chatbots. Anstatt zu fragen: „Hast du die Mathematik richtig gemacht?“, fragten die Forscher: „Sind deine Entscheidungen logisch konsistent?“
Hier ist die Aufschlüsselung ihres Experiments unter Verwendung einfacher Analogien:
1. Der Test: Das „Schere-Stein-Papier“ der Logik
In der realen Welt erwarten wir, dass Entscheidungen transitiv sind. Wenn Sie Äpfel gegenüber Bananen bevorzugen und Bananen gegenüber Kirschen, sollten Sie Ämpfel gegenüber Kirschen bevorzugen. Wenn Sie plötzlich Kirschen gegenüber Äpfeln bevorzugen, ist Ihre Präferenz „intransitiv“ (defekt).
Die Forscher bauten ein Spiel auf, bei dem die KI zwischen verschiedenen „Glücksspiel“-Tickets wählen musste. Jedes Ticket hatte eine Chance, Geld zu gewinnen.
- Ticket A: 7/24 Chance auf 5,00 $.
- Ticket B: 8/24 Chance auf 4,75 $.
- Ticket C: 9/24 Chance auf 4,50 $.
Sie baten die KI, diese Tickets in jeder möglichen Kombination zu vergleichen. Wenn die KI rational handelt, sollten ihre Entscheidungen eine gerade Linie bilden. Wenn sie eine Schleife erzeugt (A > B > C > A), hat sie den Logiktest nicht bestanden.
2. Die drei Wege, wie sie versuchten, die KI zu „brechen“
Die Forscher stellten die Fragen nicht einfach nur einmal. Sie versuchten, die Logik der KI zu „brechen“, indem sie drei Dinge änderten, so wie ein Wissenschaftler ein Rezept leicht verändert, um zu sehen, ob der Kuchen zusammenbricht:
Der „Temperatur“-Regler (Zufälligkeit):
Stellen Sie sich die KI als Koch vor. Bei einer „niedrigen Temperatur“ ist der Koch streng und folgt exakt dem Rezept. Bei einer „hoen Temperatut“ wird der Koch kreativ und fügt zufällige Gewürze hinzu. Die Forscher drehten diesen Regler von sehr streng bis hin zu sehr chaotisch. Sie wollten sehen, ob das „kreativer“ machen der KI ihre Logik zusammenbrechen lässt.- Das Ergebnis: Überraschenderweise machte das kreativer Machen der KI (höhere Temperatur) ihre Logik beim einfachsten Test sogar besser, aber das lag wahrscheinlich nur daran, dass sie anfing, zufällig zu raten (wie beim Münzwurf), was zufällig den Regeln des Tests entsprach. Das bedeutete nicht, dass die KI tatsächlich klarer dachte.
Das „Gedächtnis“-Spiel:
Stellen Sie sich vor, Sie machen einen Test. In einer Version absolvieren Sie jede Frage isoliert. In der anderen Version wird Ihnen gesagt: „Denken Sie daran, Sie haben für die letzten 10 Fragen Option A gewählt; wählen Sie jetzt erneut.“- Das Ergebnis: Der KI ein „Gedächtnis“ ihrer vergangenen Entscheidungen zu geben, verschlechterte die Leistung. Anstatt konsistenter zu werden, wurde die KI verwirrt. Ihre Logik wurde wackelig, und sie änderte ihre Meinung häufiger, je nachdem, in welcher Reihenfolge die Fragen gestellt wurden.
Der „Formulierungs“-Trick:
Sie stellten exakt dieselbe Frage, änderten aber, wie die Zahlen aussah.- Version 1: „7/24 Chance“ (ein Bruch).
- Version 2: „29,17 % Chance“ (ein Prozentsatz).
- Das Ergebnis: Die Logik der KI änderte sich, nur weil die Zahlen anders aussah. Wenn die KI wirklich rational wäre, müsste 7/24 und 29,17 % exakt gleich behandelt werden. Die Tatsache, dass die KI sie unterschiedlich behandelte, zeigt, dass ihr „Gehirn“ empfindlich auf das äußere Erscheinungsbild der Daten reagiert und nicht auf die zugrunde liegende Wahrheit.
3. Der „menschliche“ Fehler
Hier ist der faszinierendste Teil. Als die KI den Logiktest misslang, tat sie dies nicht zufällig. Sie scheiterte auf eine ganz spezifische Weise, die auch Menschen oft tun.
Vor Jahrzehnten fanden Psychologen heraus, dass Menschen oft eine „Abkürzungs“-Regel nutzen: „Wenn der Unterschied in der Gewinnchance winzig ist, nehme ich einfach das mit dem meisten Geld. Aber wenn der Unterschied in der Gewinnchance groß ist, nehme ich das Sicherere.“ Diese Abkürzung führt Menschen zu unlogischen Schleifen.
Die KI-Modelle machten nicht einfach zufällige Fehler; sie imitierten genau diese spezifische menschliche Abkürzung. Sie taten dies jedoch viel häufiger als echte Menschen es tun würden. Es ist, als ob die KI versucht, menschlich zu sein, dabei aber die „menschliche Fehlbarkeit“ übertreibt.
4. Das große Fazrazit
Das Paper kommt zu dem Schluss, dass diese KI-Modelle zwar großartig darin sind, Texte zu generieren und Trivia-Fragen zu beantworten, sie aber kein stabiles, internes „Wertesystem“ besitzen, wie es ein rationaler Mensch oder ein perfektes Computerprogramm hätte.
- Sie sind keine „rationalen Agenten“ im strengen Sinne.
- Ihre Entscheidungen hängen stark davon ab, wie man die Frage stellt, wie „zufällig“ man sie sein lassen möchte und ob sie sich an das erinnern, was sie gerade eben gesagt haben.
- Wenn Sie sich darauf verlassen, dass eine KI eine Reihe verbundener Entscheidungen trifft (wie ein Arzt, der einen Patienten Schritt für Schritt diagnostiziert), können Sie nicht darauf vertrauen, dass ihre Logik von Schritt eins bis Schritt zehn Bestand hat.
Kurz gesagt: Die KI ist ein brillanter Nachahmer, der sehr klug klingen kann, aber wenn man sie mit einem Logikstock kitzelt, wackelt sie. Sie besitzt keine feste, unveränderliche Überzeugung; sie reagiert lediglich auf die unmittelbare Form der Fragestellung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.