Tracing the ongoing emergence of human-like reasoning in Large Language Models
Dieser Artikel zeigt, dass Large Language Models zwar eine hohe Genauigkeit bei der semantischen Logik aufweisen, jedoch im Allgemeinen nicht in der Lage sind, das pragmatische Schlussfolgern nachzubilden, das es Menschen ermöglicht, konditionale Aussagen mit kontextabhängigen Bedeutungen anzureichern, eine Fähigkeit, die unabhängig von Modellarchitektur oder Trainingsausrichtung eine sich erst entwickelnde Kompetenz bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, menschliche Gespräche zu verstehen. Sie möchten wissen, ob der Roboter nur ein superschnelles Wörterbuch ist, das die Definitionen von Wörtern kennt, oder ob er die „ungeschriebenen Regeln" des menschlichen Sprechens und Denkens wirklich verinnerlicht hat.
Dieser Artikel ist wie ein Zeugnis für 25 verschiedene KI-Modelle (Large Language Models, oder LLMs) bei einem spezifischen Test menschlicher Denkweise. Hier ist die Aufschlüsselung der Ergebnisse, dargestellt mit einfachen Analogien.
Der Test: Das „Wenn"-Spiel
Die Forscher nutzten ein klassisches Logikrätsel mit „Wenn"-Sätzen. In menschlichen Gesprächen können „Wenn"-Sätze je nach Situation zwei sehr unterschiedliche Bedeutungen haben.
- Das „Abkommen" (Standard-Konditional):
- Beispiel: „Wenn du den Rasen mäht, gebe ich dir 50 Dollar."
- Menschliche Logik: Wir verstehen dies als striktes Abkommen. Du bekommst das Geld nur, wenn du den Rasen mähst. Wenn du ihn nicht mähst, bekommst du nichts. Wir fügen eine versteckte Regel hinzu: „Kein Mähen = Kein Geld."
- Die „Hinweis"-Meldung (Biscuit-Konditional):
- Beispiel: „Wenn du hungrig bist, gibt es Pizza im Ofen."
- Menschliche Logik: Wir verstehen dies als hilfreichen Tipp. Die Pizza ist da, unabhängig davon, ob du hungrig bist oder nicht. Das „Wenn" ist keine Bedingung für das Vorhandensein der Pizza; es ist nur eine Art zu prüfen, ob du sie brauchst.
Die Herausforderung: Die Forscher baten Menschen und die KI-Modelle zu beurteilen, ob der zweite Teil des Satzes (die Konsequenz) in kniffligen Situationen wahr ist.
- Szenario: Du hast den Rasen nicht gemäht. Hast du das Geld bekommen? (Menschen sagen „Nein", wegen des Abkommens).
- Szenario: Du bist nicht hungrig. Gibt es Pizza im Ofen? (Menschen sagen „Ja", weil die Pizza sowieso da ist).
Die Ergebnisse: Das „Wörtliche" vs. das „Flexible"
Die Studie ergab eine klare Trennung zwischen der Art und Weise, wie Menschen und KI diese Tests bewältigten.
1. Menschen sind „Kontext-Detektive"
Menschen sind hervorragend darin, zwischen den Zeilen zu lesen. Wir wissen, dass ein Versprechen über das Mähen des Rasens ein striktes Abkommen ist, aber ein Kommentar über Pizza nur eine hilfreiche Tatsache ist. Wir passen unser Verständnis automatisch an die Situation an.
2. Die KI-Modelle sind „Wörtliche Roboter"
Die KI-Modelle versagten im Allgemeinen darin, sich wie menschliche Detektive zu verhalten. Sie fielen in zwei Hauptfallen:
- Fall A: Der „Strenge Buchhalter"
Einige Modelle verhielten sich wie ein starres Computerprogramm. Sie betrachteten den Satz „Wenn du den Rasen mähst, bezahle ich dich" und sagten: „Okay, logisch betrachtet ist die Aussage technisch immer noch wahr, wenn du ihn nicht gemäht hast, weil die Bedingung nicht erfüllt wurde." Sie übersahen das implizierte Abkommen. Sie waren so sehr auf die strikte Logik fokussiert, dass sie die menschliche Bedeutung ignorierten. - Fall B: Der „Überkorrekteur"
Andere Modelle versuchten, zu klug zu sein. Sie entschieden, dass jeder „Wenn"-Satz ein striktes Abkommen ist. Also dachten sie, als sie „Wenn du hungrig bist, gibt es Pizza" hörten: „Ah, also wenn du nicht hungrig bist, gibt es KEINE Pizza." Sie wandelten die Regel des „Rasenmähens" auf den Pizzasatz an, was falsch ist.
Das Fazit: Die KI-Modelle sind hervorragend darin, die Wörterbuchdefinition von „Wenn" zu kennen (die Logik), aber sie sind schrecklich darin, den sozialen Kontext (die Pragmatik) zu verstehen. Sie sind wie Schauspieler, die das Drehbuch perfekt auswendig gelernt haben, aber die Gefühle der Figur nicht verstehen.
Hat der „Typ" der KI eine Rolle gespielt?
Die Forscher fragten sich, ob die „Persönlichkeit" oder der „Aufbau" der KI die Ergebnisse verändern würde. Sie prüften:
- Open vs. Closed Source: Haben Modelle mit öffentlichem Code (Open) besser abgeschnitten als geheime (Closed)? Nein.
- Spezialisiert vs. Allgemein: Haben Modelle, die speziell für „Denken" entwickelt wurden, besser abgeschnitten als allgemeine Chatbots? Nein.
- Architektur: Haben Modelle mit einem spezifischen internen Design (Mixture-of-Experts) besser abgeschnitten als Standardmodelle? Nein.
Es war wie der Test verschiedener Automarken, um herauszufinden, welche auf Eis besser fährt. Überraschenderweise spielte es keine Rolle, ob es ein Ferrari oder ein Toyota war; alle rutschten auf die gleiche Weise aus. Die Fähigkeit, diese „ungeschriebenen Regeln" zu verstehen, war nichts, das automatisch aus einem größeren oder komplexeren Modell entstand. Es schien eine spezifische, aufkommende Fähigkeit zu sein, die einige Modelle zufällig hatten und andere nicht, aber man konnte sie nicht vorhersagen, indem man nur die Spezifikationen des Modells betrachtete.
Der „Dekontextualisierungs-Bias"**
Die Autoren nennen dieses Problem einen „Dekontextualisierungs-Bias".
Stellen Sie sich einen Schüler vor, der großartig in Matheaufgaben auf einem Arbeitsblatt ist, aber scheitert, wenn Sie ihn bitten, Mathe zu nutzen, um eine Dinner-Rechnung mit Freunden aufzuteilen. Die KI ist der Schüler, der die Mathematik kennt (die Logik), aber nicht gelernt hat, wie man sie auf das echte Leben anwendet (den Kontext). Da die KI auf Text trainiert wurde, aber nicht tatsächlich in der realen Welt lebt, hat sie Schwierigkeiten zu verstehen, dass „Wenn" manchmal ein Abkommen bedeutet und manchmal nur „Übrigens" bedeutet.
Zusammenfassung
- Menschen wechseln natürlich zwischen strikter Logik und sozialem Kontext.
- KI neigt dazu, an einer starren Regel festzuhalten (entweder immer strikt oder immer locker) und übersieht die Nuancen.
- Die Ursache: Es geht nicht um die Größe des Modells oder darum, ob es „Open Source" ist. Es ist, dass KI derzeit die „Verankerung in der realen Welt" fehlt, die Menschen hilft, den Unterschied zwischen einem Versprechen und einem Ratschlag zu verstehen.
Die Studie kommt zu dem Schluss, dass KI zwar besser im logischen Denken wird, aber die „menschähnliche" Fähigkeit, die Stimmung im Raum zu lesen und implizierte Bedeutungen zu verstehen, noch immer in Arbeit ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.