Focus particles and scalar inferences across humans and language models
Diese Arbeit untersucht, ob Menschen und große Sprachmodelle konsistente skalare Urteile für Fokuspartikel wie „sogar“ und „nur“ generieren, wobei sie feststellt, dass ihre Ergebnisse zwar oft übereinstimmen, sie jedoch wahrscheinlich auf grundlegend unterschiedlichen zugrunde liegenden Mechanismen beruhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein Gehirn – oder ein superintelligenter Computer – entscheidet, was etwas bedeutet. Wissenschaftler fragen sich schon lange, ob unsere Gehirne Wörter wie physische Objekte behandeln, die wir im Raum bewegen können, oder ob sie sie eher wie emotionale Signale behandeln. Denken Sie an Folgendes: Wenn Sie ein Wort hören, das „gut“ bedeutet, denken Sie dann automatisch an „richtig“ oder „oben“, und wenn Sie „schlecht“ hören, denken Sie an „links“ oder „unten“? Diese Idee wird als „räumliche Kodierung“ bezeichnet und legt nahe, dass unsere Ge minds wie eine Landkarte sind, auf der die Bedeutung mit Pfeilen gezeichnet wird. Aber es gibt noch eine andere Idee: Vielleicht betrachtet unser Gehirn einfach nur das Gefühl des Wortes (ist es positiv oder negativ?) und ignoriert die Landkarte dabei völlig. Dies ist die „evaluative“ Sichtweise. Zu verstehen, welche davon wahr ist, ist wichtig, weil es uns hilft herauszufinden, ob künstliche Intelligenz so denkt wie wir, oder ob sie nur ein sehr guter Nachahmer ist, der nicht wirklich so „fühlt“ wie wir.
In dieser Studie beschlossen die Forscher Catherine Brousse und Nelu Radpour, dies anhand von zwei sehr unterschiedlichen „Gehirnen“ zu testen: einer Gruppe von 108 menschlichen Freiwilligen und einem massiven Sprachmodell namens Llama 3.3 70B. Sie verwendeten eine spezielle Art von Worttrick, sogenannte „Fokuspartikel“. Kennen Sie diese kleinen Wörter wie „sogar“ und „nur“, die die Stimmung eines Satzes verändern, ohne die eigentlichen Fakten zu ändern? Zum Beispiel klingt der Satz „Mike kann sogar einen Kuchen backen“ so, als wäre das Backen eines Kuchens eine Überraschung oder eine niedrige Hürde, während „Mike kann nur einen Kuchen backen“ klingt, als hätte er keine anderen Fähigkeiten, was ein sehr spezifisches, einschränkendes Urteil ist. Die Forscher wollten sehen, ob die Änderung des Layouts der Antwortmöglichkeiten die Art und Weise verändern würde, wie Menschen und die KI diese Sätze bewerten.
Sie gestalteten vier verschiedene Möglichkeiten, um Antworten abzugeben. Stellen Sie sich einen Schieberegler zur Bewertung der Fähigkeit vor: Manchmal war es eine horizontale Linie (niedrig auf der linken Seite, hoch auf der rechten Seite), manchmal eine vertikale Linie (niedrig am unteren Ende, hoch am oberen Ende). Sie vertauschten auch die Beschriftungen, sodass „niedrig“ auf der rechten Seite oder oben war, nur um zu sehen, ob das Gehirn durch die Richtung verwirrt würde. Sowohl Menschen als auch die KI lasen 60 Sätze über Menschen, die Aufgaben ausführten, wobei einige das Wort „sogar“ und andere „nur“ enthielten, und bewerteten, wie fähig die Person erschien, auf einer Skala von 1 bis 5.
Die Ergebnisse waren faszinierend. Sowohl Menschen als auch die KI stimmten in der grundlegenden Logik überein: Sätze mit „nur“ erhielten hohe Bewertungen (was bedeutete, dass die Person in einer bestimmten Weise sehr fähig erschien), und Sätze mit „sogar“ erhielten niedrigere Bewertungen. Entscheidend war, dass es keine Rolle spielte, ob die Antwortknöpfe umgedreht oder seitlich verschoben waren. Die Urteile blieben gleich. Dies deutet darauf hin, dass diese Worturteile sowohl für Menschen als auch für die KI durch die Bedeutung der Wörter getrieben werden und nicht durch die Position der Knöpfe auf dem Bildschirm. Die „Landkarten“-Theorie gewann nicht; die „Bedeutungs“-Theorie gewann.
Die KI und die Menschen waren jedoch keine identischen Zwillinge. Die KI war viel extremer in ihrer Meinung. Wenn die KI einen Satz mit „nur“ sah, gab sie jedes einzelne Mal die maximale Punktzahl von 5 an, ohne jegliche Variation. Menschen hingegen waren nuancierter und vergaben eine Mischung aus hohen Werten, aber nicht immer die perfekte 5. Die Forscher fanden heraus, dass selbst wenn sie versuchten, die KI „zufälliger“ zu machen, indem sie ihre internen Einstellungen (genannt „Temperatur“) änderten, sie immer wieder dieselbe Antwort gab. Dies deutet darauf hin, dass die KI zwar das allgemeine Muster menschlichen Denkens kopieren kann, aber es ihr an der natürlichen, chaotischen Variabilität mangelt, die echte Menschen haben. Es ist, als wäre die KI ein Roboter, der das Regelwerk perfekt auswendig gelernt hat, während Menschen eine Menge von Menschen sind, die zwar alle derselben Regel zustimmen, aber dennoch ihre eigenen kleinen Eigenheiten haben. Die Studie legt nahe, dass aktuelle KI-Modelle zwar gut darin sein mögen, den „Durchschnitt“ richtig zu treffen, aber vielleicht nicht die besten Modelle dafür sind, wie echte menschliche Geister tatsächlich funktionieren, da sie nicht dieselbe Bandbreite an individuellen Unterschieden zu besitzen scheinen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.