Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
Dieses Paper führt SNIC ein, ein durch Menschen validiertes Testbed zur Evaluierung von Large Language Models bei der normbasierten Referenzauflösung, welches aufzeigt, dass selbst State-of-the-Art-Modelle Schwierigkeiten haben, implizite soziale Normen konsistent zu identifizieren und anzuwenden, die für situierte, verkörperte Interaktionen essenziell sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie befinden sich in einer belebten Küche mit einem Freund. Sie fragen: „Kannst du mir einen Becher reichen?“ Es stehen drei Becher auf der Arbeitsplatte: einer ist blitzblank sauber, und zwei sind mit getrockneten Kaffeeflecken bedeckt.
Wenn Sie ein Mensch wären, wüssten Sie sofort, dass Ihr Freund Ihnen den sauberen Becher reichen wird. Sie müssen nicht sagen: „den sauberen“, denn Sie teilen beide eine ungeschriebene Regel: Trink nicht aus dem schmutzigen Becher eines anderen. Diese unsichtbare Regel ist eine soziale Norm.
Dieses Paper mit dem Titel „Where Norms and References Collide“ stellt eine einfache, aber knifflige Frage: Können moderne KI-Systeme (speziell Large Language Models oder LLMs) herausfinden, welchen Becher Sie meinen, ohne dass man es ihnen explizit sagt?
Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einiger alltäglicher Analogien:
Das Problem: Der „blinde Fleck“ der KI
Betrachten Sie ein LLM als einen sehr klugen Studenten, der fast jedes Buch in der Bibliothek gelesen hat. Er ist großartig darin, Trivia-Fragen zu beantworten und Logikrätsel zu lösen. Er hat jedoch noch nie wirklich in einer Küche, einer Bibliothek oder einem Restaurant gelebt. Er weiß, was ein „Becher“ ist, aber er hat nicht die subtilen, ungeschriebenen Regeln gelernt, wie Menschen sich an diesen Orten verhalten.
Die Forscher nennen diese fehlende Fähigkeit Norm-Based Reference Resolution (NBRR). Es ist die Fähigkeit, eine unordentliche Szene zu betrachten, die „soziale Grammatik“ (die Verhaltensregeln) zu verstehen und zu erraten, worauf jemand zeigt.
Das Experiment: Den „Norm-Fallstrick“ bauen
Um dies zu testen, erstellte das Team einen Datensatz namens SNIC (Situated Norms in Context).
- Der Aufbau: Sie erstellten 9.000 kleine Geschichten (Vignetten), die alltägliche Aufgaben wie Putzen, Servieren von Speisen oder Aufräumen beinhalteten.
- Der Fallstrick: In jeder Geschichte stellten sie eine Frage, die scheinbar mehrdeutig war. Zum Beispiel: „Nimm den Teller auf.“
- Szenario A: Der Raum wird gereinigt. Die KI sollte den schmutzigen Teller aufnehmen.
- Szenario B: Der Raum wird bewirtet. Die KI sollte den sauberen Teller aufnehmen.
- Der Human-Test: Bevor sie der KI vertrauten, ließen sie 210 echte Menschen diese Rätsel lösen. Die Menschen waren sich größtenteils über die „normative“ Antwort einig (z. B. „Nimm den schmutzigen, weil wir gerade putzen“), was bewies, dass die Regeln für Menschen klar waren.
Die Ergebnisse: Die KI verirrt sich ohne Landkarte
Die Forscher testeten mehrere Top-KI-Modelle (wie GPT-4, Llama und Phi) an diesen 9.000 Geschichten. Die Ergebnisse waren wie die Beobachtung eines GPS, das versucht, eine Stadt zu navigieren, die es noch nie besucht hat:
- Das Scheitern beim „Rate-Spiel“: Wenn die KI nur die Geschichte erhielt und gefragt wurde, das richtige Objekt auszuwählen, hatte sie Schwierigkeiten. Sie traf seltener als die Hälfte der Zeit die richtige Antwort. Oft konnte sie nicht zwischen einer „Reinigungsaufgabe“ und einer „Servieraufgabe“ unterscheiden, weil sie nicht die Norm hinter der Aufgabe verstand.
- Die Sackgasse der „formalen Sprache“: Die Forscher versuchten, der KI eine superpräzise, mathematische Beschreibung der Szene zu geben (unter Verwendung einer Codersprache namens Prolog), um jegliche Mehrdeutigkeit zu beseitigen. Überraschenderweise half das kaum. Es ist, als würde man einem Fahrer eine perfekte Karte geben, aber sagen: „Du kennst trotzdem die Verkehrsregeln nicht.“ Die KI kannte die Fakten, aber sie kannte immer noch nicht die Regeln des Straßenverkehrs.
- Der Erfolg durch das „Spickzettel“-Prinhen: Als die Forscher der KI explizit eine Liste der Regeln gaben, denen sie folgen sollte (z. B. „Regel: Bei einer Reinigungsaufgabe nimm schmutzige Gegenstände auf“), stieg die Leistung der KI sprunghaft an. Plötzlich lieferte sie die richtigen Antworten.
Das große Fazleit
Das Paper kommt zu dem Schluss, dass aktuelle KI-Modelle wie exzellente Enzyklopädien, aber schlechte Nachbarn sind.
- Sie wissen, was ein Becher ist.
- Sie wissen, was Putzen ist.
- Aber sie wissen nicht von Natur aus, wie Menschen Becher in einem sozialen Kontext verwenden, sofern man ihnen die Regel nicht explizit nennt.
Die Autoren argumentieren, dass dies ein „blinder Fleck“ ist. KI-Modelle werden auf Text trainiert, aber soziale Normen sind oft implizit (niemals aufgeschrieben) und physisch verankert (an reale Objekte und Handlungen gebunden). Da diese Regeln nicht immer klar in Büchern stehen, übersieht die KI sie.
Warum das wichtig ist (laut dem Paper)
Das Paper legt nahe, dass wir, wenn wir wollen, dass Roboter oder KI-Assistenten in echten Häusern oder Büros arbeiten, diese unsichtbaren sozialen Regeln lernen müssen. Derzeit könnten sie Ihnen einen schmutzigen Becher reichen, wenn Sie nach einem Getränk fragen – nicht weil sie „dumm“ sind, sondern weil sie den ungeschriebenen sozialen Vertrag nicht gelernt haben, der besagt: „Das machen wir nicht.“
Kurz gesagt: Das Paper entwickelte einen Test, um zu sehen, ob KI die „ungeschriebenen Regeln“ des täglichen Lebens versteht. Es stellte fest, dass die KI zwar intelligent ist, aber derzeit schlecht darin ist, zu erraten, was wir meinen, wenn wir uns auf diese ungeschriebenen Regeln verlassen – es sei denn, man erklärt ihr die Regeln zuerst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.