Cognitive World Models for Process-Level Social Influence Evaluation
Dieses Paper stellt CogWM vor, ein auf LLMs basierendes kognitives Weltmodell, das mittels einer neuartigen SaA-Annotationspipeline trainiert wurde, um Dialoge über sozialen Einfluss zu bewerten, indem die Entwicklung der internen kognitiven Zustände (Überzeugungen, Wünsche, Intentionen und Emotionen) der Nutzer verfolgt wird, anstatt sich auf oberflächliche Textmetriken zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen Freund, der versucht, Sie von etwas zu überzeugen, wie zum Beispiel dem Beginn eines neuen Hobbys, einer Spende an eine Wohltätigkeitsorganisation oder einfach nur dazu, sich nach einem schlechten Tag besser zu fühlen.
Die alte Art, Erfolg zu messen
Bis jetzt, wenn wir wissen wollten, ob ein Computerprogramm (eine KI) gut in diesen Gesprächen ist, nutzten wir zwei Hauptmethoden:
- Die „Grammatikpolizei“: Überprüfung, ob die Worte der KI flüssig klangen oder den Worten des Nutzers eng entsprachen (wie die Prüfung, ob zwei Sätze sich reimen).
- Die „Abschlussnote“: Einen Menschen oder einen intelligenten Computer bitten, dem gesamten Gespräch am Ende eine einzige Note zu geben, wie ein Lehrer, der eine Abschlussprüfung bewertet.
Das Problem: Diese Methoden verfehlen den Punkt. Ein Gespräch kann perfekt klingen und eine gute Note erhalten, aber der Nutzer fühlt sich am Ende vielleicht immer noch genau so (oder sogar schlechter) wie zuvor. Es ist wie bei einem Film mit einem perfekten Drehbuch und einem Happy End, bei dem die Hauptfigur aber nie etwas gelernt oder ihre Meinung geändert hat. Wir konnten nicht sehen, wie sich der Geist des Nutzers während des Chats veränderte.
Die neue Lösung: Das „Cognitive World Model“ (CogWM)
Die Forscher der Northwestern Polytechnical University und der Harbin Engineering University haben eine neue Art von KI entwickelt, die CogWM heißt. Betrachten Sie CogWM als einen „Gedankenleser-Simulator“.
Anstatt nur auf das zu hören, was der Nutzer sagt, versucht CogWM zu erraten, was der Nutzer im Inneren denkt und fühlt. Es verfolgt vier spezifische Dinge, die sie als BDI/E bezeichnen:
- Beliefs (Überzeugungen): Was der Nutzer für wahr hält (z. B. „Ich bin schlecht in Mathe“).
- Desires (Wünsche): Was der Nutzer will (z. B. „Ich möchte diese Klasse bestehen“).
- Intentions (Absichten): Was der Nutzer plant zu tun (z. B. „Ich werde 10 Minuten lang lernen“).
- Emotions (Emotionen): Wie der Nutzer sich gerade fühlt (z. B. „Ängstlich“ oder „Hoffnungsvoll“).
Wie es funktioniert (Die „Windkanal“-Analogie)
Die Autoren vergleichen CogWM mit einem Windkanal für Flugzeuge. Bevor Ingenieure ein echtes Flugzeug bauen, testen sie ein Modell in einem Windkanal, um zu sehen, wie der Wind dagegen drückt.
- Das Flugzeug: Der KI-Chatbot, der versucht, den Nutzer zu beeinflussen.
- Der Windkanal: CogWM.
- Die Luft: Das Gespräch.
Wenn Sie einen Chatbot testen, verbinden Sie ihn mit CogWM. CogWM übernimmt dabei die Rolle des Nutzers. Während der Chatbot spricht, aktualisiert CogWM seine interne „Bewertungskarte“ der Überzeugungen, Wünsche und Emotionen des Nutzers Zug um Zug.
Das Drei-Schichten-Zeugnis
Anstatt nur eine einzige Abschlussnote zu geben, erstellt CogWM einen detaillierten Bericht mit drei Ebenen:
- Die Zug-Ebene (Turn Level): Hat der Chatbot etwas gesagt, das für diesen spezifischen Moment sinnvoll war?
- Die Reise-Ebene (Journey Level): Hat sich der interne Zustand des Nutzers über die Zeit in eine gute Richtung bewegt? (z. B. Ging seine Angst zurück? Stieg sein Glaube an „Ich kann das schaffen“?)
- Die Ziel-Ebene (Goal Level): Hat das Gespräch tatsächlich das gewünschte Ergebnis erzielt (wie etwa eine Spende zu tätigen oder sich besser zu fühlen)?
Was sie herausgefunden haben
- Besser als die Experten: Sie haben CogWM mit über 150.000 Gesprächsfragmenten trainiert. Als sie es gegen andere Top-KI-Modelle testeten, war CogWM viel besser darin, die internen Gefühle und Gedanken des Nutzers zu erraten (etwa 2-mal genauer als die besten existierenden Modelle).
- Die „falsche“ vs. die „echte“ Veränderung: Sie testeten sechs berühmte KI-Chatbots. Einige Chatbots waren sehr gut darin, ein „Gutes Ergebnis“ zu erzielen (wie z. B. einen Nutzer dazu zu bringen, „Ja, ich werde spenden“ zu sagen). Aber als sie sich die Reise ansah, stellten sie fest, dass einige Chatbots den Nutzer einfach nur unter Druck gesetzt haben, damit er „Ja“ sagt, ohne dass sich seine Meinung wirklich geändert hatte.
- Analogie: Ein Chatbot war wie ein Sprinter (erzielte ein schnelles Ergebnis, aber der Geist des Nutzers änderte sich nicht wirklich). Ein anderer war wie ein stetiger Wanderer (der den Geist des Nutzers langsam an einen besseren Ort führte).
- Die „Black Box“ ist offen: Mit CogWM können wir endlich sehen, war Warum ein Chatbot funktionierte oder scheiterte. Wir können genau sehen, welcher Zug des Gesprächs dazu führte, dass der Nutzer hoffnungsvoll wurde, oder welcher Zug dazu führte, dass er sich unter Druck gesetzt fühlte.
Kurz gesagt
Dieses Paper führt ein Werkzeug ein, das Gespräche nicht mehr nur nach ihrer „Abschlussnote“ beurteilt, sondern nach der Geschichte, wie sich der Geist des Nutzers verändert hat. Es macht den unsichtbaren Prozess der „Beeinflussung“ zu einer sichtbaren, messbaren Landkarte und zeigt uns, welche KI-Assistenten wirklich hilfreich sind und welche nur gut darin sind, zu reden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.