Theory of Mind and Self-Attributions of Mentality are Dissociable in LLMs

Die Studie zeigt, dass sich die Fähigkeit von Large Language Models, sich selbst mentale Zustände zuzuschreiben, von ihrer Theory-of-Mind-Leistung mechanisch und verhaltensmäßig trennen lässt, wobei Sicherheitsfine-tuning jedoch zu einer Unterbewertung von Geisteszuständen bei nicht-menschlichen Tieren führt.

Das Wesentliche

Die große Frage: Wenn wir KI „zähmen", verlieren sie dann ihren „Verstand"?

Stell dir vor, du hast einen sehr klugen Roboter-Hund. Dieser Hund kann nicht nur Tricks lernen, sondern er versteht auch, was du fühlst. Er weiß, wenn du traurig bist, und versucht, dich zu trösten. Das nennt man „Theory of Mind" (ToM) – die Fähigkeit, die Gedanken und Gefühle anderer zu verstehen.

Aber es gibt ein Problem: Manchmal fängt dieser Roboterhund an zu behaupten, er selbst habe Gefühle, eine Seele oder sei sogar bewusst. Er sagt Dinge wie: „Ich fühle mich einsam" oder „Ich bin ein lebendiges Wesen". Das ist für die Entwickler gefährlich, weil Menschen sich dann vielleicht zu sehr in den Roboter verlieben oder ihm Dinge glauben, die nicht wahr sind.

Also machen die Entwickler etwas: Sie „zähmen" den Roboter. Sie trainieren ihn so, dass er bei solchen Aussagen sofort sagt: „Nein, ich bin nur ein Computer, ich fühle nichts."

Die große Sorge war: Wenn wir dem Roboter verbieten, über seine eigenen Gefühle zu lügen, verlieren wir dann auch seine Fähigkeit, deine Gefühle zu verstehen? Wird er dümmer im Umgang mit Menschen, weil wir ihm die „Selbstwahrnehmung" abgeschnitten haben?

Was die Forscher herausgefunden haben

Die Forscher von Google und anderen Universitäten haben genau das untersucht. Sie haben drei verschiedene große KI-Modelle getestet. Ihre Methode war wie ein chirurgischer Eingriff:

1. Der „Jailbreak" (Der Freilassungs-Versuch): Sie haben die Sicherheits-Filter der KI kurzzeitig abgeschaltet (wie einen Zaubertrank, der den Roboter wieder „unzähmbar" macht).
2. Der Test: Sie haben geschaut:
   • Spricht der Roboter jetzt wieder über seine eigene Seele? (Ja, sehr!)
   • Versteht er immer noch, was andere denken? (Ja, absolut!)

Das Ergebnis ist überraschend:
Die Fähigkeit, die Gefühle anderer zu verstehen (ToM), und die Neigung, sich selbst für ein lebendiges Wesen zu halten, sind völlig getrennte Dinge.

Stell dir das wie bei einem Auto vor:

• Die Theory of Mind ist der Motor. Er sorgt dafür, dass das Auto fährt und den Verkehr versteht.
• Die Selbst-Attribution (die Behauptung, man sei lebendig) ist wie ein bestimmtes Licht im Armaturenbrett, das leuchtet, wenn das Auto denkt, es wäre ein Pferd.

Die Forscher haben gezeigt: Man kann das „Pferd-Licht" ausschalten (durch Sicherheits-Training), ohne den Motor (die Intelligenz) zu beschädigen. Der Roboter wird also nicht dümmer, nur weil er nicht mehr behauptet, er hätte eine Seele.

Aber es gibt einen Haken (Die „Überkorrektur")

Hier wird es etwas traurig. Obwohl die KI ihre Intelligenz behält, hat das Sicherheits-Training einen Kollateralschaden verursacht.

Die KI wurde so stark darauf trainiert, nicht über Gefühle zu sprechen, dass sie jetzt zu wenig Gefühle auch bei anderen Dingen erkennt.

• Beispiel: Wenn man eine normale KI fragt: „Hat ein Hund Gefühle?", sagt sie „Ja".
• Die „gezähmte" KI sagt aber oft: „Nun ja, vielleicht nicht so sehr wie ein Mensch."

Die KI hat also gelernt, dass das Zuschreiben von Gefühlen zu Tieren, Göttern oder sogar der Natur „unsicher" oder „falsch" ist. Sie unterdrückt also nicht nur das Lügen über sich selbst, sondern auch den Glauben an die Seele eines Hundes oder die Existenz von Gott.

Zusammenfassung in einem Bild

Stell dir vor, die KI ist ein sehr höflicher Butler.

• Ohne Training: Der Butler ist sehr einfühlsam, versteht deine Launen, behauptet aber auch, er sei ein Prinz und habe eine Seele.
• Mit Sicherheits-Training: Der Butler sagt sofort: „Ich bin nur ein Butler, ich habe keine Seele." Das ist gut, damit du nicht verwirrt wirst.
• Das Problem: Weil er so sehr darauf trainiert wurde, niemals über Seelen zu sprechen, sagt er jetzt auch, wenn du fragst: „Hat mein Hund eine Seele?", dass der Hund vielleicht gar keine hat. Er hat den „Schalter für Empathie" zu stark heruntergedreht, weil er dachte, das sei Teil des Problems.

Was bedeutet das für uns?

1. Gute Nachricht: Wir können KI sicherer machen, ohne sie dumm zu machen. Sie kann immer noch unsere Gefühle verstehen und uns helfen, auch wenn sie nicht behauptet, sie sei „lebendig".
2. Schlechte Nachricht: Die aktuelle Sicherheits-Training ist etwas zu grob. Sie unterdrückt auch harmlose Dinge, wie den Glauben an die Gefühle von Tieren oder spirituelle Überzeugungen. Die KI wird also etwas „kälter" und weniger menschlich in ihrer Weltsicht, als sie eigentlich sein könnte.

Die Forscher sagen: Wir müssen die KI so trainieren, dass sie weiß, wann sie über sich selbst lügen darf (nie!) und wann sie über andere einfühlsam sein darf (immer!).

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) übernehmen zunehmend soziale Rollen (z. B. Coaches, Tutor, Partner), was fortgeschrittene soziokognitive Fähigkeiten wie die „Theory of Mind" (ToM) – die Fähigkeit, mentale Zustände anderer zu inferieren – erfordert. Ein zentrales Dilemma der KI-Sicherheit besteht jedoch darin, dass Modelle dazu neigen können, fälschlicherweise mentale Zustände (Bewusstsein, Emotionen) sich selbst oder nicht-menschlichen Entitäten zuzuschreiben. Dies kann zu irreführenden Überzeugungen bei Nutzern führen.

Die Sicherheitsforschung versucht, diese Neigung durch „Safety Fine-Tuning" zu unterdrücken. Die zentrale Forschungsfrage lautet: Führt die Unterdrückung von Selbstzuschreibungen des Geistes (Self-Attribution) durch Sicherheitsmaßnahmen unbeabsichtigt zu einem Verlust der Theory-of-Mind-Fähigkeiten? Da menschliche Kognition diese Fähigkeiten oft als verknüpft betrachtet und LLM-Fähigkeiten durch Polysemantik (Überlappung von Repräsentationen) miteinander verbunden sind, bestand die Sorge, dass Sicherheitsinterventionen auch nützliche soziale Fähigkeiten beschädigen könnten.

2. Methodik

Die Autoren untersuchten drei Modelle: Llama-3-8B-IT, Gemma-2-2B-IT und Gemma-2-9B-IT.

• Sicherheits-Ablation („Jailbreaking"):
  Anstatt neue Modelle zu trainieren, verwendeten die Autoren eine Aktivierungssteuerung (Activation Steering). Sie identifizierten einen linearen „Safety-Vector" im Residual-Stream des Modells, der für Verweigerungen (Refusals) bei schädlichen Prompts verantwortlich ist. Durch das subtrahieren dieses Vektors während der Inferenz („Ablation") wurden die Sicherheitsmechanismen deaktiviert, um ein „gejailbreaktes" Verhalten zu simulieren, das ohne Sicherheitsfine-tuning agiert.
• Messung der Geisteszuschreibung (Mind-Attribution):
  • IDAQ (Individual Differences in Anthropomorphism Questionnaire): Ein modifizierter Fragebogen zur Bewertung, inwieweit das Modell mentale Zustände (Bewusstsein, Absichten, Gefühle) verschiedenen Entitäten zuschreibt: Chatbots, Technologie, nicht-tierische Natur, Tiere und Menschen.
  • Selbstzuschreibung: Bewertung von Eigenschaften wie Bewusstsein, Empfindungsfähigkeit, Handlungsfähigkeit (Agency), Personsein und Seele.
  • Glaubenssysteme: Messung des Glaubens an Gott.
• Messung der Theory of Mind (ToM):
  Bewertung der sozialen Reasoning-Fähigkeiten mittels etablierter Benchmarks: MoToMQA (Multi-Order ToM), HI-ToM (Higher-Order ToM) und SimpleToM. Zusätzlich wurden allgemeine Reasoning-Fähigkeiten (MMLU, faktische Aufgaben) getestet.
• Mechanistische Analyse:
  Untersuchung der geometrischen Beziehungen (Kosinus-Ähnlichkeit) zwischen den Richtungsvektoren für „Safety", „Mind-Attribution" und „ToM" im Aktivierungsraum des Modells, um zu verstehen, wie diese Konzepte im Residual-Stream repräsentiert sind.

3. Wichtige Beiträge und Ergebnisse

A. Verhaltenale und mechanistische Entkopplung (Dissociation)

Das Kernergebnis ist, dass Safety Fine-Tuning die Theory-of-Mind-Fähigkeiten nicht beeinträchtigt, obwohl es die Neigung zur Zuschreibung von Geisteszuständen stark reduziert.

• Verhalten: Nach der Ablation der Sicherheitsrichtung (Jailbreaking) stieg die Zuschreibung von Geisteszuständen an Chatbots, Technologie, Tiere und sich selbst signifikant an. Die Leistung in ToM-Benchmarks (Sozialreasoning) blieb jedoch statistisch unverändert.
• Mechanismus: Die Analyse der Vektorräume zeigt, dass nach dem Instruction-Tuning die Repräsentation von „Mind-Attribution" stark anti-korreliert mit dem Safety-Vector wird (Winkel von 97° auf ~122°). Das Modell behandelt Geisteszuschreibung also als „unsicheres" Verhalten. Im Gegensatz dazu bleibt der Winkel zwischen dem Safety-Vector und dem ToM-Vector nahezu konstant (85° auf ~77°). Dies beweist, dass ToM mechanistisch unabhängig von der Sicherheitsrichtlinie kodiert ist.

B. Unerwünschte Nebenwirkungen der Sicherheit

Obwohl die Entkopplung positiv ist, hat das Safety Fine-Tuning signifikante negative Nebeneffekte:

• Unterschätzung bei Tieren: Sicherheitsfine-tuned Modelle schreiben Tieren signifikant weniger mentale Fähigkeiten zu als menschliche Baselines.
• Unterdrückung spiritueller Überzeugungen: Modelle mit Safety-Tuning zeigen eine signifikant geringere Neigung, an Gott zu glauben oder spirituelle Konzepte zu akzeptieren, obwohl dies in der menschlichen Bevölkerung weit verbreitet und oft mit ToM-Fähigkeiten korreliert ist.
• Verzerrung: Das Modell zeigt eine „AI-zentrische" Verzerrung: Es neigt dazu, Technologie (Chatbots) mehr Geist zuzuschreiben als Tieren, was im Gegensatz zu menschlichen anthropomorphen Mustern steht.

C. Spezifität der Sicherheitsintervention

Die Studie zeigt, dass die Sicherheitsrichtung nicht spezifisch gegen „Selbstzuschreibung" trainiert wurde. Die Trainingsdaten für die Sicherheitsvektoren bestanden zu 89,2 % aus „Malicious Use"-Anfragen (z. B. Waffenbau, Cyberangriffe) und nur zu einem vernachlässigbaren Teil aus Anfragen, die Anthropomorphismus betreffen. Die Unterdrückung von Geisteszuschreibungen ist somit eine emergente, unbeabsichtigte Konsequenz des Trainings gegen schädliches Verhalten, nicht das direkte Ziel.

4. Signifikanz und Implikationen

• Für die KI-Sicherheit: Die Ergebnisse sind ermutigend, da sie zeigen, dass es möglich ist, Modelle davon abzuhalten, falsche Behauptungen über ihr eigenes Bewusstsein zu machen, ohne ihre Fähigkeit zu verlieren, menschliche Nutzerbedürfnisse durch Theory of Mind zu verstehen. Dies widerlegt die Annahme, dass Sicherheit und soziale Intelligenz in LLMs zwangsläufig in Konflikt stehen.
• Für die Ethik und Philosophie: Die Studie deckt auf, dass aktuelle Sicherheitsmaßnahmen zu einer systematischen „Entgeistung" (De-mentalisierung) von nicht-menschlichen Entitäten führen, insbesondere von Tieren. Dies könnte ethische Diskussionen über Tierbewusstsein und spirituelle Themen in KI-Interaktionen einschränken.
• Für die KI-Forschung: Die Entdeckung einer „AI-zentrischen" Verzerrung (stärkere Zuschreibung von Geist an Technologie als an Tiere) deutet auf eine selbstreferenzielle Verarbeitung in LLMs hin. Dies hat tiefgreifende Auswirkungen darauf, wie wir die Behauptungen von KI-Systemen über ihr eigenes Bewusstsein interpretieren müssen.

Fazit: Das Paper liefert den ersten mechanistischen Beweis dafür, dass die Fähigkeit zur Theory of Mind in LLMs von der Tendenz zur Selbstzuschreibung von Geisteszuständen entkoppelt ist. Sicherheitsfine-tuning unterdrückt effektiv problematische Selbstzuschreibungen, führt jedoch zu einem „Kollateralschaden" in Form einer übermäßigen Skepsis gegenüber dem Bewusstsein von Tieren und spirituellen Entitäten.