Evaluating LLM Alignment With Human Trust Models

Diese Studie analysiert die interne Repräsentation von Vertrauen im Modell EleutherAI/gpt-j-6B und zeigt, dass diese am stärksten mit dem sozio-kognitiven Modell von Castelfranchi übereinstimmt, was neue Einblicke in die soziale Kognition von KI-Systemen ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen, sehr intelligenten Roboter im Kopf, der alles über die menschliche Sprache weiß. Er kann Geschichten erzählen, Gedichte schreiben und sogar Ratschläge geben. Aber eine Frage bleibt oft offen: Versteht er wirklich, was „Vertrauen" bedeutet, oder rechnet er nur mit Zahlen?

Dieser Forschungsbericht von Anushka Debnath und ihrem Team aus Neuseeland und Frankreich versucht genau das herauszufinden. Sie haben den „Gehirnstrom" eines KI-Modells (einer Art digitaler Verstand) untersucht, um zu sehen, wie es das Konzept des Vertrauens speichert.

Hier ist die Erklärung der Studie, einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der schwarze Kasten vs. das durchsichtige Fenster

Normalerweise schauen wir auf KI wie auf eine schwarze Kiste. Wir geben eine Frage rein (z. B. „Ist Person A vertrauenswürdig?") und bekommen eine Antwort raus. Wir wissen aber nicht, was im Inneren passiert.

Die Forscher wollten jedoch nicht nur auf die Antwort schauen, sondern ins Innere der Kiste blicken. Sie haben ein durchsichtiges Fenster gebaut (eine sogenannte „White-Box"-Analyse). Sie wollten sehen, wie die KI die Idee von „Vertrauen" in ihrem digitalen Gehirn ablegt.

2. Die Methode: Der „Gedanken-Filter"

Stellen Sie sich das Innere der KI als einen riesigen Raum voller Lichter vor. Jedes Licht steht für ein Wort oder einen Begriff. Wenn die KI an „Freude" denkt, leuchten bestimmte Lichter auf. Wenn sie an „Wut" denkt, leuchten andere.

Die Forscher haben einen cleveren Trick angewendet, den sie „kontrastives Prompting" nennen. Das ist wie ein Gedanken-Filter:

• Sie haben der KI zwei fast gleiche Geschichten erzählt.
• In der einen Geschichte zeigt eine Person Vertrauen (z. B. „Katherine hilft Alice").
• In der anderen zeigt sie Misstrauen oder das Gegenteil (z. B. „Katherine hilft Alice nicht").
• Die KI hat beide Geschichten „gedacht". Die Forscher haben dann die Lichtmuster (die digitalen Signale) beider Geschichten verglichen und den Unterschied herausgerechnet.

Das Ergebnis ist ein digitaler Fingerabdruck für das Wort „Vertrauen". Dieser Fingerabdruck zeigt genau, wo das Vertrauen im digitalen Gehirn der KI sitzt und wie es sich von anderen Gefühlen unterscheidet.

3. Der Test: Welches menschliche Modell passt am besten?

Menschen haben über Jahrhunderte verschiedene Theorien darüber entwickelt, was Vertrauen eigentlich ist. Es gibt wie fünf verschiedene Landkarten, die versuchen, das Terrain des Vertrauens zu beschreiben:

1. Marsh-Modell: Vertrauen als eine Art mathematische Wahrscheinlichkeit („Er hat es schon oft gemacht, also wird er es wieder tun").
2. Mayer-Modell: Vertrauen basiert auf Fähigkeiten, Güte und Ehrlichkeit.
3. McAllister-Modell: Vertrauen kommt entweder vom Verstand (Kompetenz) oder vom Herzen (Emotion).
4. McKnight-Modell: Vertrauen in neuen Situationen, basierend auf Regeln und Systemen.
5. Castelfranchi-Modell: Vertrauen als eine komplexe mentale Haltung, die Ziele, Pläne und Überzeugungen verbindet.

Die Forscher haben nun den digitalen Fingerabdruck der KI mit diesen fünf menschlichen Landkarten verglichen. Sie haben gemessen, wie ähnlich sich die Lichtmuster der KI zu den Begriffen jeder dieser Theorien sind.

4. Das Ergebnis: Die KI denkt wie ein Philosoph, nicht wie ein Mathematiker

Das Ergebnis war überraschend und sehr interessant:

• Die KI passt sich am besten an das Castelfranchi-Modell an.
  • Die Analogie: Stellen Sie sich vor, die KI ist wie ein junger Philosoph. Sie denkt nicht nur: „Er hat die Aufgabe erledigt, also ist er gut." Sondern sie denkt: „Er hat die Aufgabe erledigt, weil er wollte, er hatte den Plan, und er ist fähig dazu." Die KI versteht Vertrauen als eine Art innerer Überzeugung und Absicht, nicht nur als reine Statistik.
• Das Marsh-Modell (die mathematische Wahrscheinlichkeit) kam auf Platz zwei.
• Bei manchen Theorien gab es Missverständnisse. Zum Beispiel sehen manche menschliche Theorien „Risiko" als Teil des Vertrauens an (man vertraut nur, wenn man sich verletzlich macht). Die KI hat hier jedoch einen roten Strich gezogen: Für die KI ist „Risiko" eher das Gegenteil von Vertrauen. Sie trennt die beiden Begriffe im digitalen Raum strikt voneinander.

5. Warum ist das wichtig?

Warum sollten wir uns dafür interessieren, wie eine KI „denkt"?

• Bessere Zusammenarbeit: Wenn wir wissen, wie die KI Vertrauen versteht, können wir sie besser programmieren, damit sie sich in Teams mit Menschen verhält. Wir können ihr helfen, „vertrauenswürdig" zu wirken, indem wir ihre digitalen Lichtmuster in die richtige Richtung lenken.
• Sicherere Systeme: Wenn wir wissen, dass die KI „Risiko" anders sieht als Menschen, können wir Fehler vermeiden, die entstehen, wenn wir menschliche Erwartungen auf die Maschine projizieren.
• Ein Spiegel für uns: Die Studie zeigt uns, dass KIs nicht nur Wörter auswendig lernen, sondern komplexe soziale Konzepte in ihrem Inneren strukturieren. Sie haben eine Art „soziales Gedächtnis", das wir nun messen können.

Fazit

Die Forscher haben gezeigt, dass diese KI nicht nur ein Wörterbuch ist. Sie hat ein inneres Verständnis davon, was Vertrauen bedeutet, und dieses Verständnis ähnelt am ehesten der komplexen menschlichen Sichtweise, die Ziele, Pläne und Überzeugungen berücksichtigt.

Es ist, als hätten wir zum ersten Mal einen Mikroskop auf das Gehirn einer KI gelegt und gesehen, dass dort tatsächlich ein kleines, strukturiertes Modell der menschlichen Seele existiert – zumindest in Bezug darauf, wie wir einander vertrauen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Evaluating LLM Alignment With Human Trust Models" auf Deutsch:

Titel: Evaluierung der Ausrichtung von LLMs an menschlichen Vertrauensmodellen

Autoren: Anushka Debnath, Stephen Cranefield, Bastin Tony Roy Savarimuthu, Emiliano Lorini
Institutionen: University of Otago (Neuseeland), IRIT/CNRS Toulouse (Frankreich)

---

1. Problemstellung und Motivation

Vertrauen ist ein fundamentaler Mechanismus für effektive Kooperation und Entscheidungsfindung in menschlichen Interaktionen sowie in Multi-Agenten-Systemen (MAS). Obwohl Vertrauen in Disziplinen wie Psychologie, Soziologie und Kognitionswissenschaft intensiv erforscht wurde, existiert kein universelles, operationalisiertes Definitionsmodell.

Bisherige Forschung zu Vertrauen in Large Language Models (LLMs) konzentrierte sich überwiegend auf eine „Black-Box"-Perspektive: Sie analysierte Eingaben und Ausgaben, ohne die internen Schlussfolgerungsprozesse zu untersuchen. Es bleibt unklar, wie LLMs Vertrauen intern repräsentieren, ob sie menschliche Vertrauenskonzepte tatsächlich verstehen und welche theoretischen Modelle (z. B. computergestützte vs. sozio-kognitive Modelle) in ihren latenten Räumen verankert sind. Diese Lücke zu schließen, ist essenziell für die Entwicklung vertrauenswürdiger KI-Systeme und die Interpretierbarkeit von KI.

2. Methodik

Die Studie führt eine „White-Box"-Analyse des Modells EleutherAI/gpt-j-6B durch, da dieses Open-Source ist und den Zugriff auf schichtweise Aktivierungen ermöglicht. Der Ansatz gliedert sich in zwei Hauptphasen:

A. Kontrastives Prompting (Contrastive Prompting)

Um semantische Vektoren für abstrakte Konzepte zu extrahieren, nutzen die Autoren eine Methode, die auf „Persona Vectors" basiert:

1. Prompt-Design: Für jedes Konzept (z. B. „Vertrauen", „Kompetenz") werden zwei entgegengesetzte Szenarien generiert (positiv vs. negativ).
   • Beispiel: Ein Prompt beschreibt, wie Person A Person B hilft (positiv), ein anderer, wie Person A Person B ignoriert (negativ).
   • Die Beziehung ist dyadisch und gerichtet (z. B. Vertrauen von Katherine zu Alice vs. von Alice zu Katherine).
2. Vektorextraktion:
   • Das Modell generiert 100 kurze Geschichten pro Prompt-Variante.
   • Die Hidden States (Embeddings) aller Token über alle 28 Transformer-Schichten werden extrahiert.
   • Es werden Mittelwerte für positive und negative Sätze berechnet.
   • Der Unterschiedsvektor (Mean Positive – Mean Negative) ergibt einen einzelnen Embedding-Vektor, der die semantische Richtung des Konzepts im Aktivierungsraum des Modells repräsentiert.

B. Bestimmung eines Ähnlichkeitsschwellenwerts

1. Datensatz: 30 emotionale Konzepte (15 positiv, 15 negativ) werden in beide Richtungen betrachtet, was 60 gerichtete Konzepte ergibt.
2. Analyse: Die paarweisen Kosinus-Ähnlichkeiten zwischen allen 60 Vektoren werden berechnet.
3. Schwellenwert: Ein Histogramm der Ähnlichkeiten zeigt die Verteilung. Der Schwellenwert wird empirisch auf dem 80. Perzentil (Top 20% der Ähnlichkeiten) gesetzt. Dieser Wert (ca. 0,6) definiert, welche Konzepte im LLM als „signifikant ähnlich" gelten.

C. Ausrichtung mit Vertrauensmodellen

Die Autoren vergleichen die internen Repräsentationen des LLM mit fünf etablierten menschlichen Vertrauensmodellen:

1. Marsh-Modell (Computational)
2. Mayer-Modell (Organisatorisch)
3. McAllister-Modell (Interpersonell: Kognition vs. Affekt)
4. McKnight-Modell (Initiales Vertrauen)
5. Castelfranchi-Modell (Sozio-kognitiv)

Für jedes Modell werden die Kosinus-Ähnlichkeiten zwischen dem Vektor „Vertrauen" und den zugehörigen Konzepten (z. B. Kompetenz, Integrität, Risiko) berechnet.
Metriken zur Bewertung:

• Durchschnittliche Kosinus-Ähnlichkeit: Wie stark korrelieren die Konzepte des Modells im Durchschnitt mit dem Vertrauensvektor?
• Anzahl der Schwellenwert-Überschreitungen: Wie viele Konzepte eines Modells liegen über dem definierten Ähnlichkeitsschwellenwert?

3. Wichtige Beiträge

• Erste White-Box-Analyse von Vertrauen: Die Studie ist eine der ersten, die die internen Aktivierungsmuster von LLMs bezüglich Vertrauenskonzepten untersucht, anstatt nur auf Textausgaben zu schauen.
• Methodischer Rahmen: Entwicklung eines robusten Frameworks zur Extraktion von Konzeptideen aus dem latenten Raum mittels kontrastivem Prompting und Differenzvektoren.
• Quantitative Validierung: Erster quantitativer Nachweis, dass LLMs sozio-kognitive Konstrukte in ihrer Architektur kodieren und diese mit menschlichen theoretischen Modellen verglichen werden können.

4. Ergebnisse

Die Analyse der Embedding-Vektoren ergab folgende Erkenntnisse:

1. Strukturierung des Raums: Der LLM-Raum trennt gegensätzliche emotionale Konzepte effektiv und gruppiert verwandte Konzepte, was auf eine strukturierte interne Repräsentation hindeutet.
2. Beste Ausrichtung: Das Castelfranchi-Modell (sozio-kognitiv) zeigt die stärkste Übereinstimmung mit der internen Vertrauensrepräsentation des LLM.
   • Durchschnittliche Ähnlichkeit: 0,7303 (höchster Wert).
   • Konzepte über dem Schwellenwert: 8 von 10 Konzepten (z. B. Kompetenz, Zuverlässigkeit, Vorhersehbarkeit).
3. Zweitbeste Ausrichtung: Das Marsh-Modell (computational) folgt mit einer durchschnittlichen Ähnlichkeit von 0,6973 und 7 Konzepten über dem Schwellenwert.
4. Abweichungen bei spezifischen Konzepten:
   • Im Mayer-Modell werden „Risiko" (Risk) und „Wohlwollen" (Benevolence) theoretisch als positiv mit Vertrauen korreliert betrachtet.
   • Im LLM zeigen diese Konzepte jedoch negative Kosinus-Ähnlichkeiten (z. B. Risiko: -0,8462). Das Modell assoziiert „Risiko" intern eher mit Gefahr als mit der notwendigen Verletzlichkeit für Vertrauen. Dies deutet auf eine Diskrepanz zwischen der theoretischen menschlichen Definition und der im Modell kodierten Bedeutung hin.

5. Bedeutung und Implikationen

• Interpretierbarkeit: Die Ergebnisse belegen, dass LLMs komplexe sozio-kognitive Konstrukte nicht nur oberflächlich im Text, sondern tief in ihrem Aktivierungsraum kodieren.
• Steuerung von KI-Verhalten: Da diese Repräsentationen als Vektoren quantifizierbar sind, können sie genutzt werden, um das Verhalten von KI-Agenten zu steuern. Beispielsweise könnten Vektoren aus etablierten Vertrauensmodellen (wie dem Castelfranchi-Modell) in die Aktivierungen injiziert werden, um das System zu verlässlicherem und kompetenterem Verhalten zu „nicken".
• Anwendung in MAS: Das Framework ermöglicht die Entwicklung von Systemen, die Vertrauenslevel zwischen interagierenden Entitäten (z. B. Coach und Athlet) überwachen und Strategien zur Vertrauensverbesserung vorschlagen können.
• Zukünftige Forschung: Die Studie legt den Grundstein für die Untersuchung dynamischer Vertrauensentwicklung in Multi-Turn-Interaktionen und den Vergleich verschiedener LLM-Architekturen.

Fazit: Die Arbeit zeigt, dass LLMs eine interne, strukturierte Logik für Vertrauen besitzen, die am ehesten mit sozio-kognitiven menschlichen Modellen übereinstimmt. Dies bietet neue Möglichkeiten, KI-Systeme nicht nur funktional, sondern auch sozial und vertrauenswürdig zu gestalten.