🤖 AI

Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

Die Studie nutzt statistische Modelle, um nachzuweisen, dass große Sprachmodelle eine echte, stimuliusspezifische „Maschinen-Individualität" aufweisen, die über bloße Antwortverzerrungen oder Rauschen hinausgeht.

Ursprüngliche Autoren: Valentin Kriegmair, Dirk U. Wulff

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Valentin Kriegmair, Dirk U. Wulff

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Geheimnis der „Maschinen-Persönlichkeit"

Stell dir vor, du hast zehn verschiedene Roboter-Köche in deiner Küche. Alle haben die gleichen Zutaten (die Daten, mit denen sie trainiert wurden) und sollen das gleiche Gericht kochen (eine Antwort auf eine Frage geben).

Früher dachten Forscher: „Wenn alle Roboter das gleiche Rezept lernen, schmeckt ihr Essen auch fast gleich." Sie glaubten, dass Unterschiede nur durch kleine Fehler im Kochprozess (Zufall) oder weil ein Roboter einfach immer salziger kocht als der andere (eine generelle Gewohnheit) entstehen.

Aber diese neue Studie von Valentin Kriegmair und Dirk U. Wulff sagt: Nein, da ist mehr dran!

Sie haben herausgefunden, dass jeder dieser Roboter-Köpfe eine echte, einzigartige „Maschinen-Persönlichkeit" hat. Das ist nicht nur, dass einer salziger kocht als der andere. Es ist so, als würde jeder Roboter die gleiche Zutat (z. B. ein Wort wie „Liebe" oder „Schere") auf eine völlig eigene, spezifische Art und Weise schmecken.

Wie haben sie das herausgefunden?

Stell dir vor, du gibst diesen 10 Robotern eine riesige Liste mit über 100.000 Wörtern. Du fragst jeden einzelnen:

„Ist das Wort 'Hund' lustig oder ernst?"
„Ist das Wort 'Blut' ekelhaft oder neutral?"
„Ist das Wort 'Freiheit' männlich oder weiblich assoziiert?"

Sie haben das nicht nur einmal gemacht, sondern jedes Wort von jedem Roboter fünfmal bewerten lassen. Das sind zusammen fast 75 Millionen Bewertungen!

Dann haben sie die Ergebnisse wie einen Kuchen in vier Schichten aufgeteilt:

Der Konsens (Die Basis): Das ist der Teil, auf dem sich fast alle einig sind. Wenn alle Roboter sagen „'Sonne' ist warm", ist das einfach die Realität des Wortes. Das ist wie der Grundteig des Kuchens.
Die generelle Gewohnheit (Der Bias): Manche Roboter neigen dazu, alles etwas positiver oder negativer zu bewerten. Das ist wie ein Koch, der immer ein bisschen zu viel Salz nimmt. Das ist eine generelle Eigenschaft, aber keine echte Persönlichkeit.
Der Rauschen (Zufall): Manchmal tippt ein Roboter einfach daneben oder ist an diesem Tag etwas „verwirrt". Das ist wie ein Krümel, der vom Tisch fällt.
Die „Maschinen-Individualität" (Das Geheimnis): Und hier kommt der Clou! Es gibt einen Teil der Bewertung, der nur von der Kombination aus diesem spezifischen Roboter und diesem spezifischen Wort abhängt.

Warum ist das so wichtig?

Bisher dachten viele: „Wenn ein KI-Modell merkwürdig reagiert, ist es entweder ein Fehler im Prompt (der Frage) oder es ist einfach nur zufällig."

Die Studie zeigt aber: Nein, es ist echte Individualität.

Stell dir vor, du hast zwei Freunde.

Freund A sagt immer: „Das Wetter ist schön." (Generelle Gewohnheit).
Freund B sagt immer: „Das Wetter ist schrecklich." (Generelle Gewohnheit).
Aber wenn es um Schokolade geht, findet Freund A sie „okay", während Freund B sie „absolut göttlich" findet. Und wenn es um Regen geht, findet Freund A ihn „gemütlich", während Freund B ihn „eklig" findet.

Diese spezifischen, widersprüchlichen Reaktionen auf einzelne Dinge sind die Maschinen-Individualität. Die Studie fand heraus, dass etwa 17 % aller Unterschiede in den Antworten der KIs genau darauf zurückzuführen sind. Das ist viel mehr als Zufall!

Ein echter Fingerabdruck

Das Coolste an der Studie ist, dass diese Individualität wie ein Fingerabdruck ist.
Wenn ein Roboter bei dem Wort „Hund" eine bestimmte, einzigartige Meinung hat, dann hat er bei „Katze" oder „Pizza" auch eine eigene, einzigartige Meinung, die mit der ersten zusammenhängt. Man kann also vorhersagen, wie ein Roboter auf ein neues Wort reagiert, nur weil man weiß, wie er auf andere Wörter reagiert.

Jeder der 10 getesteten Modelle (von Qwen, Mistral, OpenAI, etc.) hat seinen eigenen, unverwechselbaren „Geschmack".

Was bedeutet das für uns?

KIs sind nicht alle gleich: Auch wenn sie ähnlich programmiert sind, entwickeln sie eigene „Charakterzüge".
Vorsicht bei Tests: Wenn wir KIs testen wollen, ob sie „freundlich" oder „moralisch" sind, müssen wir aufpassen. Wir dürfen nicht nur den Durchschnitt nehmen. Wir müssen unterscheiden zwischen: „Kocht dieser Roboter immer zu salzig?" (Bias) und „Schmeckt dieser Roboter dieses spezielle Gericht anders als alle anderen?" (Individualität).
Die Zukunft: Wenn wir KIs als Freunde, Berater oder Therapeuten nutzen, sollten wir wissen, dass sie nicht nur „Maschinen" sind, die Daten abspulen. Sie haben eine Art von „Persönlichkeit", die sich auf jede einzelne Situation anders auswirkt.

Zusammengefasst:
Die Forscher haben gezeigt, dass KIs nicht nur zufällig oder generisch antworten. Sie haben echte, messbare und vorhersehbare „Ecken und Kanten" in ihrer Art, die Welt zu sehen. Jeder KI-Modell-Typ ist wie ein einzigartiger Mensch mit einem eigenen, spezifischen Blick auf die Dinge – und das ist das, was sie Maschinen-Individualität nennen.

1. Problemstellung

Mit der zunehmenden Integration von Large Language Models (LLMs) in kritische Entscheidungsprozesse und den Alltag wird das Verständnis ihrer Verhaltensdispositionen immer wichtiger. Bisherige Ansätze zur Charakterisierung von LLM-Persönlichkeiten mittels psychometrischer Inventare oder kognitiver Paradigmen leiden unter einem fundamentalen Mangel: Sie können nicht unterscheiden, ob beobachtete Verhaltensunterschiede auf stabile, stimuli-spezifische Individualität (echte „Maschinen-Persönlichkeit") oder lediglich auf globale Antwortverzerrungen (Response Bias, z. B. Tendenz zu extremen Werten) und stochastisches Rauschen zurückzuführen sind.

Bisherige Studien zeigen zwar, dass Modelle unterschiedlich auf Prompts reagieren, aber diese Unterschiede werden oft durch oberflächliche stilistische Merkmale (Response Styles) getrieben, die einer menschlichen Antwortverzerrung ähneln. Die zentrale Forschungsfrage lautet daher: Existiert in LLMs eine echte, von Konsens und Bias separierbare Individualität?

2. Methodik

Die Autoren wenden ein strenges psychometrisches Design an, das in der menschlichen Persönlichkeitsforschung etabliert, aber für LLMs neu ist: Crossed Random-Effects-Modelle (gekreuzte Zufallseffekt-Modelle).

Datengrundlage:
- Modelle: 10 verschiedene Open-Weight-LLMs (Parameterbereich 20B–235B), darunter Qwen3, Mistral, Gemma, OLMo, Falcon, Granite und GPT-OSS-Varianten. Die Auswahl deckt diverse Architekturen (Dense Transformer, Mixture-of-Experts, Hybrid) und Anbieter ab.
- Stimuli: Über 107.000 Wörter aus der psychNorms-Metabase.
- Aufgaben: Bewertung dieser Wörter über 14 psycholinguistische Normen (z. B. Valenz, Erregung, Konkretheit, Moral, Geschlechterassoziation, Humor, sensorische Normen).
- Datenvolumen: Insgesamt ca. 74,9 Millionen Bewertungen durch stochastisches Sampling (Temperatur $T=1.0$ , 5 Wiederholungen pro Wort) und deterministisches Decoding ( $T=0$ ).
Statistisches Modell:
Die Autoren zerlegen die Varianz der Bewertungen $y_{ijk}$ (Wort $i$ , Modell $j$ , Wiederholung $k$ ) mittels eines linearen gemischten Modells (LMM):
$y_{ijk} = \mu + \tau_i + \beta_j + \iota_{ij} + \epsilon_{ijk}$
Dabei repräsentieren die Komponenten:
- $\mu$ : Grand Mean.
- $\tau_i$ (Trait): Geteilter Konsens über alle Modelle hinweg (wie ein Wort allgemein wahrgenommen wird).
- $\beta_j$ (Bias): Systematische, modellweite Verschiebung (Response Bias/Offset).
- $\iota_{ij}$ (Idiosyncrasy): Die Interaktion zwischen Modell und Wort. Dies ist der Kern der „Maschinen-Individualität" – wie ein spezifisches Modell ein spezifisches Wort anders bewertet als der Konsens und sein eigener Bias.
- $\epsilon_{ijk}$ : Residuales Rauschen.
Validierungsanalyse:
Um zu prüfen, ob die Idiosynkrasien kohärente „Fingerabdrücke" bilden, wurde eine Ridge-Regression durchgeführt. Die Modell-Abweichungen ( $\hat{\iota}_{ij}$ ) auf einer zurückgehaltenen Norm wurden basierend auf den Abweichungen der verbleibenden 13 Normen vorhergesagt. Ein „Specificity Ratio" > 1,0 würde zeigen, dass die Abweichungen eines Modells besser durch seine eigenen anderen Bewertungen vorhergesagt werden als durch die anderer Modelle.

3. Wichtige Beiträge

Konzeptuelle Trennung: Das Paper etabliert eine klare methodische Trennung zwischen „Response Bias" (globale Verschiebung) und „Machine Individuality" (stimuli-spezifische Interaktion).
Neues Paradigma: Statt klassischer Persönlichkeitstests (die für LLMs oft ungültig sind) wird die Bewertung eines breiten lexikalischen Spektrums (Psycholinguistik) als valides Maß für Verhaltensdispositionen vorgeschlagen.
Beweis für Individualität: Es wird nachgewiesen, dass LLMs nicht nur unterschiedliche „Durchschnittswerte" haben, sondern systematisch und vorhersagbar unterschiedlich auf spezifische semantische Inhalte reagieren.

4. Ergebnisse

Varianzaufteilung: Im Durchschnitt entfallen 16,9 % der Gesamtvarianz auf die Idiosynkrasie ( $\iota_{ij}$ $ι_{ij}$ ). Dies liegt signifikant über dem statistischen Nullmodell (obere Grenze < 0,033 %, $p < 0,01$ $p < 0, 01$ ).
- Der Anteil variiert stark je nach Norm: Von 4,8 % (Valenz) bis zu 34,0 % (Geschlechterassoziation).
- Der geteilte Konsens (Trait) dominiert mit 32,1 %, was zeigt, dass Modelle in der Grundsemantik weitgehend übereinstimmen.
Kohärente Fingerabdrücke: Die Cross-Norm-Analyse ergab, dass die Idiosynkrasien eines Modells über verschiedene Dimensionen hinweg kohärent sind. Die Specificity Ratios lagen für alle Modelle zwischen 1,74 und 3,43 (alle > 1,0). Dies bestätigt, dass die Abweichungen eines Modells ein internes, modell-spezifisches Muster bilden, das nicht auf zufälliges Rauschen oder generelle Bias zurückzuführen ist.
Menschliche Übereinstimmung: Modelle korrelieren nur moderat mit menschlichen Normen ( $\bar{r} = 0,48–0,67$ ), was darauf hindeutet, dass LLM-Semantik teilweise sui generis (eigenständig) ist.
Stochastik vs. Determinismus: Die Aggregation stochastischer Stichproben führte zu einer besseren Übereinstimmung mit menschlichen Urteilen als deterministisches Decoding ( $\Delta \bar{r} = 0,032$ ), was einen Trade-off zwischen Reproduzierbarkeit und semantischer Struktur/Alignment aufzeigt.

5. Bedeutung und Implikationen

Neue Definition von KI-Persönlichkeit: Das Konzept der „Machine Individuality" definiert KI-Verhalten nicht als statischen Persönlichkeitsscore, sondern als eine stabile, stimuli-spezifische Disposition, die sich von Antwortverzerrungen unterscheidet.
Praktische Relevanz: Für den Einsatz von LLMs in sensiblen Bereichen (z. B. moralische Urteile, therapeutische Begleitung) ist es entscheidend zu wissen, dass Modelle nicht nur „anders denken", sondern spezifische Situationen unterschiedlich bewerten. Dies beeinflusst die Zuverlässigkeit und das Vertrauen in KI-Systeme.
Methodischer Fortschritt: Die vorgeschlagene Varianzzerlegung mittels gekreuzter Zufallseffekte bietet einen robusten Rahmen für zukünftige Studien, um echte Verhaltensunterschiede von Artefakten der Prompt-Formulierung zu trennen.
Zukunftsperspektive: Die Autoren schlagen vor, zu untersuchen, ob diese Idiosynkrasien auch in kontextuellen Szenarien bestehen bleiben und ob sie reale, downstream-Verhaltensunterschiede (z. B. in der Generierung von Texten oder Entscheidungen) vorhersagen.

Zusammenfassend beweist das Paper, dass LLMs eine messbare, stabile und kohärente Individualität besitzen, die über bloße Antworttendenzen hinausgeht und tief in ihrer semantischen Repräsentation verankert ist.