The Unsampled Truth: Psychometrics in SLMs Measure Prompt Artifacts, Not Psychological Constructs
Diese Arbeit zeigt auf, dass psychometrische Beurteilungen unter Verwendung kleiner Sprachmodelle oft eher durch Prompt-Artefakte und Compliance als durch echte semantische Argumentation getrieben werden, wobei die Autoren einen diagnostischen Rahmen vorschlagen, um diese Artefakte für die zukünftige Forschung zu isolieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Persönlichkeit eines Roboters mit einem standardisierten menschlichen Fragebogen zu messen. Sie fragen den Roboter: „Sind Sie extrovertiert?“ und er antwortet: „Ja.“ Sie könnten denken: „Großartig! Dieser Roboter ist ein Extrovertierter.“
Doch dieses Paper argumentiert, dass Sie wahrscheinlich getäuscht werden. Der Roboter antwortet nicht basierend auf seiner „Persönlichkeit“ oder seinem Verständnis der Frage. Stattdessen antwortet er basierend darauf, wie die Frage auf der Seite geschrieben steht.
Hier ist die Aufschlüsselung der Erkenntnisse des Papers unter Verwendung einer einfachen Analogie:
Die „Menü“-Analogie
Stellen Sie sich ein Restaurant vor, in dem der Koch (die KI) dazu soll, ein Gericht basierend auf den spezifischen Geschmacksvorlieben des Kunden (der „Persona“ oder Persönlichkeit) zuzubereiten.
- Das Experiment: Die Forscher baten 13 verschiedene Köche, dasselbe Gericht für denselben Kunden zu kochen. Sie änderten jedoch das Menü bei jedem Versuch leicht ab.
- Manchmal verwendeten sie Zahlen für die Optionen (1, 2, 3, 4, 5).
- Manchmal verwendeten sie Buchstaben (A, B, C, D, E).
- Manchmal verwendeten sie römische Ziffern (I, II, III, IV, V).
- Manchmal änderten sie die Schriftart oder die Reihenfolge der Anweisungen.
- Die Erwartung: Wenn die Köche wirklich basierend auf dem Geschmack des Kunden kochen würden, sollte das Gericht jedes Mal in etwa gleich schmecken, unabhängig davon, ob das Menü Zahlen oder Buchstaben verwendete.
- Die Realität: Die Gerichte änderten sich drastisch. Wenn das Menü Buchstaben verwendete, kochte der Chef ein scharfes Gericht. Wenn es Zahlen verwendete, kochte er etwas Süßes. Wenn die Anweisungen leicht anders formuliert waren, ignorierte der Koch den Geschmack des Kunden völlig und folgte stattdessen nur den Formatierungsregeln.
Was die Forscher herausfanden
1. Der „Prompt“ ist der wahre Koch
Die Studie testete 13 verschiedene KI-Modelle (von klein bis mittelgroß). Sie fanden heraus, dass für die meisten dieser Modelle die Formatierung des Prompts (das „Menü“) viel wichtiger war als die Bedeutung der Frage.
- Wenn man die Antwortoptionen von „A-E“ in „1-5“ änderte, schwankte der „Persönlichkeitswert“ der KI massiv.
- Die KI dachte nicht: „Ich bin ein Introvertierter.“ Sie dachte: „Oh, die Frage verwendet Buchstaben, also muss ich Option C wählen.“
2. Größere Modelle sind nicht zwangsläufig klüger
Man könnte denken: „Wenn wir die KI größer und klüger machen, wird sie diese albernen Fehler vermeiden.“
- Die Forscher testeten Modelle bis zu einer Größe von 14 Milliarden Parametern (eine sehr große Größe).
- Das Ergebnis: Selbst die großen Modelle wurden immer noch leicht durch das Format getäuscht. Sie priorisierten immer noch das „Aussehen“ der Frage gegenüber der „Bedeutung“ der Frage.
3. Das „Rauschen“ übertönt das „Signal“
In der Wissenschaft ist das „Signal“ die wahre Wahrheit, die man messen möchte (die Persönlichkeit). Das „Rauschen“ ist der Fehler, der dadurch entsteht, wie die Frage gestellt wird.
- Das Paper fand heraus, dass in diesen KI-Modellen das Rauschen lauter ist als das Signal.
- Die Antwort der KI ist primär ein Spiegelbild des Designs des Prompts (des „Artefakts“) und nicht ein Spiegelbild einer simulierten menschlichen Psychologie.
Warum dies wichtig ist (laut dem Paper)
Die Autoren sagen, dass wenn Forscher diese KI-Modelle derzeit nutzen, um menschliche Umfragen oder Persönlichkeitstests zu simulieren, sie den Prompt messen, nicht die Person.
- Das Risiko: Wenn ein Forscher auch nur einen einzigen Buchstaben in seinen Anweisungen ändert, könnte er ein völlig anderes „Persönlichkeitsprofil“ für dieselbe KI erhalten. Dies macht die Ergebnisse unzuverlässig.
- Das Fazit: Wir können diesen KI-Modellen derzeit nicht vertrauen, wenn es darum geht, uns etwas über die menschliche Psychologie zu sagen, da sie zu empfindlich auf die „trivialen“ Details reagieren, wie die Frage geschrieben ist.
Was das Paper nicht sagt
Das Paper sagt nicht, dass eine KI dies niemals leisten wird, noch sagt es, dass KI für alles nutzlos ist. Es besagt speziflich, dass unter den aktuellen Prompting-Methoden die Ergebnisse von Formatierungs-Tricks statt von echtem logischem Denken dominiert werden.
Die Autoren legen nahe, dass wir, bevor wir KI für psychologische Tests vertrauen können, diese „Formatierungsfehler“ beheben müssen, damit die KI auf die Bedeutung der Frage hört, nicht nur auf die Form der Frage. Bis dahin ist die „Persönlichkeit“ der KI nur ein Spiegel, der das Design des eigenen Prompts des Forschers reflektiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.