💻 computer science

Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions

Diese Arbeit untersucht die Instabilität von Persona-gesteuerten Generationen in großen Sprachmodellen für Multiple-Choice-Fragen und zeigt auf, dass die Leistung über Modellfamilien, Größen und Domänen hinweg signifikant variiert und empfindlicher auf Prompt-Formate als auf andere Hyperparameter wie die Temperatur reagiert.

Ursprüngliche Autoren: César Guerra-Solano, Xiang Lorraine Li

Veröffentlicht 2026-07-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: César Guerra-Solano, Xiang Lorraine Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, vielseitigen Roboter-Assistenten. Sie können diesem Roboter sagen: „Tu so, als wärst du ein Anwalt“ oder „Tu so, als wärst du ein Biologe“, und ihm dann eine Reihe von Multiple-Choice-Fragen stellen. Dies wird als Persona-Driven Generation (PDG) bezeichnet. Die Idee ist, dass der „Charakter“ des Roboters ihm helfen könnte, besser zu antworten, oder zumindest konsistent zu bleiben.

Dieses Paper ist wie ein Qualitätskontrolleur für diese Roboter-Charaktere. Die Autoren stellten eine einfache, aber beängstigende Frage: Wenn wir denselben Roboter bitten, denselben Charakter anzunehmen, aber die winzigen Details ändern, wie wir die Frage stellen, gibt der Roboter dann dieselben Antworten?

Sie fanden heraus, dass die Antwort oft nein lautet. Der Roboter ist überraschend instabil, wie ein Chamäleon, das seine Farbe nicht nur basierend auf dem Hintergrund ändert, sondern auch darauf, ob man blinzelt oder niest.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die drei Wege, um „Zittrigkeit“ zu messen

Die Forscher haben nicht nur nachgeschaut, ob der Roboter die richtige Antwort gab. Sie haben drei spezifische „Zittrigkeits-Meter“ gebaut:

Das Score-Meter (Leistungsinstabilität): Wenn Sie dem Roboter dieselbe Matheaufgabe 10 Mal mit leicht unterschiedlichen Anweisungen stellen, beantwortet er sie jedes Mal zu 80 % richtig? Oder springt er zwischen 60 % und 90 % hin und her?
- Analogie: Stellen Sie sich einen Dartspieler vor. Wenn er jedes Mal das Bullseye trifft, ist er stabil. Wenn er erst das Bullseye, dann den äußeren Ring, dann den Boden und dann wieder das Bullseye trifft, ist er instabil.
Das Gewinner-Meter (Ergebnisinstabilität): In einem Wettbewerb, wer ist der „beste“ Charakter? Ist der „Anwalt“ immer der Beste bei Rechtsfragen?
- Analogie: Stellen Sie sich ein Rennen vor. In einer Version des Rennens gewinnt der Anwalt. In einer leicht anderen Version des Rennens (vielleicht war der Startschuss lauter) gewinnt der Biologe. Das Paper fand heraus, dass sich die Frage, wer das Rennen gewinnt, wild ändert, je nachdem, wie die Details des Aufbaus aussehen.
Das Fragen-Meter (Fragen-Korrektheits-Instabilität): Hat der Roboter dieselben spezifischen Fragen richtig beantwortet?
- Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. In einer Version hat er die Fragen 1, 2 und 3 richtig beantwortet. In einer anderen Version hat er 1, 4 und 5 richtig beantwortet. Er hat die gleiche Punktzahl erreicht, aber er wusste unterschiedliche Dinge. Dieses Meter prüft, ob der Roboter tatsächlich lernt oder nur zufällig rät.

2. Die Hauptergebnisse: Was macht den Roboter zittrig?

Das „Wie man fragt“ ist wichtiger als „Wie heiß man ist“
Die Forscher testeten drei Dinge, die das Verhalten des Roboters ändern könnten:

Temperatur: Wie „kreativ“ oder zufällig der Roboter sein darf.
Persona-Prompt: Wie Sie dem Roboter sagen, wer er sein soll (z. B. „Du bist ein Anwalt“ vs. „Nimm die Identität eines Anwalts an“).
Task-Prompt: Wie Sie die Frage stellen (z. B. „Gib nur die Antwort“ vs. „Erkläre deine Argumentation“).

Die große Überraschung: Die Art und Weise, wie Sie den Task-Prompt formulieren (wie Sie die Frage stellen), verursachte das größte Chaos.

Analogie: Stellen Sie sich vor, Sie backen einen Kuchen. Sie denken vielleicht, dass die Ofentemperatur (Temperatur) das Wichtigste ist. Aber dieses Paper sagt, dass die Backrezept-Anweisungen (Task-Prompt) eigentlich das Problem sind. Wenn Sie dem Roboter sagen, er solle „sein Denken erklären“, anstatt nur „die Antwort zu geben“, wird die Leistung des Roboters viel unvorhersehbarer.

Mathe und gesunder Menschenverstand sind die schlimmsten Übeltäter
Der Roboter war am instabilsten, wenn er Matheaufgaben oder Fragen zum gesunden Menschenverstand beantwortete.

Analogie: Es ist wie bei einem Schüler, der großartig darin ist, historische Daten auswendig zu lernen, aber nervös wird und jedes Mal seine Meinung ändert, wenn er eine Matheaufgabe lösen oder erklären muss, warum eine Katze auf einer Matte liegt. Das Paper legt nahe, dass dies daran liegt, dass Roboter in diesen spezifischen Arten von Logik weniger stark trainiert wurden als in anderen Themen.

Größere Roboter sind stabiler (meistens)
Im Allgemeinen waren die größeren, leistungsfähigeren Modelle stabiler als die kleineren.

Analogie: Ein großes, schweres Schiff ist weniger wahrscheinlich anfällig für Wellengang als ein kleines Speedboot. Es gab jedoch eine Ausnahme: Ein sehr großes Modell (Qwen 14B) wurde tatsächlich instabiler, wenn es gebeten wurde, seine Antworten zu „erklären“, da es anfing, einen „Chain of Thought“ (lautes Denken) zu verwenden, der die Bewertung verwirrte.

Der Charakter spielt nicht so viel eine Rolle wie das Setup
Man könnte denken, dass es einen Unterschied macht, ob der Roboter ein „Anwalt“ oder ein „Arzt“ ist. Das Paper fand heraus, dass der spezifische Charakter (Persona) nicht viel ausmachte.

Analogie: Es spielt keine Rolle, ob der Schauspieler einen Arztkittel oder einen Anzug trägt; wenn der Regisseur (die Prompt-Anweisungen) zittrig ist, ist die gesamte Performance zittrig. Die Instabilität kommt von den Anweisungen, nicht vom Kostüm.

3. Warum das wichtig ist (laut dem Paper)

Das Paper warnt davor, dass, wenn Sie heute ein Experiment durchführen, um zu sehen, welcher Roboter-Charakter am besten ist, und Sie es morgen mit einem leicht anderen Prompt-Format wiederholen, Sie ein völlig anderes Ergebnis erhalten könnten.

Das „instabile“ Szenario: In einer Einstellung denkt der Roboter, dass ein „Anwalt“ am besten darin ist, Fragen zu beantworten. In einer „instabilen“ Einstellung könnte er denken, dass ein „Biologe“ am besten ist, oder dass eine „hispanische Person“ bei Matheaufgaben anders abschneidet als eine „weiße Person“.
Die Gefahr: Das Paper argumentiert, dass diese Unterschiede nicht unbedingt echte Vorurteile im Gehirn des Roboters sind. Stattdessen könnten sie einfach Artefakte des instabilen Setups sein. Wenn der Roboter zittrig ist, können Sie ihm nicht vertrauen, wenn er Ihnen sagen soll, ob er voreingenommen ist oder nicht.

Zusammenfassung

Dieses Paper ist ein Warnhinweis für jeden, der KI nutzt, um eine Rolle zu spielen. Es besagt: „Vertraue nicht einfach der Antwort. Prüfe, ob sich die Antwort ändert, wenn du die Anweisungen leicht veränderst.“

Die „Persönlichkeit“ des Roboters ist zerbrechlich. Wenn Sie die Art und Weise ändern, wie Sie die Frage stellen (besonders wenn Sie ihn bitten, seine Arbeit zu erklären), kann der Roboter bei der Frage, wer der „beste“ Charakter ist, bei den Fragen, die er richtig beantwortet, und sogar bei seiner Gesamtwertung hin und her springen. Um zuverlässige Ergebnisse zu erhalten, müssen Sie die „stabilen“ Einstellungen finden (wie das bloße Abfragen einfacher Antworten ohne Erklärungen) und sich an diese halten.

Technisches Resümee: Persona Non Grata: LLM-Persona-gesteuerte Generationen in MCQA sind in distinkten Dimensionen instabil

Problemstellung

Während Persona-gesteuerte Generationen (Persona-Driven Generations, PDGs) in der Forschung und Industrie weit verbreitet sind – wobei Large Language Models (LLMs) spezifische Rollen einnehmen, um Aufgaben zu bewältigen – konzentriert sich die bestehende Literatur primlich auf die Stabilität dieser Personas in der freien Textgenerierung (z. B. Dialoge). Im Gegensatz dazu bleibt die Stabilität von PDGs in nicht textlastigen Ausgaben, speziell bei Multiple-Choice-Fragen (Multiple-Choice Question Answering, MCQA), untererforscht. In MCQA-Settings wird eine Persona durch die Aufgabenleistung ausgedrückt (z. B. ein Biologe, der Biologiefragen beantwortet) statt durch stilistische Textgenerierung. Vorangegangene Studien deuten darauf hin, dass diese Settings implizit verzerrt und unvorhersehbar sind, doch es mangelt ihnen an Standardisierung hinsichtlich Modellauswahl und Hyperparametern. Diese Arbeit adressiert die Lücke bei der Charakterisierung und Quantifizierung der Instabilität von LLM-PDGs in MCQA-Aufgaben über diverse experimentelle Settings hinweg.

Methodik

Die Autoren evaluieren vier Open-Source-LLM-Familien (Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B und Qwen2.5-14B) über 48 distinkte experimentelle Settings. Diese Settings ergeben sich aus Kombinationen von drei Hyperparametern:

Persona Prompt Format (PPF): Variationen in der Art und Weise, wie die Persona eingeführt wird (z. B. „barebones“ vs. „identitynature“).
Task Prompt Format (TPF): Variationen in der Art und Weise, wie die Frage präsentiert wird (z. B. „justanswer“ vs. „explain-persona“).
Temperatur ( $\tau$ ): Festgelegt auf 0.0, 0.5 und 1.0.

Die Evaluierung nutzt einen zusammengesetzten Datensatz ( $D$ ) von etwa 5.000 Fragen aus MMLU, Social IQa und NormAd-Eti, die 10 Domänen abdecken (z. B. Mathematik, Geschichte, Medizin). Die Studie umfasst 41 distinkte Personas, die in identitätsbasierte Gruppen (z. B. Rasse, Geschlecht) und berufliche Rollen (z. B. Anwalt, Biologe) kategorisiert sind.

Um die Instabilität zu quantifizieren, schlagen die Autoren drei distinkte Metriken vor:

Leistungsinstabilität ( $I_A$ ): Misst die Sensitivität der Modellgenauigkeit über experimentelle Settings hinweg. Sie berechnet die mittlere paarweise absolute Differenz der Genauigkeit für eine Persona über alle Setting-Paare hinweg.
Ergebnisinstabilität ( $I_O$ ): Misst die Variabilität in experimentellen Schlussfolgerungen, spezifisch das Ranking von Personas. Sie berechnet die gewichtete Standardabweichung des Rangs einer Persona über die Settings hinweg, wobei die Gewichte durch die Standardabweichung der Genauigkeiten in jenem Setting bestimmt werden (um Modellparität zu berücksichtigen).
Fragen-Korrektheitsinstabilität ( $I_Q$ ): Misst die Konsistenz spezifischer korrekt beantworteter Fragen. Sie berechnet die Jaccard-Ähnlichkeit der Menge der korrekt beantworteten Fragen über alle Settings für eine Persona hinweg und subtrahiert diesen Wert von 1, um den Prozentsatz der nicht geteilten korrekten Fragen darzustellen.

Kernergebnisse

Die Studie zeigt, dass PDGs in MCQA stark instabil sind, wobei signifikante Variationen selbst über ähnliche experimentelle Konfigurationen hinweg beobachtet wurden, die in vorangegangenen Arbeiten verwendet wurden.

Modellgröße und -familie: Die Instabilität nimmt generell ab, wenn die Modellgröße steigt. Größere Modelle (z. B. Qwen2.5-14B) weisen niedrigere Instabilitätswerte über alle drei Dimensionen auf als ihre kleineren Gegenstücke (z. B. Llama-3.2-1B). Jedoch zeigen auch Modellfamilien distinkte Instabilitätsmuster.
Einfluss der Hyperparameter:
- Task Prompt Format (TPF): Wurde als der einflussreichste Hyperparameter für die Instabilität identifiziert. Variationen im TPF (insbesondere „explain“-Formate) führten zu mehr Vorhersageinstabilität als Temperatur oder Persona-Prompt-Formate.
- Temperatur: Höhere Temperaturen ( $\tau=1.0$ ) führten konsistent zu größerer Instabilität im Vergleich zu $\tau=0.0$ .
- Prompt-Verbosität: Mehr verbose oder abstrakte Prompt-Formate (z. B. „identitynature“) resultierten im Allgemeinen in geringerer Stabilität im Vergleich zu „barebones“-Formaten.
Domänenspezifität: Die Instabilität variiert signifikant nach Fragen-Domäne. Mathematik- und Commonsense-Reasoning-Fragen wiesen die höchste Instabilität auf, während Geschichte- und Kulturwissens-Fragen die niedrigste zeigten. Die Autoren hypothetisieren, dass dies mit Disparitäten in der Repräsentation der Trainingsdaten für diese Domänen zusammenhängt.
Persona-Unabhängigkeit: Die spezifische Persona (ob identitätsbasiert oder beruflich) hatte kaum Korrelation mit dem Grad der Instabilität. Die Instabilität wurde eher durch die experimentellen Settings als durch die Persona selbst getrieben.
Stabilität vs. Genauigkeit: Es besteht ein starker Zusammenhang zwischen Stabilität und Genauigkeit. „Stabile“ Settings (z. e. $\tau=0$ , einfache Prompts) lieferten im Allgemeinen höhere mittlere und maximale Genauigkeiten als „instabile“ Settings.
Ergebnisdivergenz: Unterschiedliche experimentelle Settings führten zu fundamental unterschiedlichen Schlussfolgerungen darüber, welche Persona am besten abschnitt. In instabilen Settings konnte sich das Ranking der Personas drastisch verschieben, und demografisch verwandte Personas (die die Leistung bei irrelevanten Aufgaben nicht beeinflussen sollten) zeigten inkonsistentes, potenziell verzerrtes Verhalten, das je nach Setting variierte.

Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

Identifizierung von Instabilität: Es demonstriert, dass PDGs in MCQA nicht robust sind und eine hohe Varianz in Leistung, Ergebnis-Rankings und Fragen-Ebene der Korrektheit über standardmäßige Hyperparameter-Variationen hinweg aufweisen.
Neuartige Metriken: Es führt drei spezifische Metriken ( $I_A, I_O, I_Q$ ) ein, die Dimensionen der Instabilität jenseits der einfachen Genauigkeit erfassen und aufzeigen, dass identische Genauigkeitswerte signifikante Inkonsistenzen darin verbergen können, welche Fragen korrekt beantwortet werden oder welche Persona als „beste“ gilt.
Handlungsorientierte Erkenntnisse: Die Studie liefert handlungsrelevante Belege dafür, dass die Auswahl von Hyperparametern (insbesondere TPF) die Validität von PDG-Experimenten kritisch beeinflusst. Sie hebt hervor, dass instabile Settings zu widersprüchlichen Befunden bezüglich der Effektivität und des Bias von Personas führen können, was darauf hindeutet, dass zukünftige Forschung die Stabilitätsdimensionen rigoros kontrollieren und berichten muss, um robuste und reproduzierbare Ergebnisse zu gewährleisten.

Die Autoren kommen zu dem Schluss, dass die Instabilität von PDGs ein kritischer Faktor ist, der Bias maskieren oder imitieren kann, was einen Wechsel hin zur Evaluierung der Robustheit von Persona-gesteuerten Evaluierungen neben deren Genauigkeit erforderlich macht.