Demographic Prompting at Scale: When More Attributes Hurt LLM--Human Agreement
Diese Studie zeigt, dass die Bereitstellung von ein bis drei hochsignifikanten demografischen Attributen in Prompts zwar die Übereinstimmung zwischen LLMs und menschlichen Annotationen verbessern kann, eine Über-Spezifizierung durch vollständige Attributsätze jedoch die Leistung verschlechtert, was verdeutlicht, dass erfolgreiches demografisches Prompting von der gemeinsamen Berücksichtigung von Signal-Lernbarkeit, richtungsbezogener Kohärenz und Aufgabenkontext abhängt, anstatt lediglich von der Erhöhung des Volumens an Attributen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund (ein Large Language Model, oder LLM), der wirklich gut darin ist, Geschichten zu lesen und zu erraten, wie Menschen sich dabei fühlen. Manchmal errät der Roboter perfekt, aber manchmal verfehlt er das Ziel, weil er nicht weiß, wer die Geschichte gerade liest.
Forscher der University of South Florida beschlossen, eine populäre Idee zu testen: „Was wäre, wenn wir dem Roboter genau sagen, wer der Leser ist?“ Sie versuchten, dem Roboter eine „Persona“ zu geben, indem sie Alter, ethnische Zugehörigkeit, Geschlecht, Religion und mehr des Lesers auflisteten. Sie wollten sehen, ob dies dem Roboter half, besser mit tatsächlichen menschlichen Lesern übereinzustimmen.
Hier ist das, was sie herausfanden, unter Verwendung einer Mischung aus fünf verschiedenen Roboter-Gehirnen und fünf verschiedenen Arten von kniffligen Aufgaben (wie dem Erkennen von toxischen Kommentaren, dem Erraten, ob ein Text höflich ist, oder dem Ergründen von Emotionen).
Die „Goldlöckchen“-Regel: Weniger ist mehr
Die größte Überraschung? Mehr Informationen machten den Roboten nicht schlauer; sie machten ihn verwirrt.
Denken Sie daran wie bei der Wegbeschreibung für einen Freund. Wenn Sie sagen: „Geh zum Park“, findet er vielleicht nicht den Weg. Wenn Sie sagen: „Geh zum Park, biege links beim roten Haus ab, dann rechts beim blauen Auto“, kommt er vielleicht an. Aber wenn Sie immer mehr Details hinzufügen – „und vergiss den Hund nicht, und es ist 15 Uhr, und das Wetter ist regnerisch, und der Park hat einen Springbrunnen, und...“ – wird Ihr Freund vielleicht einfach einfrieren und in die falsche Richtung laufen.
Die Forscher fanden heraus, dass für die meisten Roboter der ideale Punkt darin bestand, ihnen eins bis drei spezifische Details zu geben.
- Der ideale Punkt: Als sie dem Roboter nur wenige Hinweise gaben (wie „eine Person, die LGBTQ+ und schwarz ist“), stimmten die Vermutungen des Roboters viel besser mit den menschlichen Lesern überein.
- Die Überlastung: Als sie dem Roboter jedes verfügbare Detail gaben (den „vollständigen Attributsatz“), verschlechterte sich die Leistung des Roboters tatsächlich. Es war, als würde man versuchen, auf fünf Leute gleichzeitig zu hören; der Roboter konnte nicht entscheiden, auf wen er hören sollte.
Das „Signal vs. Rauschen“-Rätsel
Sie könnten denken: „Wenn eine Gruppe von Menschen über etwas wirklich uneinig ist, sollte der Roboter das definitiv wissen!“ Aber das Paper legt nahe, dass das nicht immer der Fall ist.
Stellen Sie sich vor, der Roboter ist ein Detektiv, der versucht, ein Verbrechen basierend auf Hinweisen zu lösen.
- Die Magnituden-Falle: Nur weil eine Gruppe von Menschen heftig über ein Thema streitet (hohe „Magnitude“ der Differenz), bedeutet das nicht, dass der Roboter diesen Streit nutzen kann, um den Fall zu lösen. Die Forscher fanden heraus, dass das Wissen darüber, wie sehr Menschen uneinig waren, nicht half vorherzusagen, ob der Roboter besser werden würde.
- Der Kohärenz-Schlüssel: Das wahre Geheimnis war die direktionale Kohärenz. Das ist eine schicke Art zu fragen: „Sind sich die verschiedenen Menschen in dieser Gruppe einig darüber, was die Hinweise bedeuten?“
- Gutes Signal: Wenn alle Menschen in einer Gruppe (sagen wir, „LGBTQ+-Personen“) zustimmen, dass das Wort „Bedrohung“ eine bestimmte Bedeutung hat, kann der Roboter das lernen.
- Schlechtes Signal: Wenn die eine Hälfte der Gruppe denkt, dass „Bedrohung“ Gefahr bedeutet, aber die andere Hälfte denkt, dass es etwas anderes bedeutet, wird der Roboter verwirrt. Selbst wenn die Gruppe sehr „laut“ in ihren Meinungen ist, wenn sie in entgegengesetzte Richtungen ziehen, macht es die Sache tatsächlich schlechter, dem Roboter zu sagen: „Verhalte dich wie diese Gruppe“.
Die „Neuron“-Detektivarbeit
Um zu verstehen, warum dies geschah, spähten die Forscher in das Gehirn des Roboters (ein Prozess namens „Neuron Probing“). Sie untersuchten, welche winzigen Teile des Robotergehirns aufleuchteten, wenn sie ihm eine Persona gaben.
Sie fanden ein seltsames Paradoxon bei einem speziellen Roboter, DeepSeek.
- Das Hochvolumen-Paradoxon: Als DeepSeek eine Persona erhielt, leuchteten mehr Neuronen auf als bei jedem anderen Roboter. Man würde denken: „Wow, er arbeitet ja hart!“ Aber tatsächlich war er am schlechtesten darin, den Anweisungen zu folgen.
- Die Lektion: Nur weil das Gehirn eines Roboters vor Aktivität summt, bedeutet das nicht, dass er klar denkt. Manchmal ist all dieses Rauschen nur das Zeichen dafür, dass der Roboter durch die zusätzlichen Anweisungen verwirrt wird, anstatt die Persona wirklich zu verstehen.
Was das für Sie bedeutet
Das Paper sagt nicht, dass „demografisches Prompting“ kaputt ist. Stattdessen legt es nahe, dass es ein Werkzeug ist, das mit Vorsicht eingesetzt werden muss.
- Überhäufen Sie den Roboter nicht: Wenn Sie möchten, dass der Roboter wie ein bestimmter Typ Mensch klingt, wählen Sie eins bis drei klare, konsistente Merkmale. Erzählen Sie nicht seine gesamte Lebensgeschichte.
- Prüfen Sie die Übereinstimmung: Wenn die Gruppe, die Sie nachahmen wollen, sich in der Mitte gespalten ist darüber, was Dinge bedeuten, kann der Roboter wahrscheinlich nicht helfen.
- Es kommt auf den Roboter an: Einige Roboter (wie Llama oder Qwen) wurden mit den richtigen Hinweisen besser in diesen Aufgaben. Andere (wie DeepSeek) wurden tatsächlich schlechter, egal was man ihnen sagte.
Kurz gesagt: Die Forscher legen nahe, dass die Gabe eines „Personas“ an einen Roboter kein magischer Knopf ist, der alles behebt. Es ist eher wie das Stimmen eines Radios: Man muss die richtige Frequenz finden (die richtigen wenigen Attribute), um ein klares Signal zu erhalten. Wenn man den Regler zu weit dreht oder versucht, gleichzeitig auf zu viele Sender zu hören, bekommt man nur statisches Rauschen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.