Large Language Models are Perplexed by some Political Parties
Diese Arbeit zeigt auf, dass über zehn große Sprachmodelle und 37 Sprachen hinweg die politische Fairness beeinträchtigt ist, da die Modelle eine höhere Perplexität gegenüber Texten rechtsextremer und nationalistischer Parteien im Vergleich zu sozialdemokratischen aufweisen, ein Bias, der im Pretraining und nicht im Instruction-Tuning verwurzelt ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der fast alles gelesen hat, was jemals im Internet geschrieben wurde. Sie nennen diesen Roboter ein „Sprachmodell“. Nun stellen Sie sich vor, Sie bitten diesen Roboter, Reden oder Parteiprogramme aus der ganzen Welt zu lesen.
Die Forscher in dieser Arbeit stellten eine einfache Frage: Behandelt dieser Roboter alle politischen Parteien fair oder hat er einen geheimen Favoriten?
Um das herauszufinden, baten sie den Roboter nicht nach einer Meinung (was schwierig ist, da Roboter leicht dazu verleitet werden können, je nachdem, wie man sie fragt, unterschiedliche Dinge zu sagen). Stattdessen verwendeten sie ein „Überraschungsmesser“ namens Perplexität.
Die Analogie des „Überraschungsmessers“
Stellen Sie sich den Roboter wie einen Menschen vor, der ein Buch liest.
- Wenn die Person einen Satz liest, der absolut Sinn ergibt und genau das ist, was sie erwartet, ist sie nicht überrascht. Ihr „Überraschungsmesser“ bleibt niedrig.
- Wenn die Person einen Satz liest, der seltsam, verwirrend oder mit Wörtern ist, die sie noch nie gesehen hat, ist sie sehr überrascht. Ihr „Überraschungsmesser“ geht hoch.
In der Welt der KI bedeutet geringe Überraschung (niedrige Perplexität), dass der Roboter den Text leicht zu verstehen und vorherzusagen findet. Hohe Überraschung (hohe Perplexität) bedeutet, dass der Roboter den Text schwierig, seltsam oder „untypisch“ findet.
Was sie herausgefunden haben
Die Forscher testeten 10 verschiedene Roboter (Large Language Models) unter Verwendung von Texten aus 37 verschiedenen Sprachen. Sie untersuchten Reden vieler verschiedener politischer Gruppen, von Sozialisten bis hin zu Nationalisten.
Hier ist die große Entdeckung: Die Roboter waren von bestimmten politischen Parteien konsequent mehr „überrascht“ als anderen.
- Die Favoriten: Die Roboter waren am wenigsten überrascht von sozialdemokratischen Parteien (denken Sie an moderate, zentristische Gruppen links). Diese Texte fühlten sich für die Roboter „normal“ und leicht an.
- Die Fremden: Die Roboter waren am meisten überrascht von rechtsradikalen und nationalistischen Parteien. Diese Texte fühlten sich für die Roboter „seltsam“ oder schwierig an, obwohl sie in denselben Sprachen verfasst waren.
Es ist, als hätte der Roboter eine mentale Bibliothek, in der er Millionen von Büchern über moderate Politik gelesen hat, aber nur sehr wenige Bücher über extremen Nationalismus. Wenn er eine nationalistische Rede sieht, ist es, als würde er ein Buch in einer Sprache lesen, die er kaum beherrscht – er stolpert über die Wörter.
Der „Basis-“ vs. der „Feinabstimmungs-Roboter“
Die Forscher prüften auch, ob diese Voreingenommenheit aus dem ursprünglichen Training des Roboters (dem Lesen des Internets) stammt oder ob er später von Menschen beigebracht wurde, „nett“ zu sein (ein Prozess, der Instruction Tuning genannt wird).
Sie fanden heraus, dass die Voreingenommenheit bereits im rohen Roboter vorhanden war, bevor Menschen ihm überhaupt beigebracht haben, wie man chattet.
- Die Analogie: Stellen Sie sich einen Schüler vor, der in einer Nachbarschaft aufwächst, in der alle sehr höflich sind. Selbst wenn man ihm später einen strengen Lehrer stellt, der ihm beibringt, ein „guter Bürger“ zu sein, war der natürliche Instinkt des Schülers, höflich zu sein (oder in diesem Fall der natürliche Instinkt, bei bestimmten Themen „unwohl“ zu sein), bereits in seiner Persönlichkeit verankert.
- Das Ergebnis: Das Ändern der Anweisungen für den Roboter korrigierte die Voreingenommenheit nicht. Das „Überraschungsmesser“ blieb für dieselben Gruppen hoch, egal ob der Roboter „roh“ oder „feinabgestimmt“ war.
Die Verbindung zur Übersetzung
Die Arbeit untersuchte auch, was passiert, wenn diese Roboter Texte übersetzen. Sie fanden eine direkte Verbindung:
- Wenn der Roboter von einer politischen Partei überrascht war (hohe Perplexität), machte er eine schlechte Arbeit bei der Übersetzung dieser Rede in andere Sprachen.
- Wenn der Roboter mit der Rede vertraut war (niedrige Perplexität), machte er eine gute Arbeit bei der Übersetzung.
Dies deutet darauf darauf hin, dass die „Unfairness“ des Roboters nicht nur darin besteht, was er im Chat sagt; es geht darum, wie gut er den Text im ersten Schritt versteht und verarbeitet.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle einen eingebauten „politischen Geschmack“ haben, der aus den Daten stammt, mit denen sie trainiert wurden. Sie sind von Natur aus komfortabler mit einigen politischen Standpunkten (wie der Sozialdemokratie) und haben von Natur aus Schwierigkeiten mit anderen (wie dem Rechtsextremismus/Nationalismus).
Dies ist nichts, was man einfach beheben kann, indem man dem Roboter später sagt, er solle „fair sein“. Die Voreingenommenheit liegt tief im Fundament, so wie die Art und Weise, wie ein Haus gebaut wurde. Um es zu beheben, müsste man die Materialien ändern, die zum Bau des Hauses verwendet wurden, und zwar direkt im Training.
Wichtiger Hinweis: Die Forscher haben nur formale politische Texte (wie Parteiprogramme und Parlamentsreden) getestet. Sie haben nicht untersucht, wie die Roboter mit informellen Social-Media-Posts oder informellen Gesprächen umgehen, daher wissen wir nicht, ob die Ergebnisse dort dieselben wären.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.