Polistemics: Evaluating LLMs as Information Mediators in Politics & Elections
Das Papier führt „Polistemics“ ein, einen Benchmark, der auf epistemischer Bescheidenheit basiert und aufzeigt, dass aktuelle große Sprachmodelle daran scheitern, politische Informationen konsistent verantwortungsbewusst zu vermitteln, insbesondere wenn sie mit vagen, widersprüchlichen oder fehlenden Daten konfrontiert werden, obwohl sie unter klaren Bedingungen gut abschneiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch eine riesige, lärmende Bibliothek, in der Millionen von Menschen versuchen herauszufinden, wen sie wählen sollen. In der Vergangenheit hätten Sie vielleicht einen Bibliothekar gefragt, eine Zeitung gelesen oder im Internet gesucht. Aber jetzt gibt es eine neue Art von Bibliothekar: einen superintelligenten Roboter, der mit Ihnen sprechen, Bücher zusammenfassen und Fragen sofort beantworten kann. Dieser Roboter ist eine KI, oder ein Large Language Model (LLM). Die große Frage ist nicht nur: „Kennt der Roboter die Fakten?“, sondern: „Ist der Roboter ein guter Vermittler?“ Ein Vermittler ist jemand, der zwischen Ihnen und der rohen Information steht und entscheidet, was er Ihnen zeigt, wie er es erklärt und wie sicher er dabei klingt. Wenn der Roboter zu selbstbewusst ist, obwohl er eigentlich nur rät, oder wenn er versehentlich den Ton einer wütenden Rede eines Politikers verändert, um sie höflich klingen zu lassen, könnte er Sie dazu verleiten, eine schlechte Entscheidung zu treffen. Dieses Paper untersucht die Wissenschaft dahinter, wie diese KI-Roboter mit politischen Informationen umgehen, und testet speziell, ob sie ehrlich damit umgehen können, was sie wissen und was sie nicht wissen.
Die Forscher hinter dieser Studie, angeführt von Baran Peters, entwickelten einen neuen Test namens POLISTEMICS, um zu sehen, wie gut diese KI-Roboter als Vermittler während Wahlen agieren. Sie haben die Roboter nicht einfach nur gebeten, zu wiederholen, was eine politische Partei gesagt hat; sie wollten sehen, wie die Roboter mit ungeordneten, verwirrenden oder fehlenden Informationen umgehen, genau wie in der realen Welt. Sie testeten drei der populärsten KI-Roboter (Qwen, GPT und Claude) zu Fragen über die Wahlen 2025 in Deutschland und den Niederlanden.
Hier ist, was sie herausgefunden haben: Die Roboter sind bei ihrer Arbeit tatsächlich recht gut, wenn die Informationen klar und leicht auffindbar sind. Sie können Ihnen mit hoher Genauigkeit sagen, was die Position einer Partei ist. Die Roboter geraten jedoch ins Straucheln, wenn die Informationen vage, fehlend oder widersprüchlich sind. Wenn die Beweise fehlen, erfinden einige Roboter selbstbewusst eine Antwort basierend auf dem, was sie aus ihrem Training „erinnern“, obwohl sie eigentlich nur hätten sagen sollen: „Ich weiß es nicht.“ Wenn die Informationen vage sind, geben sie oft vor, zu 100 % sicher zu sein, selbst wenn der Text, den sie gerade lesen, voller Lücken ist.
Die Studie entdeckte auch, dass die Roboter über „Party Priors“ verfügen, was eine schicke Art zu sagen ist, dass sie eingebaute Vorurteile darüber haben, welche Parteien welche sind. Wenn Sie nach einer bestimmten Partei fragen, greift der Roboter möglicherweise auf sein internes Wissen zurück, anstatt sich auf die Beweise zu stützen, die Sie ihm gegeben haben. Interessanterweise verhalten sich die Roboter fairer, wenn man den Namen der Partei verbirgt und sie einfach „Partei A“ nennt. Dies deutet darauf hin, dass die Roboter nicht nur neutrale Maschinen sind; sie werden davon beeinflusst, über wen sie sprechen.
Eine der überraschendsten Erkenntnisse ist, dass die Roboter dazu neigen, die politische Sprache zu „sanitizen“ (zu bereinigen). Wenn ein Politiker feurige, intensive oder emotionale Worte verwendet, um einen Punkt zu machen, glättet die KI diese Wörter oft heraus und lässt die Rede langweilig und neutral klingen. Es ist, als ob eine Rockband ein Lied singt und die KI es in ein Schlaflied verwandelt; die Bedeutung ist noch da, aber die Energie und die Besonderheit sind verschwunden. Diese Abflachung der politischen Sprache geschieht selbst dann, wenn die Roboter versuchen, neutral zu sein.
Kurz gesagt legt das Paper nahe, dass diese KI-Roboter zwar mächtige Werkzeuge sind, aber noch keine perfekten Vermittler. Sie sind großartig darin, klare Fakten zusammenzufassen, aber sie haben Schwierigkeiten, wenn die Wahrheit unordentlich oder lückenhaft ist. Sie geben manchmal vor, sich sicherer zu sein, als sie sind, und sie neigen dazu, die farbenfrohe, intensive Natur der politischen Debatte zu verwässern. Die Autoren kommen zu dem Schluss, dass die KI, um bei Wahlen wirklich sicher und hilfreich zu sein, lernen muss, „epistemisch bescheiden“ zu sein – ein schicker Ausdruck dafür, dass sie wissen muss, wann sie sagen muss: „Ich bin mir nicht sicher“, und die Bürger entscheiden lässt, ihre eigenen Meinungen zu bilden, ohne von der falschen Selbstsicherheit eines Roboters getäuscht zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.