"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness
Dieses Paper führt ein neuartiges Multi-Domain-Korpus sowie ein Audit-Protokoll zur Verfolgung sozialer Vorurteile gegenüber Obdachlosigkeit in Online- und Offline-Diskursen ein und zeigt auf, dass Large Language Models zwar solche Vorurteile identifizieren können, jedoch unter einer signifikanten Fehlkalibrierung leiden, die „NIMBY“-Sentiments systematisch überbewertet und faktische Behauptungen untererfasst.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet wie einen riesigen, chaotischen Stadtplatz vor, auf dem Millionen von Menschen jede Sekunde ihre Gedanken, Beschwerden und Geschichten herausschreien. Stellen Sie sich nun vor, dass einige dieser Schreie über ein sehr ernstes, schmerzhaftes Problem handeln: Menschen, die keinen Ort zum Schlafen haben. Dies ist die Welt der „Obdachlosigkeit“, eine Situation, in der Menschen keinen sicheren Ort zum Leben haben. In diesem digitalen Stadtplatz streiten die Menschen darüber, wo man Unterkünfte bauen sollte, ob obdachlose Menschen Hilfe verdienen oder warum sie überhaupt dort sind. Manchmal sind diese Diskussionen hilfreich; manchmal sind sie erfüllt von Vorurteilen, Angst oder boshaften Stereotypen.
Wissenschaftler, die Sprache auf Computern untersuchen (ein Feld namens Natural Language Processing), haben „schlaue Roboter“ namens Large Language Models (LLMs) gebaut. Denken Sie an diese Roboter als an superschnelle Bibliothekare, die in einem Augenblick Millionen von Büchern, Tweets und Forenbeiträgen lesen können. Ihre Aufgabe ist es oft, als „Bias-Detektor“ zu fungieren, der den Lärm scannt, um spezifische Arten von gemeiner oder unfairer Sprache zu finden. Aber hier ist der Haken: Nur weil ein Roboter schnell ist und viel gelesen hat, bedeutet das nicht, dass er das Gefühl oder den Kontext dessen versteht, was er liest. Er könnte eine Frage mit einem Angriff verwechseln oder denken, dass die Erwähnung eines Hauses bedeutet, dass jemand Obdachlose hasst. Diese Arbeit stellt eine entscheidende Frage: Können diese digitalen Bibliothekare tatsächlich zwischen einer echten Beschwerde und einem hasserfüllten Bias unterscheiden, oder raten sie nur basierend auf den falschen Hinweisen?
Das „Not in My Backyard“-Missverständnis
In dieser Studie beschlossen ein Team von Forschern der University of Notre Dame und der United Nations University, diese smarten Roboter an einem sehr spezifischen, heiklen Thema zu testen: dem Bias gegen Menschen, die von Obdachlosigkeit betroffen sind (People Experiencing Homelessness – PEH). Sie wollten sehen, ob die Roboter genau erkennen konnten, wenn Menschen Dinge wie „Not In My Backyard“ (NIMBY) sagten – eine schicke Art zu sagen: „Ich möchte keine Obdachlosenunterkunft in der Nähe meines Hauses haben.“
Zu diesem Zweck bauten sie eine massive digitale Bibliothek. Sie sammelten über 50.447 Textstücke aus zehn verschiedenen US-Städten, die sie aus vier sehr unterschiedlichen Quellen bezogen: Reddit-Threads, X (ehemals Twitter)-Posts, Zeitungsartikel und tatsächliche Transkripte aus Stadtratssitzungen, in denen echte Menschen über politische Maßnahmen debattieren. Sie deckten ein ganzes Jahrzehnt ab, von 2015 bis 2025.
Aber eine Bibliothek ist nur so gut wie ihr Katalog. Deshalb ließen die Forscher die Roboter nicht einfach alles labeln. Sie holten menschliche Experten hinzu – Menschen, die mit obdachlosen Bevölkerungsgruppen in Non-Profit-Organisationen arbeiten –, um eine sorgfältig ausgewählte Stichprobe von 1.698 Posts zu lesen. Diese Menschen fungierten als „Goldstandard“, die Wahrheitsager, die entschieden, was ein Post tatsächlich bedeutete. Sie verwendeten eine detaillierte Checkliste mit 16 verschiedenen Kategorien zur Kennzeichnung des Textes, die von „Äußerung einer Meinung“ bis hin zu „schädlichen Verallgemeinerungen“ und natürlich „Not In My Backyard“ reichte.
Der große Fehler des Roboters
Die Forscher baten dann sechs verschiedene smarte Roboter (darunter große Namen wie GPT-4.1, Gemini und LLaMA), dieselben Posts zu lesen und die Labels zu erraten. Sie erwarteten, dass die Roboter ziemlich gut sein würden, vielleicht etwa 43 % der schwierigen Labels richtig erkennen würden (ein Wert, der als „Macro-F1“ bezeichnet wird). Und tatsächlich sahen die Roboter auf dem Papier ganz ordentlich aus. Sie schienen einen soliden Job zu machen.
Doch dann schauten die Forscher genauer hin, und genau da fanden sie den Fehler.
Sie entdeckten, dass die Roboter unter einem massiven „Kalibrierungsfehler“ litten. Stellen Sie sich einen Rauchmelder vor, der so empfindlich ist, dass er jedes Mal „FEUER!“ schreit, wenn Sie ein Stück Brot toasten. Genau das passierte hier. Jeder einzelne Roboter, den das Team testete, war viel zu eifrig darin, einen Post als „Not In My Backyard“ zu kennzeichnen.
Im Durchschnitt überschätzten die Roboter den NIMBY-Bias um 11,5 Prozentpunkte im Vergleich zu den menschlichen Experten. Auf gut Deutsch: Wenn ein Mensch sagte: „Diese Person stellt nur eine Tatsache fest“, rief der Roboter oft: „Diese Person ist ein NIMBY!“
Wenn zum Beispiel jemand postete: „Sie haben all diesen bezahlbaren Wohnraum, aber der Nachteil ist, dass er in [Stadt] liegt“, stuften die Menschen dies lediglich als „Feststellung einer Tatsache“ oder „Äußerung einer Meinung“ ein. Aber vier der sechs Roboter markierten dies sofort als „Not In My Backyard“. Warum? Weil die Roboter von zwei einfachen Hinweisen getäuscht wurden:
- Wörter zum Thema Wohnen: Wenn der Text „Wohnraum“ oder „bezahlbarer Wohnraum“ erwähnte, nahm der Roboter an, dass jemand dagegen sei.
- Fragezeichen: Wenn der Post eine Frage war, nahm der Roboter an, es handele sich um einen sarkastischen, rhetorischen Angriff.
Die Roboter spielten im Grunde ein Spiel des „Bias-Raten“ basierend auf einem oberflächlichen Wörterbuch von Wörtern, anstatt tatsächlich die Bedeutung zu verstehen. Sie behandelten die Erwähnung von Wohnraum als Beweis für die Ablehnung von Wohnraum.
Die „Fakten“-Blindheit
Die Roboter behaupteten nicht nur Bias zu übertreiben; sie übersahen auch die Wahrheit. Die Studie fand heraus, dass die Roboter schrecklich darin waren, zu erkennen, wenn jemand tatsächlich eine Tatsache oder eine Behauptung lieferte. Sie unterschätzten die Erkennung faktischer Aussagen um gewaltige 30,5 Prozentpunkte.
Dies ist eine gefährliche Mischung. Wenn Sie diese Roboter nutzen würden, um die öffentliche Meinung für einen Stadtrat zu überwachen, würden Sie ein verzerrtes Bild der Realität erhalten. Sie würden glauben, die Gemeinschaft sei viel feindseliger und ablehnender gegenüber Unterkünften, als sie eigentlich ist (weil der Roboter falsche NIMBY-Alarme auslöst), und Sie würden glauben, dass sie viel weniger evidenzbasierte Informationen liefern, als sie es tatsächlich tun (weil die Roboter die Fakten ignorierten).
Was dies für die Zukunft bedeutet
Die Forscher wiesen nicht nur auf das Problem hin; sie boten auch einen Weg zur Lösung an. Sie erkannten, dass man den Rohdaten der Roboter nicht einfach vertrauen kann. Selbst wenn ein Roboter sagt, er sei zu „80 % genau“, kann es dennoch sein, dass er darüber lügt, wie viele Menschen voreingenommen sind.
Das Paper schlägt vor, dass Städte oder Organisationen, die diese KI-Tools nutzen wollen, um Stigmatisierung gegenüber obdachlosen Menschen zu verfolgen, ein „Prävalenz-Audit“ durchführen müssen. Das bedeutet, die Arbeit des Roboters ständig mit einer kleinen, vertrauenswürdigen Gruppe menschlicher Experten abzugleichen, um zu sehen, ob der Roboter die Zahlen künstlich aufbläht. Sie fanden auch heraus, dass kleinere, lokale Roboter (wie jene, die man auf dem eigenen Computer aus Datenschutzgründen laufen lassen könnte) bei dieser Aufgabe noch schlechter abschnitten als die großen, teuren Modelle.
Letztendlich ist dieses Paper ein Warnschild für das digitale Zeitalter. Es zeigt, dass KI zwar ein mächtiges Werkzeug ist, um die Welt zu belauschen, aber derzeit ein sehr tollpatschiger Zuhörer ist. Sie hört die Wörter „Wohnraum“ und „Fragezeichen“ und zieht sofort den Schluss, dass jemand gemein ist. Bis wir diese Roboter gelehrt haben, die Nuance zwischen einer Tatsache und einer Angst zu verstehen, können wir sie nicht allein das Ruder führen lassen. Wir müssen die menschlichen Experten im Prozess behalten, um sicherzustellen, dass wir nicht nur der Fantasie des Roboters zuhören.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.