"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness
Dit artikel introduceert een nieuwelings ontwikkeld multi-domein corpus en auditprotocol voor het traceren van sociale vooroordelen tegenover dakloosheid in zowel online als offline discours, waarbij wordt onthuld dat hoewel grote taalmodellen dergelijke vooroordelen kunnen identificeren, ze lijden aan significante miskalibratie die systematisch "NIMBY"-sentimenten overmatig signaleert en feitelijke beweringen onderdetecteert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een gigantisch, chaotisch dorpsplein waar miljoenen mensen elke seconde hun gedachten, klachten en verhalen naar buiten schreeuwen. Stel je nu voor dat sommige van die kreten gaan over een zeer serieus, pijnlijk probleem: mensen die nergens kunnen slapen. Dit is de wereld van "dakloosheid", een situatie waarin mensen geen veilige plek hebben om te wonen. In dit digitale dorpsplein discussiëren mensen over waar ze opvangcentra moeten bouwen, of daklozen hulp verdienen, of waarom ze er überhaupt zijn. Soms zijn deze discussies nuttig; andere keren zijn ze gevuld met vooroordelen, angst of kwaadwillige stereotypen.
Wetenschappers die taal op computers bestuderen (een veld genaamd Natural Language Processing) hebben "slimme robots" gebouwd die "Large Language Models" (LLM's) worden genoemd. Denk aan deze robots als supersnelle bibliothecarissen die in een oogwenk miljoenen boeken, tweets en forumberichten kunnen lezen. Hun taak is vaak om een "bias-detector" te zijn, die de ruis scant om specifieke soorten kwetsende of oneerlijke taal te vinden. Maar hier is de crux: alleen omdat een robot snel is en veel heeft gelezen, betekent dat niet dat hij het gevoel of de context begrijpt van wat hij leest. Hij kan een vraag aanzien voor een aanval, of denken dat het noemen van een huis betekent dat iemand een hekel heeft aan daklozen. Dit artikel stelt een cruciale vraag: kunnen deze digitale bibliothecarissen het verschil zien tussen een oprechte klacht en een haatdragend vooroordeel, of gokken ze gewoon op basis van de verkeerde aanwijzingen?
De "Not in My Backyard" Verwarring
In dit onderzoek besloten een team van onderzoekers van de University of Notre Dame en de Verenigde Naties om deze slimme robots te testen op een zeer specifiek, lastig onderwerp: de bias tegen mensen die dakloosheid ervaren (PEH). Ze wilden zien of de robots nauwkeurig konden herkennen wanneer mensen dingen zeiden zoals "Not In My Backyard" (NIMBY)—een chique manier om te zeggen: "Ik wil niet dat er een daklozenopvang bij mijn huis wordt gebouwd."
Om dit te doen, bouwden ze een enorme digitale bibliotheek. Ze verzamelden meer dan 50.447 stukken tekst uit tien verschillende Amerikaanse steden, afkomstig van vier zeer verschillende bronnen: Reddit-threads, X (voorheen Twitter) berichten, nieuwsartikelen en werkelijke transcripten van vergaderingen van gemeenteraden waar echte mensen over beleid discussiëren. Ze bestreken een heel decennium, van 2015 tot 2025.
Maar een bibliotheek is slechts zo goed als zijn catalogus. Daarom lieten de onderzoekers de robots niet alles labelen. Ze brachten menselijke experts binnen—mensen die met dakloze populaties werken in non-profitorganisaties—om een zorgvuldig geselecteerde steekproef van 1.698 berichten te lezen. Deze mensen fungeerden als de "gouden standaard", de vertellers van de waarheid die bepaalden wat elk bericht eigenlijk betekende. Ze gebruikten een gedetailleerde checklist met 16 verschillende categorieën om de tekst te labelen, variërend van "het uiten van een mening" tot "schadelijke generalisaties" en natuurlijk "Not In My Backyard".
De Grote Fout van de Robot
De onderzoekers vroegen vervolgens aan zes verschillende slimme robots (inclusief grote namen zoals GPT-4.1, Gemini en LLaMA) om dezelfde berichten te lezen en de labels te raden. Ze verwachtten dat de robots best goed zouden zijn, misschien door ongeveer 43% van de lastige labels correct te labelen (een score die "macro-F1" wordt genoemd). En inderdaad, de robots zagen er op papier oké uit. Ze leken een redelijk goede baan te doen.
Maar toen keken de onderzoekers nauwer, en dat is waar ze de fout ontdekten.
Ze ontdekten dat de robots leden aan een enorme "kalibratiefout". Stel je een rookmelder voor die zo gevoelig is dat hij "BRAND!" schreeuwt telkens wanneer je een sneetje brood roostert. Dat is wat hier gebeurde. Elke enkele robot die het team testte, was veel te enthousiast om een bericht als "Not In My Backyard" te labelen.
Gemiddeld overschatten de robots de NIMBY-bias met 11,5 procentpunt vergeleken met de menselijke experts. In gewone mensentaal: als een mens zei: "Deze persoon stelt alleen een feit vast," bestempelde de robot dit vaak als: "Deze persoon is een NIMBY!"
Bijvoorbeeld, als iemand plaatste: "Ze hebben al die betaalbare woningen, maar het nadeel is dat het in [Stad] is," labelden de mensen dit als slechts "het vaststellen van een feit" of "het uiten van een mening." Maar vier van de zes robots bestempelden het direct als "Not In My Backyard." Waarom? Omdat de robots in de strik werden gelokt door twee eenvoudige aanwijzingen:
- Woorden over huisvesting: Als de tekst "huisvesting" of "betaalbare huisvesting" noemde, nam de robot aan dat iemand daar tegen was.
- Vraagtekens: Als het bericht een vraag was, nam de robot aan dat het een sarcastische, retorische aanval was.
De robots speelden in feite een spelletje "raad het vooroordeel" op basis van een oppervlakkige woordenlijst, in plaats van daadwerkelijk de betekenis te begrijpen. Ze behandelden de vermelding van huisvesting als bewijs van verzet tegen huisvesting.
De Blinde Vlek voor "Feiten"
De robots waren niet alleen te enthousiast in het claimen van bias; ze misten ook de waarheid. Het onderzoek vond dat de robots er slecht in waren om te detecteren wanneer iemand daadwerkelijk een feit of een bewering deelde. Ze detecteerden feitelijke verklaringen met een enorme achterstand van maar liefst 30,5 procentpunt.
Dit is een gevaarlijke combinatie. Als je deze robots gebruikt om de publieke opinie voor een gemeenteraad te monitoren, krijg je een vertekend beeld van de werkelijkheid. Je zou denken dat de gemeenschap veel vijandiger en meer tegenstander is van opvangcentra dan ze in werkelijkheid zijn (door de valse NIMBY-alarmen), en je zou denken dat ze veel minder op feiten gebaseerde informatie bieden dan ze in werkelijkheid doen (omdat de robots de feiten negeerden).
Wat dit betekent voor de toekomst
De onderzoekers wezen niet alleen op het probleem; ze boden ook een manier aan om het op te lossen. Ze realiseerden zich dat je de ruwe cijfers van de robots niet zomaar kunt vertrouwen. Zelfs als een robot zegt dat hij "80% accuraat" is, kan het nog steeds zijn dat hij liegt over hoeveel mensen bevooroordeeld zijn.
Het artikel suggereert dat als steden of organisaties deze AI-tools willen gebruiken om stigma tegen daklozen te volgen, ze een "prevalentie-audit" moeten uitvoeren. Dit betekent dat ze het werk van de robot constant moeten controleren tegen een kleine, vertrouwde groep menselijke experts om te zien of de robot de cijfers opblaast. Ze vonden ook dat kleinere, lokale robots (zoals de robots die je op je eigen computer kunt draaien voor privacy) er zelfs slechter in waren dan de grote, dure modellen.
Uiteindelijk is dit paper een waarschuwingslabel voor het digitale tijdperk. Het laat zien dat hoewel AI een krachtig hulpmiddel is om naar de wereld te luisteren, het momenteel een zeer onhandige luisteraar is. Het hoort de woorden "huisvesting" en een "vraagteken" en trekt direct de conclusie dat iemand gemeen is. Totdat we deze robots leren om het nuanceverschil tussen een feit en een angst te begrijpen, kunnen we hen niet het toneel alleen laten beheren. We moeten de menselijke experts in de loop houden om er zeker van te zijn dat we niet alleen luisteren naar de verbeelding van de robot.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.