💬 NLP

OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

Dit artikel introduceert OATH-Frames, een typologie van negen categorieën voor het analyseren van online attitudes ten opzichte van dakloosheid in de VS, en demonstreert dat het inzetten van grote taalmodellen om domeinexperts te ondersteunen de annotatie van 2,4 miljoen Twitter-berichten kan opschalen met een versnelling van 6,5x en minimaal prestatieverlies, wat genuanceerde inzichten oplevert in het publieke sentiment over verschillende demografieën en regio's.

Oorspronkelijke auteurs: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe miljoenen mensen zich voelen over een complex, emotioneel vraagstuk zoals dakloosheid. Als je elke individuele tweet daarover zou proberen te lezen, zou je begraven worden onder een berg tekst sneller dan je kunt knipperen. Het is alsof je uit een brandslang probeert te drinken.

Dit artikel, getiteld "OATH-Frames," gaat over het bouwen van een betere bril om te zien wat er werkelijk in die brandslang zit. De onderzoekers gebruikten een combinatie van menselijke experts uit het sociaal werk en krachtige AI (Large Language Models) om 2,4 miljoen tweets over dakloosheid in de VS te sorteren.

Hier is het verhaal van hoe ze het deden, opgedeeld in eenvoudige delen:

1. Het Probleem: De "One-Size-Fits-All" Bril

Voordat deze studie plaatsvond, zou je, als je tweets over dakloosheid wilde analyseren, standaardtools kunnen gebruiken die simpelweg vragen: "Is deze tweet gemeen?" (Toxiciteit) of "Is deze tweet blij of verdrietig?" (Sentiment).

De onderzoekers stellen dat deze tools als het proberen te sorteren van een gemengde zak fruit met alleen een "Rode" en "Groene" sticker.

De Fout: Een tweet kan zeggen: "Daklozen zijn lui en vies." Standaardtools zouden dit kunnen missen omdat het geen "scheldwoorden" gebruikt (lage toxiciteit) en niet "blij" is (negatief sentiment). Maar het is diep schadelijk.
De Realiteit: Menselijke attitudes zijn rommelig. Je kunt sympathie voelen voor een dakloze én tegelijkertijd boos zijn op de overheid omdat ze het niet oplossen, allemaal in dezelfde zin. Simpele "goed/slecht" labels missen deze nuance.

2. De Oplossing: Het "OATH-Frames" Menu

Het team creëerde een nieuw "menu" van negen specifieke categorieën (frames) om precies te beschrijven hoe mensen over dakloosheid praten. Denk aan dit als een proeverij van een chef-kok in plaats van alleen maar "eten".

Ze groepeerden deze negen categorieën in drie hoofdsmaken:

Critiques (De Klachten):
- Government Critique (Kritiek op de overheid): Politici of wetten de schuld geven.
- Societal Critique (Maatschappelijke kritiek): De samenleving of "hypocriete" mensen de schuld geven.
- Money Aid (Financiële hulp): Discussiëren over waar belastinggeld naartoe moet gaan.
Perceptions (De Stereotypen):
- Harmful Generalizations (Schadelijke generalisaties): Daklozen bestempelen als dieven, verslaafden of lui.
- Deserving vs. Undeserving (Verdienend vs. Niet-verdienend): Argumenteren dat bepaalde groepen (zoals veteranen) meer hulp verdienen dan anderen (zoals immigranten).
- Not In My Backyard (NIMBY - Niet in mijn achtertuin): "Ik vind dakloosheid prima, maar niet in mijn buurt."
Responses (De Reacties):
- Solutions (Oplossingen): Voorstellen van fixes, opvangcentra of beleidswijzigingen.
- Personal Interaction (Persoonlijke interactie): Het delen van een verhaal over een ontmoeting met een dakloze.
- Media Portrayal (Media-portrettering): Praten over hoe het nieuws of tv-programma's dakloosheid laten zien.

3. Het Proces: De "Mens-AI Dans"

Het handmatig sorteren van 2,4 miljoen tweets zou een menselijk team jaren kosten. Het sorteren met alleen AI is riskant omdat AI subtiele sociale signalen (zoals sarcasme of specifieke politieke verwijzingen) kan missen.

Dus bedachten ze een "Mens-AI Dans":

De Experts: Sociaal werkexperts definieerden eerst de regels (het "menu") en labelden een kleine batch tweets om de AI te leren waar hij naar moest kijken.
De AI Assistent (GPT-4): De AI probeerde duizenden tweets te labelen. Wanneer de AI in de war raakte, legde hij zijn redenering uit (zoals een leerling die zijn berekening laat zien).
De Controle: De menselijke experts bekeken het "werk" van de AI en corrigeerden de fouten. Ze ontdekten dat door de AI het zware werk te laten doen en alleen de resultaten te controleren, ze 6,5 keer sneller waren in het labelen, met slechts een minimale daling in nauwkeurigheid.
De Laatste Etappe: Zodra de AI de kneepjes van het vak leerde van de experts, trainden ze een kleiner, sneller AI-model om de resterende 2,4 miljoen tweets zelfstandig te labelen.

4. Wat Ze Vonden: De Verborgen Patronen

Toen ze alle 2,4 miljoen tweets gesorteerd hadden in deze negen categorieën, konden ze patronen zien die voorheen onzichtbaar waren.

De "Toxiciteit" Blind Spot: Ze ontdekten dat veel tweets met schadelijke stereotypen (zoals daklozen "vies" noemen) lage "toxiciteitsscores" hadden. De nieuwe "OATH-Frames" van de onderzoekers vingen deze op, terwijl de oude tools dit misten.
Locatie Maakt Verschil:
- In Californië, Washington en Oregon waren mensen eerder geneigd om Harmful Generalizations (stereotypen) te gebruiken. De onderzoekers denken dat dit komt omdat er daar meer zichtbare, dakloze populaties zonder onderkomen zijn, wat leidt tot meer directe (en soms negatieve) reacties.
- In New York waren mensen eerder geneigd te discussiëren over Deserving vs. Undeserving groepen. Dit leek gekoppeld aan het nieuws over migranten en asielzoekers die in de stad aankomen, wat debatten ontketende over wie er wel of geen hulp "verdient".
De "Oekraïne vs. Immigrant" Splitsing:
- Wanneer mensen Amerikanen met dakloosheid vergeleken met Oekraïners, gingen de tweets vooral over Government Critique en Money Aid (bijv. "Waarom sturen we miljarden naar Oekraïne terwijl we hier daklozen hebben?").
- Wanneer mensen Amerikanen met dakloosheid vergeleken met Immigranten, waren de tweets veel vijandiger, vol met Harmful Generalizations en NIMBY-houdingen (bijv. "Zij nemen onze banen/woningen over").
Tijd Maakt Verschil: Tijdens grote nieuwsgebeurtenissen (zoals de debatten over de financiering van de oorlog in Oekraïne) piekten de tweets in specifieke categorieën. Toen het Congres discussieerde over hulp aan Oekraïne, explodeerden de argumenten rondom "Money Aid" en "Deserving vs. Undeserving" in de tweets.

De Kernboodschap

Dit paper telde niet alleen tweets; het leerde een computer de nuance te begrijpen van menselijke woede, sympathie en verwarring met betrekking tot dakloosheid.

Door menselijke expertise uit het sociaal werk te combineren met de snelheid van AI, creëerden ze een instrument dat subtiele, schadelijke attitudes kan opsporen die standaard "gemeen vs. aardig" detectoren missen. Ze lieten zien dat de manier waarop we over dakloosheid praten verandert afhankelijk van waar we wonen, met wie we ze vergelijken en wat er op dit moment in het nieuws gebeurt.

Noot: Het paper richt zich volledig op het analyseren van deze online attitudes om onderzoekers en belangenorganen te helpen de publieke opinie beter te begrijpen. Het beweert niet direct een oplossing voor dakloosheid te bieden of klinisch advies te geven, maar biedt een helderder venster om het probleem te zien.

Probleemstelling
Publieke houdingen ten opzichte van complexe maatschappelijke vraagstukken, zoals dakloosheid in de VS, zijn waardevol voor beleid en hervorming, maar zijn op grote schaal moeilijk te begrijpen. Traditionele sociaalwetenschappelijke methoden, waaronder etnografische studies en kwalitatieve enquêtes, zijn beperkt in omvang en kunnen het volume aan online discours dat op platforms zoals Twitter wordt gegenereerd, niet verwerken. Large Language Models (LLM's) bieden een potentiële oplossing voor het opschalen van sociaalwetenschappelijk onderzoek, maar hun betrouwbaarheid bij het verwerken van genuanceerde, latente houdingen ten opzichte van gevoelige onderwerpen blijft een openstaande vraag. Bestaande sentiment- en toxiciteitsclassificatiesystemen falen vaak in het vastleggen van subtiele, schadelijke stereotypen en de specifieke inkadering (framing) van dakloosheid, met name wanneer deze retoriek wordt gemaskeerd door humor, sarcasme of subtiele generalisaties.

Methodologie
De auteurs stellen een collaboratief kader voor waarbij experts in het sociaal werk en LLM's samenwerken om online houdingen te karakteriseren. De methodologie bestaat uit drie primaire componenten:

Frame Discovery (Ontdekking van kaders): Met behulp van grounded theory en framing theory analyseerden vier domeinexperts een steekproef van 3,1 miljoen Twitter-berichten (gefilterd uit een initiële 5 miljoen) om een nieuwe typologie te ontwikkelen genaamd OATH-Frames (Online Attitudes Towards Homelessness). Deze typologie categoriseert houdingen in drie overkoepelende thema's—Critiques (Kritiek), Perceptions (Percepties) en Responses (Reacties)—die verder worden onderverdeeld in negen fijnmazige, issuespecifieke frames:
- Critiques: Government Critique (Overheidskritiek), Societal Critique (Maatschappijkritiek), Money Aid Resource Allocation (Allocatie van middelen voor geldelijke hulp).
- Perceptions: Harmful Generalization (Schadelijke Generalisatie), Deserving vs. Undeserving (Verdienstig vs. Onderdienstig), Not in My Backyard (NIMBY - Niet in mijn achtertuin).
- Responses: Solutions/Interventions (Oplossingen/Interventies), Personal Interaction (Persoonlijke Interactie), Media Portrayal (Media-portrettering).
Annotatiestrategieën: De auteurs gebruikten drie verschillende annotatiebenaderingen om schaalbaarheid en nauwkeurigheid te evalueren:
- Expert-Only (Alleen expert): Domeinexperts annoteerden 4.100 berichten, waarbij een macro F1 van 0,55 en een Fleis' $\kappa$ van 0,46 werd bereikt.
- LLM-Assisted Expert (Expert+GPT-4): Deze pijplijn omvatte GPT-4 die initiële voorspellingen genereerde met Chain-of-Thought (CoT) redenering, die vervolgens door experts werden gevalideerd en gecorrigeerd. Experts gebruikten de OATH-Richtlijnen om prompts te verfijnen en fout-positieven eruit te filteren. Deze aanpak resulteerde in een 6,5× versnelling in annotatietijd vergeleken met experts die alleen werkten, met slechts een reductie van 3 punten in de macro F1 (0,52 vs. 0,55).
- Model Prediction (Modelvoorspelling): Een Flan-T5-Large model werd gefinetuned op de gecombineerde expert- en expert+LLM-datasets (ongeveer 10,4k voorbeelden) om frames te voorspellen op een grootschalige dataset van 2,4 miljoen berichten. Dit model behaalde een macro F1 van 0,50, wat vergelijkbaar is met de expert+LLM-setting.
Analyse: De auteurs gebruikten de 2,4 miljoen voorspelde annotaties om houdingen te analyseren over staten, perioden en vergelijkingen met andere kwetsbare populaties. Ze vergeleken OATH-Frames ook met standaard toxiciteits- en sentimentclassificaties.

Belangrijkste Resultaten

Efficiëntie van Annotatie: De Expert+GPT-4 pijplijn verminderde de tijd die nodig is voor annotatie aanzienlijk (van ~187 seconden naar ~29 seconden per bericht) terwijl de nauwkeurigheid hoog bleef, wat een levensvatbare afweging demonstreert voor het opschalen van sociaal gevoelige taken.
Beperkingen van Bestaande Classificatiesystemen: De studie vond dat standaard toxiciteits- en sentimentclassificatiesystemen falen in het identificeren van schadelijke retoriek tegen mensen in dakloosheid (PEH). Een meerderheid van de berichten gelabeld met het frame Harmful Generalization had toxiciteitsscores onder de 0,5, en de sentimentverdelingen voor schadelijke en niet-schadelijke berichten waren statistisch vergelijkbaar.
Sociopolitieke Trends:
- Geografische Variatie: Harmful Generalization kwam het meest voor in berichten over Californië, Washington en Oregon, wat correleert met hogere populaties van ontheemde PEH. In contrast hiermee waren Deserving vs. Undeserving en Money Aid prominenter in New York, wat correleert met discussies over immigranten en asielzoekers.
- Temporele Correlatie: Houdingen piekten in december 2022, samenvallend met de debatten in het Amerikaanse Congres over hulp aan Oekraïne. Deze periode zag een toename in de frames Government Critique en Deserving vs. Undeserving, waarbij de financiering voor Oekraïne werd gecontrasteerd met de binnenlandse dakloosheidscrisis.
- Populatievergelijkingen: Wanneer PEH werden vergeleken met Oekraïners, richtte het publieke discours zich op Government Critique en de allocatie van middelen. Daarentegen riepen vergelijkingen tussen PEH en immigranten NIMBY-houdingen en Harmful Generalizations op.

Betekenis en Claims
Het artikel beweert een generaliseerbaar kader te bieden voor het begrijpen van genuanceerde publieke houdingen op grote schaal bij sociaal gevoelige kwesties. Door de introductie van OATH-Frames laten de auteurs zien dat het modelleren van specifieke framing-typologieën duidelijke voordelen biedt ten opzichte van grofmazige sentiment- en toxiciteitsanalyse, met name bij het detecteren van subtiele stereotypering en schadelijke retoriek tegen gemarginaliseerde populaties. Het werk dient als een blauwdruk voor het integreren van sociaalwetenschappelijke expertise met de mogelijkheden van LLM's om de analyse van publieke opinie te versnellen, waardoor belangenbehartigers en beleidsmakers diepere inzichten kunnen verkrijgen in complexe sociale vraagstukken zoals dakloosheid. De auteurs geven expliciet aan dat hun data en code publiekelijk beschikbaar gesteld zullen worden om verdere research in dit domein te ondersteunen.

1. Het Probleem: De "One-Size-Fits-All" Bril

2. De Oplossing: Het "OATH-Frames" Menu

3. Het Proces: De "Mens-AI Dans"

4. Wat Ze Vonden: De Verborgen Patronen

De Kernboodschap

Meer zoals dit