💬 NLP

OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

Questo articolo introduce OATH-Frames, una tipologia a nove categorie per analizzare gli atteggiamenti online nei confronti del fenomeno dei senzatetto negli Stati Uniti, e dimostra che l'utilizzo di modelli linguistici di grandi dimensioni per assistere gli esperti del settore può scalare l'annotazione di 2,4 milioni di post di Twitter con un'accelerazione di 6,5 volte e una perdita minima di prestazioni, fornendo approfondimenti sfumati sul sentimento pubblico attraverso diversi segmenti demografici e regioni.

Autori originali: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Pubblicato 2026-06-09

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire cosa provano milioni di persone riguardo a un tema complesso e delicato come il fenomeno dei senzatetto. Se provassi a leggere ogni singolo tweet sull'argomento, saresti sommerso da una montagna di testo più velocemente di quanto tu possa battere ciglio. È come cercare di bere da una idrante.

Questo articolo, intitolato "OATH-Frames," riguarda la creazione di un paio di occhiali migliori per vedere cosa c'è realmente dentro quel getto d'acqua. I ricercatori hanno utilizzato un mix di esperti in servizio sociale e un potente IA (Large Language Models) per analizzare 2,4 milioni di tweet sul tema dei senzatetto negli Stati Uniti.

Ecco la storia di come ci sono riusciti, suddivisa in parti semplici:

1. Il Problema: Gli occhiali "taglia unica"

Prima di questo studio, se volevi analizzare i tweet sui senzatetto, avresti potuto usare strumenti standard che si limitano a chiedere: "Questo tweet è offensivo?" (Tossicità) o "Questo tweet è felice o triste?" (Sentiment).

I ricercatori sostengono che questi strumenti siano come cercare di smistare un sacco misto di frutta usando solo un adesivo "Rosso" e uno "Verde".

Il Difetto: Un tweet potrebbe dire: "I senzatetto sono pigri e sporchi". Gli strumenti standard potrebbero non accorgersene perché non usano "parolacce" (bassa tossicità) e non sono "felici" (sentiment negativo). Ma è un commento profondamente dannoso.
La Realtà: Gli atteggiamenti delle persone sono disordinati. Si può provare simpatia per un senzatetto e allo stesso tempo essere arrabbiati con il governo per non aver risolto il problema, tutto nella stessa frase. Le semplici etichette "buono/cattivo" perdono questa sfumatura.

2. La Soluzione: Il Menù "OATH-Frames"

Il team ha creato un nuovo "menù" di nove categorie specifiche (frame) per descrivere esattamente come le persone parlano dei senzatetto. Immaginalo come un menù degustazione di uno chef invece di semplice "cibo".

Hanno raggruppato queste nove categorie in tre grandi sapori:

Critiche (I Lamenti):
- Critica al Governo: Dare la colpa ai politici o alle leggi.
- Critica alla Società: Dare la colpa alla società o alle persone "ipocrite".
- Aiuti Economici: Discutere su dove dovrebbero andare i soldi delle tasse.
Percezioni (Gli Stereotipi):
- Generalizzazioni Dannose: Definire tutti i senzatetto come ladri, tossicodipendenti o pigri.
- Meritevoli vs Non Meritevoli: Sostenere che alcuni gruppi (come i veterani) meritino aiuto più di altri (come gli immigati).
- Non nel mio quartiere (NIMBY): "Non mi dispiace l'idea dei senzatetti, ma non nel mio quartiere".
Risposte (Le Azioni):
- Soluzioni: Suggerire rimedi, rifugi o cambiamenti nelle politiche.
- Interazione Personale: Condividere un racconto di un incontro con un senzatetto.
- Rappresentazione Mediatica: Parlare di come le notizie o la TV trattano il tema dei senzatetti.

3. Il Processo: La "Danza tra Umano e IA"

Smistare 2,4 milioni di tweet a mano richiederebbe a un team umano anni. Smistarli con la sola IA è rischioso perché l'IA può fraintendere sottili segnali sociali (come il sarcasmo o riferimenti politici specifici).

Così hanno inventato una "Danza tra Umano e IA":

Gli Esperti: Gli esperti di servizio sociale hanno prima definito le regole (il "menù") e etichettato un piccolo gruppo di tweet per insegnare all'IA cosa cercare.
L'Assistente IA (GPT-4): L'IA ha provato a etichettare migliaia di tweet. Quando era confusa, spiegava il suo ragionamento (come uno studente che mostra i passaggi del calcolo).
Il Controllo: Gli esperti umani hanno esaminato il "lavoro" dell'IA e corretto gli errori. Hanno scoperto che lasciando che l'IA facesse il lavoro pesante e controllando solo i risultati, sono stati 6,5 volte più veloci nell'etichettatura, con un calo minimo della precisione.
L'Ultimo Traguardo: Una volta che l'IA aveva imparato le basi dagli esperti, hanno addestrato un modello di IA più piccolo e veloce per etichettare i restanti 2,4 milioni di tweet in autonomia.

4. Cosa hanno scoperto: I Modelli Nascosti

Una volta che hanno avuto tutti i 2,4 milioni di tweet smistati in queste nove categorie, hanno potuto vedere schemi precedentemente invisibili.

Il Punto Cieco della "Tossicità": Hanno scoperto che molti tweet contenenti stereotipi dannosi (come dare dei "sporchi" ai senzatetti) avevano punteggi di "tossicità" bassi. La nuova tecnologia "OATH-Frames" li ha catturati, mentre i vecchi strumenti li hanno persi.
La Posizione Geografica Conta:
- In California, Washington e Oregon, le persone tendevano di più a usare Generalizzazioni Dannose (stereotipi). I ricercatori pensano che ciò sia dovuto al fatto che in queste zone ci sono popolazioni di senzatetti senza dimora più visibili, il che porta a reazioni più dirette (e talvolta negative).
- A New York, le persone erano più propense a discutere di gruppi Meritevoli vs Non Meritevoli. Questo sembrava legato alle notizie riguardanti migranti e richiedenti asilo arrivati in città, scatenando dibattiti su chi "meriti" l'aiuto.
La Divisione "Ucraina vs Immigrati":
- Quando le persone confrontavano gli americani senzatetto con gli Ucraini, i tweet riguardavano principalmente la Critica al Governo e gli Aiuti Economici (es. "Perché stiamo inviando miliardi all'Ucraina quando abbiamo senzatetti qui?").
- Quando le persone li confrontavano con gli Immigrati, i tweet erano molto più ostili, pieni di Generalizzazioni Dannose e atteggiamenti NIMBY (es. "Stanno prendendo i nostri lavori/alloggi").
Il Tempo Conta: Durante i grandi eventi di cronaca (come i dibattiti sul finanziamento della guerra Russia-Ucraina), i tweet aumentavano drasticamente in categorie specifiche. Quando il Congresso discuteva gli aiuti all'Ucraina, le discussioni su Aiuti Economici e Meritevoli vs Non Meritevoli esplodevano nei tweet.

In sintesi

Questo studio non si è limitato a contare i tweet; ha insegnato a un computer come comprendere la sfumatura della rabbia, della simpatia e della confusione umana riguardo ai senzatetti.

Combinando l'esperienza umana del servizio sociale con la velocità dell'IA, hanno creato uno strumento in grado di individuare atteggiamenti sottili e dannosi che i normali rilevatori di "maleducazione vs gentilezza" non riescono a cogliere. Hanno dimostrato che il modo in cui parliamo dei senzatetti cambia a seconda di dove viviamo, con chi ci confrontiamo e di cosa sta accadendo nelle notizie in questo momento.

Nota: Il documento si concentra interamente sull'analisi di questi atteggiamenti online per aiutare ricercatori e gruppi di sensibilizzazione a comprendere meglio l'opinione pubblica. Non sostiene di risolvere direttamente il problema dei senzatetti né offre consigli clinici, ma fornisce una lente più chiara per osservare il problema.

Problematica
Gli atteggiamenti del pubblico verso questioni sociali complesse, come il fenomeno dei senzatetto negli Stati Uniti, sono preziosi per le politiche e le riforme, ma sono difficili da comprendere su larga scala. I metodi tradizionali delle scienze sociali, tra cui gli studi etnografici e i sondaggi qualitativi, sono limitati nell'ambito di applicazione e non possono elaborare il volume di discorso online generato su piattaforme come Twitter. Sebbene i Large Language Models (LLM) offrano una potenziale soluzione per scalare la ricerca nelle scienze sociali, la loro affidabilità nel processare atteggiamenti latenti e sfumati verso temi sensibili rimane una questione aperta. Gli esistenti classificatori di sentiment e tossicità spesso non riescono a catturare gli stereotipi sottili e dannosi e la specifica inquadratura (framing) relativi alla condizione di senzatetto, particolarmente quando tale retorica è mascherata da umorismo, sarcasmo o sottili generalizzazioni.

Metodologia
Gli autori propongono un framework collaborativo che coinvolge esperti di servizio sociale e LLM per caratterizzare gli atteggiamenti online. La metodologia consiste in tre componenti primarie:

Scoperta del Frame (Frame Discovery): Utilizzando la teoria della grounded theory e la teoria del framing, quattro esperti del settore hanno analato un campione di 3,1 milioni di post di Twitter (filtrati da un totale iniziale di 5 milioni) per sviluppare una nuova tipologia chiamata OATH-Frames (Online Attitudes Towards Homelessness). Questa tipologia categorizza gli atteggiamenti in tre temi generali — Critiche (Critiques), Percezioni (Perceptions) e Risposte (Responses) — che sono ulteriormente suddivisi in nove frame specifici per l'argomento:
- Critiche: Critica al Governo (Government Critique), Critica alla Società (Societal Critique), Allocazione Risorse Aiuto Denaro (Money Aid Resource Allocation).
- Percezioni: Generalizzazione Dannosa (Harmful Generalization), Meritevole vs Non Meritevole (Deserving vs Undeserving), Non nel Mio Cortile (Not in My Backyard - NIMBY).
- Risposte: Soluzioni/Interventi (Solutions/Interventions), Interazione Personale (Personal Interaction), Rappresentazione Mediatica (Media Portrayal).
Strategie di Annotazione: Gli autori hanno impiegato tre distinti approcci di annotazione per valutare la scalabilità e l'accuratezza:
- Solo Esperti (Expert-Only): Esperti del settore hanno annotato 4.100 post, ottenendo un macro F1 di 0,55 e un Fleiss' $\kappa$ di 0,46.
- Esperto Assistito da LLM (Expert+GPT-4): Questo pipeline ha previsto che GPT-4 generasse previsioni iniziali con ragionamento Chain-of-Thought (CoT), che venivano poi validate e corrette dagli esperti. Gli esperti hanno utilizzato le OATH-Guidelines per raffinare i prompt e filtrare i falsi positivi. Questo approccio ha portato a un incremento di velocità di 6,5× nel tempo di annotazione rispetto agli esperti che lavoravano da soli, con una riduzione di soli 3 punti nel macro F1 (0,52 vs 0,55).
- Predizione del Modello (Model Prediction): Un modello Flan-T5-Large è stato sottoposto a fine-tuning sul dataset combinato di esperti ed esperti+LLM (circa 10,4k esempi) per predire i frame su un dataset su larga scala di 2,4 milioni di post. Questo modello ha ottenuto un macro F1 di 0,50, performando in modo comparabile all'impostazione esperto+LLM.
Analisi: Gli autori hanno utilizzato le 2,4 milioni di annotazioni predette per analizzare gli atteggiamenti attraverso gli stati, i periodi temporali e i confronti con altre popolazioni vulnerabili. Hanno inoltre confrontato gli OATH-Frames con gli standard dei classificatori di tossicità e sentiment.

Risultati Chiave

Efficienza di Annotazione: Il pipeline Expert+GPT-4 ha ridotto significativamente il tempo necessario per l'annotazione (da circa 187 secondi a circa 29 secondi per post) mantenendo un'alta accuratezza, dimostrando un compromesso sostenibile per scalare compiti socialmente sensibili.
Limiti dei Classificatori Esistenti: Lo studio ha rilevato che i classificatori standard di tossicità e sentiment non riescono a identificare la retorica dannosa contro le persone che vivono la condizione di senzatetto (PEH). La maggior parte dei post etichettati con il frame Generalizzazione Dannosa presentava punteggi di tossicità inferiori a 0,5, e le distribuzioni del sentiment per i post dannosi e non dannosi erano statisticamente simili.
Tendenze Sociopolitiche:
- Variazione Geografica: La Generalizzazione Dannosa era più prominente nei post riguardanti la California, lo Stato di Washington e l'Oregon, in correlazione con popolazioni più elevate di PEH senza dimora. Al contrario, i frame Meritevole vs Non Meritevole e Aiuto Denaro erano più prominenti a New York, in correlazione con le discussioni su immigrati e richiedenti asilo.
- Correlazione Temporale: Gli atteggiamenti sono aumentati bruscamente nel dicembre 2022, in concomitanza con i dibattiti del Congresso degli Stati Uniti sugli aiuti per l'Ucraina. Questo periodo ha visto un aumento dei frame di Critica al Governo e Meritevole vs Non Meritevole, dove il finanziamento per l'Ucraina veniva messo a confronto con la crisi interna dei senzatetti.
- Confronto tra Popolazioni: Quando i PEH venivano confrontati con gli ucraini, il discorso pubblico si concentrava su Critica al Governo e allocazione delle risorse. Al contrario, i confronti tra PEH e immigrati elicitavano atteggiamenti di tipo NIMBY e Generalizzazioni Dannose.

Significatività e Claim
Il paper sostiene di fornire un framework generalizzabile per comprendere gli atteggiamenti pubblici sfumati su larga scala su questioni socialmente sensibili. Introducendo gli OATH-Frames, gli autori dimostrano che la modellazione di tipologie di framing specifiche offre vantaggi distinti rispetto all'analisi del sentiment e della tossicità a grana grossa, in particolare nel rilevare stereotipi sottili e retorica dannosa contro popolazioni marginalizzate. Il lavoro funge da modello per integrare l'esperienza delle scienze sociali con le capacità degli LLM per accelerare l'analisi dell'opinione pubblica, consentendo ai gruppi di advocacy e ai decisori politici di ottenere approfondimenti più profondi su questioni sociali complesse come l'homelessness. Gli autori dichiarano esplicitamente che i loro dati e il codice saranno resi pubblici per supportare ulteriori ricerche in questo dominio.

1. Il Problema: Gli occhiali "taglia unica"

2. La Soluzione: Il Menù "OATH-Frames"

3. Il Processo: La "Danza tra Umano e IA"

4. Cosa hanno scoperto: I Modelli Nascosti

In sintesi

Articoli simili