Sintesi Tecnica: "Not in My Backyard": Gli LLM svelano i pregiudizi sociali online e offline contro la condizione di senzatetto

1. Definizione del Problema

La condizione di senzatetto rimane una sfida globale persistente, con oltre 876.000 persone che hanno sperimentato la condizione di senzatetto (PEH - People Experiencing Homelessness) registrate negli Stati Uniti nel 2025. Una barriera significativa all'alleviamento di questa crisi è il pregiudizio sociale, che deumanizza i PEH, modella la percezione pubblica e influenza le decisioni politiche, portando spesso al rifiuto di rifugi e servizi. Sebbene i media testuali online (Reddit, X/Twitter, notizie) e il discorso dei consigli comunali offline riflettano e influenzino l'opinione pubblica, le risorse esistenti mancano della capacità di monitorare in modo affidabile questi pregiudizi attraverso molteplici domini.

Lavori precedenti, come OATH (Ranjit et al., 2024), hanno fornito annotazioni esperte per X (Twitter) ma erano limitati a una singola piattaforma e parola chiave, fallendo nel monitorare gli spostamenti della prevalenza delle etichette quando si scala con i Large Language Models (LLM). I partner municipali necessitano di qualcosa di più di semplici punteggi di sovrapposizione; devono sapere se i monitor automatizzati gonfiano o sgonfiano sistematicamente specifiche categorie di stigma (ad esempio, "Not In My Backyard" o NIMBY) che guidano la reazione negativa del pubblico.

2. Metodologia

2.1 Costruzione del Corpus

Gli autori hanno costruito il primo corpus multi-dominio sui pregiudizi verso i PEH comprendente 50.447 testi raccolti dal 2015 al 2025 in dieci città degli Stati Uniti. Le città sono state selezionate in due cluster accoppiati tramite kNN (cinque più piccole, cinque più grandi) basandosi su popolazione, tassi di senzatetto e indice di Gini. Le fonti di dati includono:

• Reddit: Post e commenti.
• X (precedentemente Twitter): Post non ripostati.
• News: Articoli.
• Riunioni del Consiglio Comunale: Verbali (verbatim per alcune città; audio/video trascritti tramite Whisper per altre; le sintesi degli ordini del giorno sono state escluse).

Il testo è stato recuperato utilizzando un lessico PEH di 11 termini (ad esempio, "homeless", "affordable housing", "unhoused") e anonimizzato tramite spaCy e pydeidentify per rimuovere le informazioni di identificazione personale (PII). Per i dati di X, dove la geolocalizzazione è disponibile per <3% dei post, una pipeline di geolocalizzazione multi-stadio ha inferito la posizione degli utenti, localizzando con successo circa l'80% degli utenti nel sottocampione del 2025.

2.2 Tassonomia e Annotazione

Lo studio formalizza il rilevamento del pregiudizio verso i PEH come un compito di classificazione multi-label a 16 categorie. La tassonomia estende i nove frame di OATH (Ranjit et al., 2024) per includere sfumature specifiche della piattaforma (ad esempio, distinguere tra domande retoriche e genuine, o tra fatto/affermazione e osservazione).

Un Frame di Pregiudizio Negativo è stato definito per il monitoraggio del posizionamento dei rifugi, contenente cinque categorie specifiche:

1. Domanda retorica
2. Not in my backyard (NIMBY)
3. Generalizzazione dannosa
4. Meritevole/non meritevole
5. Razzista

È stato creato un set gold-standard stratificato di 1.698 elementi, annotati da tre valutatori formati in collaborazione con partner non profit. Per gestire la soggettività, gli autori hanno impiegato l'etichettatura soft (Fornaciari et al., 2021), in cui l'etichetta di riferimento per una categoria è determinata da un voto a maggioranza (2 su 3) tra gli annotatori. Il resto del corpus è stato etichettato utilizzando GPT-4.1 con prompt few-shot, fungendo da annotazioni "teacher" piuttosto che da verità assoluta (ground truth).

2.3 Protocollo di Valutazione

Lo studio confronta sei LLM stimolati (zero-shot e few-shot) rispetto al set gold-standard:

• Modelli: GPT-4.1, Gemini 2.5 Pro, Grok-4, LLaMA 3.2 3B, Qwen 2.5 7B e Phi-4 Mini.
• Metriche: Punteggio Macro-F1 e un nuovo audit del gap di prevalenza. Il gap di prevalenza ($\hat{\pi}_{model} - \pi_{ref}$) misura lo spostamento sistematico nel tasso positivo di una categoria rispetto al gold standard, rivelando se un modello gonfia o riduce l'etichettatura di specifici pregiudizi.

3. Risultati Chiave

3.1 Prestazioni del Benchmark

• Macro-F1: Le API a codice chiuso (GPT-4.1, Gemini 2.5 Pro) hanno ottenuto prestazioni moderate con un macro-F1 medio di circa il 43-44% (few-shot). I modelli locali (LLaMA, Phi-4, Qwen) hanno ottenuto punteggi inferiori, con una media intorno al 32%. Il prompting few-shot ha fornito miglioramenti marginali ma non ha colmato il divario tra i modelli locali e quelli a codice chiuso.
• F1 Moderata vs. Errore Sistematico: Sebbene i punteggi F1 suggerissero la fattibilità, essi mascheravano significativi problemi di calibrazione.

3.2 Gap di Prevalenza e Miscalibrazione

L'audit del gap di prevalenza ha rivelato una miscalibrazione sistematica in tutti i modelli:

• Sovra-etichettatura NIMBY: Ogni modello ha sovra-etichettato la categoria "Not in my backyard". Il gap medio aggregato era di +11,5 punti percentuali (pp).
• Sotto-rilevamento di affermazioni fattuali: Ogni modello ha sotto-rilevato le etichette "provide fact/claim", con un gap aggregato di -30,5 pp.
• Varianza del Modello: Mentre Qwen restava indietro di circa 10 punti F1 rispetto a GPT-4.1, la sua sovra-etichettatura NIMBY era 7 volte peggiore (+27,4 pp rispetto a +4,0 pp).

3.3 Analisi degli Errori

L'analisi dei falsi positivi di consenso (elementi in cui $\ge$3 di 6 modelli zero-shot hanno erroneamente etichettato NIMBY) ha identificato specifici modi di fallimento:

• Proxy Lessicali: I modelli hanno trattato la mera presenza di vocabolario relativo a alloggi/senzatetto (89,7% nei falsi positivi rispetto al 72,2% nei veri negativi) e di punti interrogativi (32,5% rispetto al 9,7%) come proxy dell'opposizione dei residenti.
• Mancanza di Rilevamento dell'Intento: I modelli non sono riusciti a distinguere tra testi che discutono di alloggi (ad esempio, "Hanno tutto quell'alloggio accessibile, ma il lato negativo è che è a [Città]") e testi che si oppongono alla collocazione di alloggi.
• Conseguenza: Ciò porta a una distorsione in cui le comunità appaiono più contrarie ai rifugi e meno basate sull'evidenza di quanto siano in realtà.

4. Contributi

1. Corpus Multi-dominio: Rilascio di un corpus di 50.447 elementi che copre Reddit, X, news e trascrizioni di consigli comunali da dieci città degli Stati Uniti, raccolto tramite un lessico PEH di 11 termini.
2. Riferimento Gold-Standard: Un set stratificato di 1.698 elementi con una tassonomia multi-label a 16 categorie, annotato da esperti del settore e partner non profit, utilizzando l'etichettatura soft per gestire la soggettività.
3. Protocollo di Audit del Gap di Prevalenza: Una metodologia che integra i punteggi F1 con controlli sistematici di calibrazione per rilevare spostamenti sistematici nella prevalenza delle etichette, cruciale per gli strumenti di monitoraggio.
4. Benchmarking LLM e Analisi degli Errori: Dimostrazione che punteggi F1 moderati coesistono con grandi miscalibrazioni, identificando specificamente che gli LLM utilizzano il vocabolario abitativo e le forme interrogative come proxy NIMBY.

5. Significato e Rivendicazioni

L'articolo sostiene di fornire la prima risorsa NLP multi-dominio per il monitoraggio dello stigma verso i PEH, co-progettata con partner non profit. Il suo significato primario risiede nel dimostrare che l'accuratezza (F1) è insufficiente per il monitoraggio dei pregiudizi; senza audit del gap di prevalenza, gli LLM possono distorcere sistematicamente la realtà dell'opinione pubblica, facendo apparire le comunità più ostili ai rifugi di quanto non siano.

Gli autori sottolineano che il corpus e il protocollo di audit offrono ai comuni una base riproducibile per il monitoraggio dello stigma. Avvertono che le dashboard etichettate dagli LLM non dovrebbero essere trattate come verità assoluta senza audit ricorrenti rispetto a un set di riferimento gold-standard. Il lavoro supporta l'implementazione di strumenti di "monitoraggio direzionale", a condizione che siano abbinati a tetti di gap di prevalenza e a una regolare validazione human-in-the-loop per evitare l'amplificazione dei segnali di falsa opposizione.

Limitazioni Note dagli Autori:

• Il gold standard è un riferimento per l'audit, non una verità infallibile sulla soggettività del pregiudizio.
• Le categorie rare (ad esempio, "razzista") hanno troppo pochi positivi nel set gold per calcoli stabili del gap di prevalenza.
• Il corpus è limitato a dieci città degli Stati Uniti e al testo in inglese, non rappresentando tutti i contesti globali o socio-economici.
• L'attività dei bot sui social media non è stata verificata.