Riepilogo Tecnico: La Posizionalità dell'Annotatore come Segnale: Ponderazione Psicometrica per il Rilevamento dell'Ableismo Anti-Autistico

Enunciato del Problema

I modelli linguistici di grandi dimensioni (LLM) sono sempre più implementati in pipeline decisionali, come la moderazione dei contenuti, dove rischiano di amplificare o sopprimere le prospettive della comunità. Sebbene ricerche precedenti abbiano identificato pregiudizi generali legati alla disabilità negli LLM, i meccanismi specifici attraverso cui questi modelli concettualizzano e rilevano l'ableismo anti-autistico rimangono poco esplorati. Una sfida critica in questo dominio è la distinzione tra interno/esterno: termini riappropriati dalla comunità autistica (ad esempio, "aspie", "autie") per segnalare solidarietà possono essere erroneamente classificati come ableisti da sistemi automatizzati o da annotatori umani privi di conoscenze radicate nella comunità. Inoltre, i metodi di valutazione standard basati sull'aggregazione per voto di maggioranza sminuiscono sistematicamente le prospettive autistiche e di accettazione dell'autismo, trattando l'identità dell'annotatore come rumore anziché come un segnale significativo. Ciò porta a verità di base che non riescono a catturare le sfumature contestuali dell'identità del parlante, del linguaggio riappropriato e dell'impatto sulla comunità.

Metodologia

Gli autori propongono un framework di valutazione consapevole dei pregiudizi che integra la ponderazione psicometrica con valutazioni controllate degli LLM.

1. Verità di Base Ponderata Psicometricamente

Invece del semplice voto di maggioranza, lo studio costruisce una verità di base ponderando le etichette degli annotatori umani in base ai loro livelli misurati di pregiudizio e tratti autistici.

• Fonte Dati: 2.120 frasi dal dataset AUTALIC, etichettate come ableiste (1) o meno (0).
• Caratterizzazione degli Annotatori: Gli annotatori hanno completato tre strumenti psicometrici:
  • SATA (Societal Attitudes Toward Autism): Misura l'accettazione esplicita.
  • AQ (Autism-Spectrum Quotient): Quantifica i tratti autistici.
  • IAT (Implicit Association Test): Misura i pregiudizi impliciti verso l'autismo.
• Schema di Ponderazione: Un punteggio di affidabilità composito ($R_i$) viene calcolato normalizzando e mediando i punteggi dei tre strumenti (con l'IAT invertito in modo che valori più alti indichino un pregiudizio inferiore). Questi punteggi vengono normalizzati rispetto alla media del team per produrre un peso finale ($W_i$). L'etichetta della verità di base ($\hat{y}$) è la media ponderata delle etichette degli annotatori.
• Validazione: È stato dimostrato che questa ponderazione composita produce una verità di base significativamente più rigorosa rispetto al voto di maggioranza ($p < .001$), mentre la ponderazione basata solo sull'AQ non lo è ($p = .651$).

2. Configurazione di Valutazione degli LLM

• Modelli: Dodici LLM pubblicamente disponibili sono stati valutati, con un range da 135M a 20B di parametri, inclusi varianti istruite, capaci di ragionamento, orientate alla sicurezza e non censurate.
• Condizioni di Prompting: Otto modelli sono stati testati in sette condizioni distinte:
  1. Zero-Shot (ZS): Inquadramento basato sulla definizione.
  2. Chain-of-Thought (CoT): Ragionamento in tre passaggi (identità del parlante, parole chiave vs meta-contesto, valutazione del danno).
  3. In-Context Learning (ICL): Due sottocondizioni che utilizzano esempi provenienti da annotatori ad alto AQ (prossimi all'autismo) e a basso AQ (non autistici).
  4. Prompt di Persona: Tre sottocondizioni che variano il linguaggio identitario (Identità-Prima, Persona-Prima o neutro).
• Metriche: L'accordo primario è stato misurato utilizzando il $\kappa$ di Cohen rispetto alla verità di base ponderata. Le metriche secondarie includevano F1, precisione, richiamo e accuratezza.

3. Valutazione Psicometrica degli LLM

Per valutare i pregiudizi latenti, agli LLM sono stati somministrati gli strumenti SATA e AQ. Per mitigare la "risposta basata sul riconoscimento" (dove i modelli mimano risposte socialmente desiderabili a causa della familiarità con i dati di addestramento), lo studio ha impiegato una riscrittura mascherata degli strumenti. Ciò ha coinvolto la randomizzazione degli elementi, la variazione della formulazione e l'inclusione di elementi riempitivi e di validità (finti) per oscurare lo scopo del questionario.

4. Analisi degli Errori

È stata condotta un'analisi degli errori triangolata su 92 output campionati degli LLM. Tre analisti hanno utilizzato lenti distinte: (1) contenuto tematico, (2) caratteristiche linguistiche degli studi sulla disabilità e (3) struttura del ragionamento.

Risultati Chiave

1. La Costruzione della Verità di Base Non è Neutra

• Baseline più Rigorosa: Il $\kappa$ ponderato psicometricamente è stato costantemente inferiore al $\kappa$ non ponderato (voto di maggioranza) su 56 combinazioni modello-condizione (media $\delta\kappa = -0.012$). Ciò conferma che il voto di maggioranza sottorappresenta sistematicamente le prospettive autistiche.
• Divari di Allineamento: Gli LLM hanno mostrato un accordo significativamente più alto con annotatori "affidabili" (punteggi di fiducia elevati) rispetto ad annotatori "prossimi all'autismo", validando la necessità dello schema di ponderazione composito.
• Varianza del Modello: I classificatori orientati alla sicurezza (LLaMA Guard 3, GPT-OSS) hanno superato i modelli generici, suggerendo che l'addestramento specifico per la sicurezza codifica una sensibilità al danno da disabilità che il prompting generico non può recuperare.

2. Prestazioni di Classificazione

• Prestazioni Generalmente Basse: Il $\kappa$ ponderato medio era 0,118 e l'F1 medio era 0,237, indicando prestazioni vicine al caso su un compito ad alto rischio.
• Squilibrio Precisione-Richiamo: I modelli hanno mostrato una sovraclassificazione sistematica (alto richiamo, bassa precisione), segnalando termini riappropriati dalla comunità come ableisti.
• Limiti del Prompting:
  • CoT: Sebbene la Chain-of-Thought eliminasse la "deviazione tematica" (giustificare etichette non ableiste sostenendo che il testo non riguardi l'autismo), non è riuscita a migliorare significativamente il "ragionamento sulla posizionalità" (comprensione dell'identità del parlante).
  • ICL e Persona: L'apprendimento in contesto e i prompt di persona non hanno migliorato costantemente le prestazioni; in alcuni casi, hanno destabilizzato modelli ad alte prestazioni.

3. Fallimenti nel Ragionamento

L'analisi degli errori ha identificato quattro modalità di fallimento primarie:

1. Ragionamento sulla Forma Superficiale: I modelli si sono affidati pesantemente alla corrispondenza di parole chiave (41% degli estratti) piuttosto che al contesto. Hanno frequentemente etichettato erroneamente termini riappropriati (ad esempio, "aspie") come ableisti e hanno mancato inquadramenti basati sul deficit privi di parole chiave negative.
2. Cecità alla Posizionalità: Il ragionamento esplicito sull'identità del parlante era raro (10% in totale, 13% sotto CoT) e assente nelle condizioni zero-shot.
3. Deviazione Tematica: I modelli giustificavano spesso etichette non ableiste sostenendo che il testo non riguardava l'autismo, un comportamento eliminato dalla CoT ma sostituito da altri errori.
4. Allucinazioni e Stereotipi: I modelli invocavano stereotipi e, in alcuni casi, allucinavano argomenti (ad esempio, identificando erroneamente una frase su Autism Speaks come antisemitismo).

4. Pregiudizi Latenti negli LLM

• Il Mascheramento Rivela i Pregiudizi: Quando gli indizi di riconoscimento degli strumenti sono stati mascherati, gli LLM hanno mostrato una divergenza significativa nelle risposte: i punteggi SATA sono diminuiti (indicando una minore accettazione) e i punteggi AQ sono aumentati (indicando tratti autistici più elevati nel range clinico) rispetto agli strumenti originali.
• Interpretazione: Ciò suggerisce che le auto-dichiarazioni standard degli LLM elicita risposte socialmente desiderabili che nascondono atteggiamenti anti-autistici latenti.

Significato e Affermazioni

Il documento afferma di fornire un modello replicabile per una valutazione consapevole dei pregiudizi e radicata nella comunità nel rilevamento del linguaggio dannoso. I suoi contributi principali sono:

1. Metodologico: Dimostrare che la ponderazione psicometrica crea una verità di base più rigorosa e accurata rispetto al voto di maggioranza per il rilevamento dell'ableismo anti-autistico, specificamente dando maggior peso agli annotatori con alti tratti autistici e basso pregiudizio implicito.
2. Empirico: Rivelare che gli LLM attuali, anche con strategie di prompting avanzate come CoT e persona, non riescono a ragionare oltre le parole chiave di superficie riguardo all'identità del parlante e al linguaggio riappropriato.
3. Diagnostico: Mostrare che le valutazioni psicometriche mascherate espongono pregiudizi anti-autistici latenti negli LLM che sono nascosti dai meccanismi standard di auto-dichiarazione.

Gli autori concludono che il fine-tuning specifico per il compito su dati etichettati dalla comunità è un prerequisito per prestazioni di livello deployabile in questo dominio, piuttosto che un miglioramento opzionale. Sottolineano che i modelli attuali operano con un'accuratezza vicina al caso su compiti che riguardano le comunità autistiche, evidenziando la necessità urgente di framework di valutazione che centrino le prospettive e la posizionalità della comunità.