Counterfactual Probing for the Influence of Affect and Specificity on Intergroup Bias

1. Il Problema e il Contesto

La maggior parte delle ricerche attuali sul bias nel Natural Language Processing (NLP) si concentra sull'identificazione di linguaggio negativo o dispregiativo. Tuttavia, questo approccio è limitato perché assume che la produzione linguistica sia "non distorta" di default, ignorando come le dinamiche sociali influenzino il linguaggio.

Il paper si basa su un nuovo quadro concettuale proposto da Govindarajan et al. (2023), che ridefinisce il bias non come un attributo statico del linguaggio, ma come una variazione comportamentale riflessa nelle relazioni sociali intergruppo (In-Group vs. Out-Group). L'obiettivo è identificare quali caratteristiche linguistiche variano sistematicamente in base al contesto intergruppo.

Il lavoro si ispira all'ipotesi del Linguistic Intergroup Bias (LIB), che suggerisce che i comportamenti desiderabili del proprio gruppo (In-Group) e quelli indesiderabili del gruppo esterno (Out-Group) siano codificati a un livello di astrazione più alto. Il paper generalizza questo concetto utilizzando due caratteristiche pragmatiche ben definite e calcolabili:

1. Specificità: Misura il livello di dettaglio di un testo (analogo all'asse astratto-concreto, ma applicato all'intera frase).
2. Affetto (Affect): Misura l'atteggiamento del parlante verso il target (positivo o negativo).

L'ipotesi di ricerca è che le frasi con affetto positivo rivolte all'In-Group e quelle con affetto negativo rivolte all'Out-Group siano codificate con una bassa specificità (più generali/astratte).

2. Metodologia

Gli autori hanno condotto il primo studio su larga scala di queste differenze linguistiche utilizzando un corpus di tweet in inglese provenienti da membri del Congresso degli Stati Uniti (dati di Govindarajan et al., 2023), dove le relazioni In-Group/Out-Group sono etichettate in modo supervisionato in base all'appartenenza al partito.

Annotazioni e Dati

• Affetto: Sono state aggiunte annotazioni coarse-grained all'esistente dataset di emozioni interpersonali. Gli annotatori hanno valutato il sentimento del mittente verso il target (caldo/freddo) e verso le azioni del target (approvazione/disapprovazione), derivando un'etichetta binaria (positiva/negativa).
• Specificità: È stata calcolata utilizzando uno strumento di previsione della specificità (Gao et al., 2019) che assegna un punteggio da 1 a 5 basato su caratteristiche lessicali, sintattiche e semantiche.

Interventi Causali (Counterfactual Probing)

Per andare oltre le semplici correlazioni e stabilire un nesso causale, gli autori hanno utilizzato la tecnica AlterRep basata su INLP (Iterative Nullspace Projection).

• Modello: BERTweet (pre-addestrato su 850M tweet), fine-tunato per prevedere le etichette IGR (In-Group/Out-Group).
• Procedura:
  1. Viene addestrato un classificatore lineare iterativo sulle rappresentazioni interne del modello (layer 11) per isolare la feature di interesse (Affetto o Specificità).
  2. Le rappresentazioni del modello vengono proiettate nello spazio nullo per rimuovere l'informazione della feature, e in uno spazio ortogonale per mantenerla.
  3. Viene eseguita un'intervento controfattuale: si spingono le rappresentazioni dei token verso un livello più alto o più basso di specificità o affetto.
  4. Si osserva come cambia la probabilità che il modello classifichi un tweet come "In-Group" man mano che l'intervento aumenta (numero di iterazioni INLP).

3. Risultati Chiave

Correlazioni Preliminari

• Affetto: Esiste una correlazione positiva modesta ma significativa tra l'affetto positivo e l'etichetta In-Group.
• Specificità: Non è stata trovata alcuna correlazione significativa tra specificità e IGR nel dataset grezzo.

Risultati degli Interventi Causali

1. Influenza dell'Affetto:

   • Spingere le rappresentazioni verso un affetto positivo fa sì che il modello classifichi quasi tutti i tweet come In-Group, indipendentemente dalla specificità.
   • Spingere verso un affetto negativo ha l'effetto opposto (aumenta la classificazione Out-Group), sebbene l'effetto sia meno pronunciato a causa dello sbilanciamento dei dati (75% dei tweet ha affetto positivo).
   • Conclusione: Il modello utilizza causalmente l'affetto per prendere decisioni, ma questo effetto è uniforme e non interagisce con la specificità.

2. Influenza della Specificità:

   • Specificità Alta: Spingere le rappresentazioni verso una specificità più alta non ha alcun effetto significativo sul comportamento del modello (indistinguibile dal controllo).
   • Specificità Bassa: Spingere verso una bassa specificità ha un effetto marcato: dopo 48 iterazioni, tutti i dati vengono predetti come In-Group.
   • Conclusione: L'uso della specificità da parte del modello è inconcludente e asimmetrico. L'ipotesi originale (che la bassa specificità fosse legata all'In-Group positivo) non è stata confermata nella sua complessità.

Analisi Qualitativa ed Errori

L'analisi degli errori rivela che il fine-tuning per il compito IGR degrada le capacità del Language Model (LM) sottostante. Dopo gli interventi, il modello tende a generare token nonsensici o semanticamente implausibili (es. "opport__", "mug__"). Questo degrado del LM potrebbe spiegare perché gli interventi sulla specificità non producono risultati coerenti con le aspettative teoriche: il modello sta reagendo a un'alterazione dello spazio vettoriale che compromette la coerenza semantica, piuttosto che a un cambiamento genuino nella caratteristica pragmatica.

4. Contributi Principali

1. Nuovo Quadro di Analisi: Spostamento dall'analisi del bias come linguaggio offensivo all'analisi del bias come variazione pragmatica sistematica nelle relazioni intergruppo.
2. Metodologia Causale: Applicazione innovativa della tecnica AlterRep/INLP per sondare causalmente l'uso di caratteristiche pragmatiche di alto livello (affetto e specificità) nei modelli neurali, andando oltre le semplici correlazioni.
3. Risultati Empirici: Dimostrazione che, mentre i modelli NLP utilizzano causalmente l'affetto per inferire relazioni sociali, il loro utilizzo della specificità è problematico e non segue le previsioni della teoria LIB classica in questo contesto.

5. Significato e Limitazioni

Significato:
Il lavoro dimostra che le caratteristiche pragmatiche come l'affetto sono robuste indicatori per la previsione delle relazioni sociali nei modelli linguistici. Tuttavia, mette in guardia sulla difficoltà di manipolare causalmente caratteristiche come la specificità senza degradare la coerenza del linguaggio, suggerendo che la relazione tra astrazione linguistica e bias sociale potrebbe essere più complessa o meno diretta di quanto ipotizzato dalla teoria psicologica classica.

Limitazioni:

• Generalizzabilità: I risultati sono limitati ai tweet del Congresso USA e potrebbero non applicarsi ad altri domini o lingue.
• Degrado del Modello: Gli interventi causali sembrano danneggiare la capacità del modello di mantenere un linguaggio coerente, rendendo difficile interpretare i risultati sulla specificità.
• Parametri Sensibili: La tecnica AlterRep è sensibile a parametri come il numero di iterazioni INLP e il coefficiente $\alpha$, il che rende la riproducibilità e l'ottimizzazione delle impostazioni una sfida.
• Natura dei Dati: Sebbene i tweet siano considerati "linguaggio naturale", è probabile che molti siano scritti da team di social media, il che potrebbe influenzare la genuinità delle relazioni interpersonali rappresentate.

In sintesi, il paper offre un approccio rigoroso per collegare le teorie sociali sul bias alle capacità dei modelli NLP, rivelando che mentre l'affetto è un segnale causale forte, la specificità richiede un'ulteriore indagine per essere compresa appieno in contesti di bias intergruppo.