POLAR:A Per-User Association Test in Embedding Space

1. Il Problema

Le attuali tecniche di rilevamento delle associazioni intrinseche (come WEAT o SEAT) operano prevalentemente a livello di parole, frasi o corpus interi. Questo approccio aggregato nasconde la variabilità a livello di singolo autore.

• Limitazione dell'aggregazione: Quando si calcola un punteggio medio su un corpus, si rischia di commettere la "fallacia ecologica": un'associazione media forte potrebbe nascondere il fatto che alcuni utenti sono fortemente allineati a certi stereotipi mentre altri usano un linguaggio neutro.
• Mancanza di strumenti specifici: Non esiste un metodo consolidato che applichi direttamente i test di associazione statistica ai vettori di embedding individuali degli utenti, permettendo di diagnosticare bias, stili o posizioni ideologiche per singolo autore senza bisogno di supervisione esterna (etichette).

2. Metodologia: POLAR

POLAR (Per-user On-axis Lexical Association Report) è un test di associazione lessicale eseguito direttamente nello spazio di embedding di un modello linguistico mascherato (MLM) leggermente adattato. Il processo si articola in due fasi principali:

Fase 1: Addestramento e Tokenizzazione Utente

1. Tokenizzazione Deterministica: Ogni utente $u$ viene mappato in un token privato e deterministico (es. usr + hash SHA1 del suo ID). Questo token viene aggiunto al vocabolario del tokenizer.
2. Preparazione dei Dati: Il token dell'utente viene preposto a ogni post dell'utente ($\tilde{x}_i = t_{u_i} || x_i$).
3. Adattamento del Modello: Partendo da un modello pre-addestrato (es. BERT-base-uncased), si ridimensiona la matrice di embedding per includere i nuovi token utente.
   • Si utilizza una strategia di masking consapevole dell'utente: il token utente viene mascherato con una probabilità più alta rispetto al testo normale.
   • Si introduce un termine di allineamento che spinge il vettore del token utente verso la media delle rappresentazioni dei token del testo del post.
   • L'obiettivo è far sì che il vettore dell'utente ($E[t_u]$) riassuma il contesto linguistico tipico di quell'autore.

Fase 2: Inferenza e Test di Associazione

Una volta addestrato il modello, si fissa e si procede con l'analisi:

1. Vettore Utente: Ogni utente è rappresentato dal vettore normalizzato del suo token ($\hat{e}_u$).
2. Assi Semantici: Si definiscono coppie di insiemi lessicali $(A, B)$ (es. "slur razziali" vs. "termini neutri").
3. Calcolo del Punteggio: Si calcola la similarità coseno tra il vettore utente e i vettori medi degli insiemi $A$ e $B$.
   • La statistica di effetto standardizzato $s(u; A, B)$ è definita come:
     $$s(u; A, B) = \frac{\text{mean}(d_A) - \text{mean}(d_B)}{\text{sd}(d_{all})}$$
     dove $d_A$ e $d_B$ sono le similarità coseno con gli insiemi di attributi.
4. Significatività Statistica: Per evitare falsi positivi, si utilizza un test di permutazione Monte Carlo (con $M=2000$ permutazioni) per calcolare il valore $p$.
5. Controllo degli Errori: Si applica la correzione di Benjamini-Hochberg per controllare la proporzione di falsi scoperti (FDR) su tutti gli utenti testati.

3. Contributi Chiave

• Primo test di associazione per autore: POLAR tratta i vettori utente come oggetti di prima classe per il testing statistico, superando la limitazione delle analisi aggregate.
• Interpretabilità e Modularità: I risultati forniscono un effetto dimensionale standardizzato (segno e magnitudine) che indica su quale lato di un asse semantico si posiziona un autore e quanto fortemente. L'aggiunta di nuovi assi lessicali non richiede il ri-addestramento del modello.
• Indipendenza dalle Etichette: Il metodo è unsupervised per la fase di estrazione delle caratteristiche; le etichette (es. bot vs umano) sono usate solo per la valutazione finale, non per l'addestramento del modello di embedding.

4. Risultati Sperimentali

Il metodo è stato valutato su due dataset distinti:

A. Benchmark Bot-Umani (Twitter fox8-23)

• Obiettivo: Distinguere account bot alimentati da LLM da account umani organici.
• Risultati: POLAR separa nettamente bot e umani senza usare etichette durante l'addestramento.
  • Gli assi "Scam/Finance" vs "Daily Life" e "Newswire" vs "Personal Experience" hanno raggiunto un AUROC > 0.95.
  • I bot tendono ad allinearsi a linguaggi di sicurezza, disclaimer e strutture istruzionali, mentre gli umani usano marcatori colloquiali.
  • L'aggiunta di più assi (da 1 a 4) non ha migliorato significativamente le prestazioni, indicando che singoli assi lessicali ben scelti sono sufficienti.

B. Forum Estremista (Stormfront)

• Obiettivo: Quantificare l'allineamento a lessici offensivi e tracciare la radicalizzazione.
• Risultati:
  • Gli utenti mostrano un forte allineamento positivo con lessici di odio (slur razziali, di genere, LGBTQ, jargon "incel"), con punteggi medi standardizzati elevati (es. 1.33 per gli slur razziali).
  • Radicalizzazione Progressiva: Analizzando la cronologia dei post, si osserva un "drift" (spostamento) verso destra nel tempo: man mano che gli utenti pubblicano più contenuti, i loro vettori si allineano sempre più fortemente ai lessici di odio. Questo offre un indicatore precoce di radicalizzazione.

5. Significato e Implicazioni

• Scienze Sociali Computazionali: POLAR fornisce uno strumento diagnostico conciso e statisticamente fondato per analizzare le differenze individuali, evitando di nascondere l'eterogeneità dentro medie di gruppo.
• Monitoraggio della Sicurezza: La capacità di rilevare la radicalizzazione progressiva e l'allineamento a lessici tossici senza supervisione rende il metodo utile per il monitoraggio di piattaforme sociali.
• Validità Ecologica: Dimostra che i vettori utente compatti catturano preferenze lessicali stabili e che questi possono essere interrogati tramite assi semantici curati per rivelare bias e atteggiamenti.

In sintesi, POLAR colma un vuoto metodologico fondamentale, permettendo di passare dall'analisi del "corpo" (il corpus) all'analisi dell'"individuo" (l'autore) nello spazio vettoriale dei modelli linguistici, fornendo metriche interpretabili e statisticamente robuste.