Sintesi Tecnica: Analisi delle Rappresentazioni di Autolesionismo nei Modelli Linguistici

Definizione del Problema

Il rilevamento di contenuti relativi all'autolesionismo sui social media è un compito ad alto rischio che richiede un'elevata precisione per facilitare interventi tempestivi e la segnalazione di utenti a rischio. Sebbene siano stati sviluppati sistemi di rilevamento automatizzato utilizzando LSTM, transformer basati su BERT e LLM per la moderazione dei contenuti e il monitoramento della salute mentale, rimane un divario significativo nella comprensione dei meccanismi interni di questi modelli. Nello specifico, esiste una conoscenza limitata riguardo a:

• Dove i concetti di autolesionismo si "cristallizzano" all'interno della rete.
• La stabilità geometrica di queste rappresentazioni attraverso i livelli (layers).
• Se la rappresentazione strutturale dell'autolesionismo sia coerente tra diverse architetture e scale.

Gli autori sostengono che comprendere queste rappresentazioni interne sia cruciale per costruire sistemi più sicuri che vadano oltre l'ingegneria dei prompt per includere componenti espliciti e testabili per l'intervento e la governance.

Metodologia

Lo studio impiega un'analisi cross-architettura utilizzando due dataset e quattro modelli transformer istruiti (instruction-tuned).

Dataset:

1. X-Sensitive (X-S): Un corpus multi-label di post dai social media in inglese annotati per sei categorie. Gli autori hanno estratto 200 post positivi all'autolesionismo e 200 post di controllo (tutte le categorie a zero).
2. SH-Detection (SH-D): Un dataset binario dove i post sull'autolesionismo sono etichettati come "self-harm" e tutti gli altri fungono da controlli. È stato campionato un dataset bilanciato di 600 post.
   Il pre-processing ha incluso la rimozione di post inferiori a 20 caratteri, la rimozione di URL, la riduzione degli spazi bianchi e l'anonimizzazione dei menzioni.

Modelli:
Sono stati analizzati quattro transformer istruiti:

• Qwen3-0.6B (0,6 miliardi di parametri, 28 livelli)
• Llama 3.2-1B-Instruct (1 miliardo di parametri, 16 livelli)
• Llama 3.2-3B-Instruct (3 miliardi di parametri, 28 livelli)
• Gemma-3-4B-it (4 miliardi di parametri, 34 livelli)

Configurazione Sperimentale:

1. Probing per livello (Layer-wise Probing): Per ogni livello $\ell$, gli autori hanno estratto le attivazioni dello stream residuo dell'ultimo token ($a_\ell$). Hanno addestrato un probe di regressione logistica con regolarizzazione $\ell_2$ utilizzando una validazione incrociata stratificata a 5 pieghe (5-fold). La metrica primaria è stata la media dell'AUC-ROC, riportata senza normalizzazione preventiva delle attivazioni.
2. Analisi della Direzione Contrastiva: Seguendo Zou et al. (2023), gli autori hanno calcolato un vettore di direzione contrastiva dell'autolesionismo $d_\ell$ per ogni livello come la differenza normalizzata tra le medie delle attivazioni dei post sull'autolesionismo ($\bar{a}^+$) e dei post di controllo ($\bar{a}^-$).
   • Separabilità: Misurata tramite il $d$ di Cohen sulle proiezioni scalari dei post su $d_\ell$ al livello di massima separazione.
   • Stabilità: Valutata tramite una matrice di similarità del coseno pairwise $L \times L$ dei vettori di direzione attraverso i livelli per determinare se la direzione rimane costante o ruota attraverso la profondità della rete.

Risultati Chiave

1. Cristallizzazione dei Concetti di Autolesionismo
In tutti e quattro i modelli e in entrambi i dataset, le informazioni sull'autolesionismo si cristallizzano costantemente nei restanti 3–7% dei livelli della rete (dal 93% al 97% della profondità).

• Performance: Sul dataset SH-Detection, tutti i modelli hanno raggiunto prestazioni elevate (AUC 0,923 - 0,972) con una varianza inferiore rispetto a X-Sensitive. Su X-Sensitive, le prestazioni sono state inferiori (AUC 0,703 - 0,817), probabilmente a causa della presenza di linguaggio figurato e di esempi negativi più sottili in quel corpus.
• Analisi degli Errori: I falsi negativi spesso coinvolgevano un linguaggio figurato/metaforico o contesti in terza persona. I falsi positivi riguardavano frequentemente post di sensibilizzazione sulla salute mentale o avvisi di contenuto che utilizzavano un vocabolario legato alle crisi senza trasmettere un disagio in prima persona.

2. Separabilità Geometrica vs. Accuratezza di Classificazione
Un risultato critico è che i probe lineari più accurati non sono necessariamente quelli più linearmente separabili in termini di direzioni di media differenziale.

• Anomalia Gemma-3-4B: Gemma-3-4B ha ottenuto l'AUC del probe più alto su X-Sensitive (0,817) ma il $d$ di Cohen più basso (0,71) tra i modelli.
• Interpretazione: Gli autori suggeriscono che il segnale di autolesionismo di Gemma non è concentrato in una singola direzione, ma è distribuito nello spazio delle attivazioni. Un probe lineare può trovare un iperpiano che sfrutta questo segnale distribuito, mentre una semplice direzione di differenza media (Cohen's $d$) non riesce a catturare la piena separazione.
• Divergenza: In Llama 3.2-3B, la direzione contrastiva ha raggiunto il picco di separabilità (Cohen's $d$) al livello 14, ben prima dei livelli finali dove l'AUC del probe continuava a salire, indicando che le direzioni a metà rete possono essere potenti ma insufficienti per una classificazione accurata da sole.

3. Stabilità Direzionale
La direzione contrastiva dell'autolesionismo non è stabile attraverso la profondità della rete.

• Struttura Diagonale Blocco-Blocco (Block-Diagonal): I livelli adiacenti mostrano un alto allineamento (similarità del coseno 0,76–0,92), ma le direzioni del primo e dell'ultimo terzo della rete sono quasi ortogonali (similarità del coseno 0,14–0,38).
• Implicazione: Il concetto di autolesionismo viene rappresentato dinamicamente mentre passa attraverso la rete; una direzione estratta in un livello precoce non si trasferisce ai livelli successivi. Gemma-3-4B ha mostrato la più bassa similarità del coseno cross-layer (0,135) su SH-D.

Significato e Rivendicazioni

Il paper sostiene che i suoi risultati aprono la strada a strategie di intervento più efficaci rivelando la geometria interna degli embedding relativi alla sicurezza. Nello specifico:

• Ingegneria della Rappresentazione (Representation Engineering): Lo studio supporta l'uso dell'ingegneria della rappresentazione per comprendere l'interno dei modelli, andando oltre il rilevamento black-box verso componenti esplicite e testabili.
• Differenze di Architettura: I risultati evidenziano che modelli diversi (ad esempio, Gemma vs. Llama) possono rappresentare gli stessi concetti di sicurezza (autolesionismo) in modi strutturalmente diversi (segnali concentrati vs. distribuiti), il che ha implicazioni su come i meccanismi di sicurezza debbano essere adattati a specifiche architetture.
• Impatto della Qualità dei Dati: Il divario sistematico di performance tra i dataset X-Sensitive e SH-Detection suggerisce che la qualità dell'etichettatura e la composizione del corpus influenzano significativamente la qualità della rappresentazione, un fattore che deve essere considerato quando si addestrano o si valutano i modelli di sicurezza.

Gli autori concludono che, sebbene i concetti di autolesionismo si cristallizzino costantemente nei livelli finali, la natura geometrica di queste rappresentazioni è complessa e specifica per ogni modello, sfidando l'assunzione che esista una singola, stabile "direzione di sicurezza" attraverso tutti i livelli e le architetture.