Sintesi Tecnica: Imparare a Spiegare (ExpNet)

Definizione del Problema

L'impiego di modelli basati su transformer in domini ad alto rischio (sanità, ambito legale, finanza) è ostacolato dalla loro opacità, che mina la fiducia e la responsabilità. Sebbene i meccanismi di auto-attenzione (self-attention) nei transformer offrano una potenziale fonte di interpretabilità, i metodi esistenti per estrarre spiegazioni soffrono di limitazioni significative:

1. Metodi Model-Agnostic (es. LIME, SHAP): Trattano il modello come una scatola nera, ignorando il ragionamento interno. Incurrono in elevati costi computazionali e, nel campo del NLP, generano spesso input semanticamente non validi attraverso perturbazioni (mascheramento/sostituzione di parole), portando a esempi fuori distribuzione che confondono l'interpretazione causale.
2. Metodi Basati sull'Attenzione: Pur utilizzando segnali interni, si affidano a strategie di aggregazione definite manualmente e a regole euristiche fisse (ad esempio, la media dei pesi di attenzione tra le teste o gli strati). Queste regole predeterminate potrebbero non catturare le combinazioni ottimali di caratteristiche di attenzione necessarie per allinearsi al ragionamento umano in diversi compiti.

Il problema centrale affrontato è la mancanza di un metodo in grado di apprendere automaticamente la mappatura dei pattern di attenzione dei transformer verso l'importanza dei token secondo il giudizio umano, senza fare affidamento su rigide regole artigianali o costose perturbazioni black-box.

Metodologia

Il documento introduce ExpNet (Explanation Network), una rete neurale leggera progettata per apprendere una mappatura esplicita dai pattern di attenzione dei transformer ai punteggi di importanza a livello di token.

1. Modello Base ed Estrazione delle Caratteristiche

• Modello Base: L'approccio utilizza un modello BERT-base congelato come estrattore di caratteristiche. Il modello non viene modificato; vengono utilizzati solo i suoi pattern di attenzione.
• Design delle Caratteristiche: ExpNet estrae le caratteristiche dallo strato finale di auto-attenzione (Strato 12) di BERT, che contiene 12 teste di attenzione. Per ogni token $j$, cattura due prospettive distinte e non simmetriche di attenzione rispetto al token [CLS]:
  • Attenzione Task-to-Token ($A_{[CLS],j}$): Misura quanto fortemente il meccanismo di aggregazione ([CLS]) presta attenzione al token $j$.
  • Attenzione Token-to-Task ($A_{j,[CLS]}$): Misura quanto il token $j$ presta attenzione alla rappresentazione del compito (task).
• Vettore di Input: Queste caratteristiche vengono concatenate per formare un vettore a 24 dimensioni ($2 \times 12$ teste) per ogni token, preservando i contributi individuali di ogni testa da entrambe le direzioni invece di mediarli.

2. Architettura della Rete

ExpNet è una semplice rete feed-forward composta da:

• Strato di Input: 24 dimensioni.
• Strato Nascosto: 16 unità con attivazione ReLU.
• Strato di Output: Un'unità sigmoidale singola che produce una probabilità $\hat{y}_j \in [0, 1]$ rappresentante la probabilità che il token $j$ sia importante.

3. Procedura di Addestramento

• Supervisione: La rete viene addestrata come classificatore binario a livello di token utilizzando rationale annotate da esseri umani. Le etichette sono proiettate dalle annotazioni a livello di parola ai sub-token (se un eventuale sub-token di una parola è marcato come importante, tutti i sub-token ricevono un'etichetta positiva).
• Filtraggio dei Dati: L'addestramento viene eseguito esclusivamente su istanze in cui il classificatore BERT sottostante ha effettuato una previsione corretta. Ciò assicura che l'esplicatore apprenda i pattern di attenzione associati a ragionamenti di successo, evitando il rumore derivante da pattern di errore.
• Funzione di Perdita: Per affrontare lo sbilanciamento delle classi (la maggior parte dei token non è importante), viene utilizzata la Focal Loss invece della cross-entropy. Questa riduce il peso degli esempi facili e si concentra l'apprendimento sui token difficili da classificare.
• Inferenza: Viene applicata una soglia di 0.5 per generare previsioni binarie. Un meccanismo di fallback assicura che almeno un token sia marcato come importante per ogni esempio per evitare spiegazioni vuote.

4. Design Sperimentale

La valutazione impiega un protocollo di generalizzazione cross-task. ExpNet viene addestrato sui dati di rationale combinati di due compiti NLP e valutato su un terzo compito tenuto in riserva (held-out). I compiti utilizzati sono:

• HateXexplain: Rilevamento di discorsi d'odio (Rationale umane).
• SST-2: Analisi del sentiment (Rationale LLM + Umane).
• CoLA: Accettabilità grammaticale (Rationale LLM + Umane).

Questa configurazione testa se ExpNet apprenda pattern di spiegazione generalizzabili piuttosto che euristiche specifiche per il compito.

Contributi Chiave

1. Framework Innovativo: Un approccio di apprendimento supervisionato che scopre automaticamente le combinazioni ottimali di caratteristiche di attenzione, sostituendo le regole di aggregazione fisse con una mappatura apprendibile dai pattern di attenzione alle rationale umane.
2. Generalizzazione Cross-Task: Dimostrazione che le spiegazioni basate sull'attenzione possono generalizzare attraverso distinti domini NLP (sentiment, grammatica, hate speech) quando addestrate su una combinazione di compiti.
3. Validazione Architetturale: Studi di ablazione completi che giustificano l'uso di caratteristiche di attenzione bidirezionali (task-to-token e token-to-task) e il design specifico della rete.
4. Performance Empirica: Valutazione estesa che mostra prestazioni allo stato dell'arte rispetto a una vasta gamma di baseline, inclusi metodi model-agnostic (LIME, SHAP), metodi basati sul gradiente (Integrated Gradients, Grad-CAM) e tecniche basate sull'attenzione (Rollout, GAE, AttCAT).

Risultati

Expnet è stato valutato contro 13 metodi baseline su tre dataset utilizzando il F1-score a livello di token e l'AUROC.

• Performance del F1-Score: ExpNet ha ottenuto i punteggi F1 più alti in tutti e tre i compiti nell'impostazione cross-task:
  • SST-2: 0.398 (rispetto al miglior baseline GAE/MGAE a 0.350).
  • CoLA: 0.468 (rispetto al miglior baseline Grad-CAM a 0.356), un miglioramento relativo del 31%.
  • HateXplain: 0.473 (rispetto al miglior baseline Grad-CAM a 0.396), un miglioramento relativo del 19%.
• Performance AUROC: ExpNet ha ottenuto valori AUROC competitivi (costantemente sopra lo 0.7), sebbene non abbia sempre dominato questa metrica. Gli autori notano una distinzione: ExpNet eccelle nella selezione del set corretto di token importanti (alta accuratezza di classificazione binaria), mentre alcuni metodi basati sul gradiente possono preservare meglio la qualità del ranking relativo tra tutti i token.
• Efficienza: ExpNet è computazionalmente efficiente, richiedendo solo un singolo passaggio in avanti di un MLP leggero su caratteristiche di attenzione pre-calcolate, evitando i costi di campionamento e perturbazione dei metodi model-agnostic.

Significato e Rivendicazioni

Il documento afferma che ExpNet dimostra che l'attenzione dei transformer può essere sistematicamente raffinata in spiegazioni allineate all'uomo attraverso l'apprendimento supervisionato. La sua importanza risiede nel:

• Superiore Allineamento: Supera costantemente le baseline stabilite nell'allineamento con le rationale umane, suggerendo che le mappature apprese siano superiori alle euristiche artigianali per estrarre spiegazioni.
• Generalizzabilità: La capacità di addestrare su due compiti e spiegare con successo un terzo indica che il modello cattura pattern fondamentali di come le caratteristiche importanti per l'uomo si manifestano nell'attenzione dei transformer, indipendentemente dagli obiettivi di classificazione specifici.
• Praticità: Mantenendo l'efficienza computazionale pur migliorando la qualità della spiegazione, ExpNet offre una via percorribile per implementare modelli interpretabili in applicazioni real-time ad alto rischio.

Gli autori riconoscono i limiti, tra cui la dipendenza dalle rationale annotate da esseri umani per l'addestramento (sebbene i risultati cross-dataset suggeriscano potenziali applicazioni zero-shot a compiti non annotati), il focus sui modelli encoder-only e la granularità a livello di token che potrebbe mancare la semantica a livello di frase. Posizionano questi punti non come difetti fondamentali, ma come aree per future estensioni ai modelli decoder-only e a una copertura di dominio più ampia.