Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

1. Il Problema

Il campo dell'elaborazione del linguaggio naturale (NLP) prospettivista sostiene che le annotazioni non dovrebbero convergere su un'unica etichetta di consenso, ma riflettere i giudizi specifici dei singoli annotatori, riconoscendo che il disaccordo deriva da differenze di background, interpretazione e prospettive socio-demografiche.

Tuttavia, gli approcci esistenti presentano due limiti principali:

1. Astrazione delle prospettive: La maggior parte dei modelli gestisce le prospettive utilizzando segnali indiretti (come ID utente o metadati demografici) per inferire la variazione, senza integrare esplicitamente il ragionamento umano sottostante.
2. Separazione tra previsione e spiegazione: Le spiegazioni (rationales) fornite dagli annotatori sono raramente integrate nel processo di modellazione. Spesso vengono trattate come giustificazioni post-hoc o ignorate, perdendo così l'opportunità di catturare la sfumatura del "perché" dietro una decisione, specialmente quando annotatori diversi assegnano la stessa etichetta per motivi diversi.

L'obiettivo di questo lavoro è colmare questo divario modellando congiuntamente la previsione dell'etichetta specifica per l'annotatore e la generazione della relativa spiegazione, trattando le spiegazioni come espressioni esplicite della prospettiva individuale.

2. Metodologia

Il framework proposto si basa sul dataset VariErrNLI, che contiene annotazioni NLI (Natural Language Inference) disaggregate e spiegazioni fornite dagli annotatori, permettendo di distinguere tra variazione legittima e errori di annotazione.

Il sistema è composto da due componenti principali:

A. Classificatore Consapevole dell'Annotatore (Annotator-Aware Classifier)

• Architettura: Utilizza DeBERTa-v3-base come encoder di base.
• Meccanismo "User Passport": Per modellare esplicitamente l'identità e il contesto dell'annotatore, il sistema introduce un embedding apprendibile per ogni annotatore ($u_j$) e proietta i metadati demografici strutturati (genere, età, nazionalità, istruzione) in un vettore ($m_j$).
• Fusione: La rappresentazione contestuale dell'input (contesto + affermazione) viene fusa a livello di rappresentazione con l'embedding dell'annotatore e i metadati: $z_{ij} = [h; u_j; m_j]$. Questo permette al modello di apprendere pattern sistematici tra le caratteristiche dell'annotatore e il comportamento di etichettatura.

B. Modelli di Spiegazione (Explainer Architectures)

Il paper confronta due approcci per generare le spiegazioni ($r_a$) condizionate all'annotatore:

1. Post-hoc Explainer (Prompt-based):

   • Utilizza un modello encoder-decoder (Flan-T5).
   • Riceve in input un prompt testuale contenente il contesto, l'affermazione, l'identità dell'annotatore (come token speciale) e le probabilità predette dal classificatore.
   • Non esiste una connessione differenziabile diretta tra il classificatore e l'explainer; la connessione è puramente testuale.

2. Prefixed Bridge Explainer (Approccio Proposto):

   • Introduce un ponte neurale (un piccolo MLP a 2 strati) che trasferisce direttamente le rappresentazioni interne del classificatore (fusa con l'identità dell'annotatore) nel modello generativo.
   • Il bridge proietta il vettore del classificatore in una sequenza di prefix embeddings che vengono preposti agli input del decoder T5.
   • Questo crea un accoppiamento forte e differenziabile: la generazione della spiegazione è condizionata direttamente dalle rappresentazioni latenti che guidano la decisione di classificazione, non solo dal testo.

3. Contributi Chiave

• Integrazione Esplicita delle Rationales: Il lavoro propone un framework che tratta le spiegazioni non come giustificazioni secondarie, ma come componenti fondamentali per modellare le prospettive fini (fine-grained).
• Architettura "Prefixed Bridge": L'introduzione di un ponte che trasferisce le rappresentazioni interne del classificatore al generatore permette una generazione di spiegazioni semanticamente allineata con il ragionamento interno del modello, superando i limiti degli approcci basati solo su prompt.
• Modellazione Giusta del Disaccordo: Dimostra che incorporare le spiegazioni specifiche per annotatore migliora la capacità del modello di catturare la diversità umana, trattando il disaccordo come una risorsa informativa piuttosto che come rumore.

4. Risultati

Gli esperimenti sono stati condotti su VariErrNLI con quattro annotatori indipendenti.

• Prestazioni Predittive:
  • Il modello di base (User Passport senza spiegazioni) ottiene un Macro-F1 di 70.5.
  • L'approccio Post-hoc migliora significativamente il Macro-F1 a 92.3.
  • L'approccio Prefixed Bridge raggiunge il punteggio più alto con un Macro-F1 di 93.9 e un Exact Match del 92.4, indicando una maggiore stabilità e allineamento con le etichette "gold".
• Qualità delle Spiegazioni:
  • Similarità Lessicale (ROUGE-L): L'approccio Post-hoc ottiene punteggi leggermente superiori, suggerendo una maggiore sovrapposizione superficiale con le spiegazioni di riferimento.
  • Similarità Semantica: L'approccio Prefixed Bridge supera nettamente il Post-hoc nella similarità semantica. Le spiegazioni generate sono più allineate nel significato e nel ragionamento sottostante, anche se meno simili a livello lessicale.
• Analisi per Annotatore:
  • Il modello Prefixed Bridge mostra prestazioni più stabili tra gli annotatori, specialmente per quelli con pattern di ragionamento meno coerenti o strutturati.
  • L'approccio Post-hoc funziona meglio per annotatori con spiegazioni molto coerenti e ben allineate al testo (es. Ann2), ma fatica di più con la variabilità.
  • L'analisi qualitativa conferma che il Prefixed Bridge genera spiegazioni più concise e direttamente radicate nel contrasto tra contesto e affermazione, evitando divagazioni.

5. Significato e Implicazioni

Questo studio dimostra che la modellazione prospettivista beneficia enormemente dall'integrazione di spiegazioni specifiche per annotatore all'interno dell'architettura predittiva.

• Fiducia e Trasparenza: Trasformare le spiegazioni in segnali di addestramento diretti rende i sistemi NLP più trasparenti e fedeli alle prospettive umane reali.
• Robustezza Semantica: L'uso di rappresentazioni interne condivise (tramite il bridge) garantisce che la spiegazione generata non sia solo un testo plausibile, ma una giustificazione coerente con il processo decisionale del modello.
• Futuro della Ricerca: Il lavoro suggerisce che per modellare efficacemente il disaccordo umano, è necessario passare da una visione basata su etichette aggregate o segnali demografici indiretti a una visione che incorpora attivamente il ragionamento esplicito (rationales) come parte integrante del ciclo di apprendimento.

In sintesi, il paper stabilisce un nuovo standard per la modellazione delle prospettive, dimostrando che la combinazione di classificazione e generazione di spiegazioni guidata dalle rappresentazioni interne porta a sistemi NLP più ricchi, fedeli e capaci di gestire la complessità delle opinioni umane.