Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models

1. Enunciato del Problema

I Large Language Models (LLM) sono sempre più utilizzati in applicazioni che richiedono l'integrazione di contesto esterno (Conoscenza Contestuale, CK) con la conoscenza parametrica interna (PK), come nella Generazione Aumentata dal Recupero (RAG) e nel fact-checking. Tuttavia, esiste un divario critico di trasparenza:

• Opacità: Gli utenti non possono determinare se l'output di un modello si basa sul contesto fornito o sui suoi dati di addestramento interni.
• Mancanza di una Verità Fondamentale (Ground Truth): I metodi esistenti per valutare le "Spiegazioni di Evidenziazione" (HE), che indicano i token di input specifici responsabili di un output, si basano su metriche di fedeltà (ad esempio, Completezza e Sufficienza). Queste metriche utilizzano proxy di perturbazione (mascheramento/rimozione dei token) che creano artefatti fuori distribuzione e mancano di uno standard aureo (verità fondamentale) per verificare se la spiegazione riflette effettivamente la vera fonte di informazione del modello.
• Il Divario: Non esiste un framework per valutare se le HE identificano accuratamente quali pezzi di contesto o token specifici hanno influenzato la decisione del modello, in particolare quando il contesto contraddice la memoria parametrica del modello.

2. Metodologia

Gli autori propongono il primo framework di valutazione standard aureo per l'attribuzione del contesto, utilizzando casi di test controllati in cui l'uso del contesto fondamentale è predeterminato.

A. Regimi di Input Controllati

Il framework costruisce quattro scenari specifici per testare diversi aspetti dell'utilizzo del contesto, assicurando che il modello debba utilizzare il contesto (rendendo la risposta del contesto in contraddizione con la conoscenza parametrica del modello):

1. Conflittuale (Singolo): Un passaggio di contesto contraddice la PK del modello.
2. Irrilevante (Singolo): Un passaggio di contesto è irrilevante ma contiene un token di risposta distrattivo (errato).
3. Doppio-Conflittuale (Doppio): Due passaggi di contesto contraddicono entrambi la PK.
4. Misto (Doppio): Un passaggio irrilevante e un passaggio conflittuale.

• Nota: Gli autori creano anche versioni "Swap" delle configurazioni a doppio contesto per testare il bias posizionale.

B. Metriche di Valutazione

Il framework valuta le HE lungo tre assi allineati a tre Domande di Ricerca (RQ):

1. Accuratezza dell'Attribuzione a Livello di Documento (RQ1 e RQ2):
   • $\Delta$Rank@k: Misura il margine di rango dei token dal documento "usato" rispetto al documento "non usato" (o contesto rispetto alla memoria). Un margine positivo indica che l'HE dà priorità correttamente alla fonte rilevante.
   • Simulatabilità: Utilizza l'Informazione Mutua Normalizzata (NMutInf) e la Lunghezza Minima di Descrizione (MDL-Bits) per determinare se i token evidenziati top-$k$ possono prevedere la scelta della fonte del modello (CK vs PK, o Passaggio 1 vs Passaggio 2).
2. Accuratezza dell'Attribuzione a Livello di Token (RQ3):
   • Mean Reciprocal Rank (MRR): Valuta quanto altamente l'HE classifica il/la esatto/i token di risposta fondamentale/i trovato/i nel contesto.

C. Metodi Valutati

Il framework testa quattro tecniche HE:

1. Ablazione delle Caratteristiche (FA): Maschera i token per misurare l'impatto sulla probabilità della risposta.
2. Gradienti Integrati (IG): Utilizza le magnitudini dei gradienti lungo un percorso da una baseline all'input.
3. Visualizzazione dell'Attenzione (ATTN): Utilizza i pesi di attenzione dalla testa di attenzione più influente.
4. MechLight (Novel): Un approccio di interpretabilità meccanicistica. Identifica la specifica testa di attenzione che guida più fortemente la differenza di logit tra risposte in competizione (ad esempio CK vs PK) e proietta i pesi di attenzione di quella testa sui token di input come spiegazione.

D. Configurazione Sperimentale

• Dataset: FAKEPEDIA, WORLDCAPITAL, COUNTERFACT e CONFLICTQA.
• Modelli: Cinque LLM che variano da 1,5 a 7 miliardi di parametri (GPT2-XL, Pythia-2.8B/6.9B, Qwen2.5-3B/7B).

3. Contributi Chiave

1. Framework Standard Aureo: Introduzione del primo benchmark di valutazione per le HE nell'utilizzo del contesto che si basa sull'uso del contesto fondamentale piuttosto che su proxy di perturbazione indiretti.
2. Metodo MechLight: Proposta di un nuovo metodo leggero di interpretabilità meccanicistica che converte i segnali interni del modello (teste di attenzione che guidano i gap di logit) in spiegazioni di evidenziazione a livello di token.
3. Benchmarking Completo: Valutazione di metodi consolidati (FA, IG, ATTN) e del nuovo metodo MechLight su modelli, dataset e scenari di contesto diversi (singolo/doppio, conflittuale/irrilevante).
4. Rilascio Pubblico: Rilascio del codice e del dataset ricostruito per facilitare la ricerca futura.

4. Risultati

Confronto delle Prestazioni

• Migliore Eseguente: MechLight ha costantemente superato tutti gli altri metodi in tutti gli scenari, dataset e modelli. Ha mostrato la massima accuratezza nel distinguere tra l'uso di CK e PK e nell'identificare il documento corretto nelle impostazioni a doppio contesto.
• Secondo Migliore: Ablazione delle Caratteristiche (FA) ha mostrato potenziale ma ha esibito un'alta varianza e instabilità, in particolare negli scenari a lungo contesto.
• Peggiori Eseguenti: Gradienti Integrati (IG) e Visualizzazione dell'Attenzione (ATTN) hanno performato male, producendo spesso margini vicini allo zero o valori negativi. Sorprendentemente, nonostante avessero ottenuto buoni punteggi sulle metriche di fedeltà tradizionali, hanno fornito scarso valore nel rivelare i reali pattern di utilizzo del contesto.

Fallimenti Sistematici e Limitazioni

1. Sensibilità alla Lunghezza del Contesto: L'accuratezza delle spiegazioni degrada significativamente all'aumentare della lunghezza del contesto. Tutti i metodi faticano a individuare il token di risposta corretto in contesti lunghi (ad esempio CONFLICTQA).
2. Bias Posizionale: Nelle impostazioni a doppio documento, tutti i metodi hanno esibito forti bias posizionali:
   • FA e IG tendevano a favorire i passaggi più tardi (bias di recency).
   • ATTN e MechLight tendevano a favorire i passaggi più iniziali (bias di primacy).
   • Questo bias persisteva anche quando l'ordine dei documenti veniva scambiato, suggerendo che sia un artefatto del metodo o dell'architettura del modello piuttosto che della rilevanza del contenuto.
3. Errori di Localizzazione dei Token: Studi di caso qualitativi hanno rivelato che anche quando i modelli copiano risposte dal contesto, le HE spesso evidenziano:
   • Token generici (parole di arresto, punteggiatura).
   • Descrittori o entità vicini alla risposta.
   • La frase della domanda stessa (ad esempio "Cosa", "Chi").

5. Significato

• Sfida alle Pratiche Correnti: I risultati mettono in discussione l'utilità dei metodi basati su gradienti (IG) e basati su attenzione (ATTN) ampiamente utilizzati per le applicazioni RAG e fact-checking, suggerendo che potrebbero essere fuorvianti riguardo all'attribuzione della fonte.
• Fondamento per lo Sviluppo Futuro: Il framework fornisce una base rigorosa, basata sulla verità fondamentale, per lo sviluppo della prossima generazione di metodi di attribuzione del contesto che devono superare la sensibilità alla lunghezza e il bias posizionale.
• Validazione dell'Interpretabilità Meccanicistica: Il successo di MechLight evidenzia il potenziale dell'interpretabilità meccanicistica (analisi dei componenti interni del modello) rispetto ai metodi standard di perturbazione post-hoc per comprendere il comportamento del modello in scenari di recupero complessi.

In conclusione, il documento stabilisce che, sebbene i metodi HE attuali offrano qualche intuizione, sono attualmente insufficienti per un'attribuzione del contesto affidabile in applicazioni reali a lungo contesto. Il framework proposto e il metodo MechLight offrono una strada da seguire per costruire sistemi LLM più trasparenti e affidabili.