Compact Example-Based Explanations for Language Models

1. Il Problema

Le stime dell'influenza dei dati di addestramento (come le Influence Functions) sono strumenti promettenti per generare spiegazioni basate su esempi per i modelli linguistici (LLM), quantificando quanto i documenti di addestramento contribuiscono all'output del modello. Tuttavia, esistono due sfide principali:

1. Scalabilità e Interpretabilità: Gli umani non possono processare migliaia di documenti. È necessario selezionare un sottoinsieme piccolo e gestibile di esempi per fornire una spiegazione.
2. Strategie di Selezione Inadeguate: I sistemi esistenti spesso adottano strategie "naive", selezionando semplicemente i $k$ esempi con il punteggio di influenza più alto. Questo approccio è problematico perché:
   • Gli esempi con influenza globale più alta sono spesso outlier (esempi anomali o mal etichettati) che non sono necessariamente rilevanti per l'istanza di test specifica.
   • Gli esempi più influenti tendono a contenere informazioni ridondanti, offrendo poco valore aggiunto all'utente.
   • Le valutazioni precedenti si sono concentrate sulla correttezza delle stime grezze o sull'intero sistema, trascurando la logica di selezione stessa, che è cruciale per la qualità della spiegazione.

2. Metodologia

Gli autori propongono un nuovo framework di valutazione e una strategia di selezione che non richiede il ri-addestramento del modello (retraining-free).

A. Punteggio di Rilevanza di Selezione ($\xi_{SR}$)

Il contributo centrale è una nuova metrica chiamata Selection Relevance Score.

• Concetto: La selezione di esempi è trattata come un compito di ricostruzione del gradiente. L'obiettivo è ricostruire il gradiente della funzione di perdita ($\nabla L'$) dell'istanza di test come una combinazione lineare dei gradienti degli esempi selezionati.
• Formula: Il punteggio è definito come il rapporto tra il valore atteso del quadrato della norma del gradiente dell'istanza di test e il valore atteso del quadrato dell'errore di ricostruzione:
  $$\xi_{SR} = \frac{E[\|G(\omega)\|^2]}{E[\|G(\omega) - A t_\omega\|^2]}$$
  dove $A$ è la matrice dei gradienti degli esempi selezionati e $t$ sono coefficienti appresi (con vincoli di non-negatività e somma unitaria per garantire coerenza interpretativa).
• Interpretazione: Un punteggio alto (in dB) indica che gli esempi selezionati sono informativi e non ridondanti per spiegare l'output. Un punteggio basso suggerisce che la selezione fallisce nel catturare la dinamica del modello per quell'istanza.

B. Validazione tramite Fine-Tuning

Poiché non esiste una "verità fondamentale" assoluta per la rilevanza, gli autori validano $\xi_{SR}$ confrontandolo con due metriche basate sul fine-tuning:

1. Supporto alla Predizione ($\xi^+$): Misura se il fine-tuning sugli esempi selezionati aumenta la probabilità dell'output originale.
2. Spostamento della Predizione ($\xi_{JSD}$): Misura la divergenza Jensen-Shannon tra la distribuzione originale e quella dopo il fine-tuning.
   L'analisi di correlazione mostra che $\xi_{SR}$ è un buon indicatore predittivo del successo del fine-tuning, specialmente quando il punteggio supera 0 dB.

C. Nuova Strategia di Selezione

Motivati dal fatto che le strategie naive (selezionare i top-k per influenza) spesso performano peggio di una selezione casuale, gli autori propongono una strategia basata sulla localizzazione delle strutture (Facility Location).

• Questa strategia bilancia l'influenza (quanto un esempio è importante) e la rappresentatività/copertura (quanto l'esempio è diverso dagli altri selezionati per evitare ridondanza).
• Viene implementata come un problema di ottimizzazione submodulare, permettendo di controllare il compromesso tra influenza e diversità tramite un parametro $\lambda$.

3. Risultati Chiave

Gli esperimenti sono stati condotti su diversi modelli (OLMo2, Llama 3.2, Qwen 2.5) e metodi di stima dell'influenza (DataInf, LESS, BM25).

• Fallimento delle Strategie Naive: Selezionare gli esempi più influenti (o più dannosi/utili) basandosi su stime gradient-based (DataInf, LESS) spesso porta a punteggi di rilevanza negativi (peggiori del caso casuale). Questo perché questi esempi sono spesso outlier globali o ridondanti.
• Paradosso dell'Influenza Minima: Controintuitivamente, le strategie che selezionano gli esempi con influenza minima (i meno influenti) ottengono i punteggi di rilevanza più alti e superano la selezione casuale. Questo perché questi esempi sono spesso prototipici e ridondanti; la loro rimozione non altera drasticamente il modello, rendendoli stabili e rappresentativi per la spiegazione di un'istanza specifica.
• Efficacia della Strategia Proposta: La strategia basata sulla Facility Location (che bilancia influenza e copertura) migliora significativamente il punteggio di rilevanza rispetto alla selezione naive, specialmente per budget di selezione piccoli ($k=5, 10$).
• Validazione: Esiste una forte correlazione tra un alto punteggio $\xi_{SR}$ e il fatto che il fine-tuning sugli esempi selezionati supporti la predizione originale del modello.

4. Contributi Principali

1. Selezione Relevance Score ($\xi_{SR}$): Una metrica di valutazione retraining-free che quantifica l'utilità di un set di esempi per spiegare un output, basandosi sulla ricostruzione del gradiente.
2. Benchmark Estensivo: Una valutazione di 3 metodi di stima dell'influenza e 4 strategie di selezione, che rivela come le strategie naive siano spesso inefficaci se abbinate a metodi di stima popolari.
3. Nuova Strategia di Selezione: Un approccio che bilancia influenza e rappresentatività, dimostrando di sfruttare meglio i budget di selezione limitati rispetto alla semplice scelta degli esempi più influenti.

5. Significato e Implicazioni

Questo lavoro sposta il focus dalla sola accuratezza delle stime di influenza alla qualità della selezione degli esempi per le spiegazioni. Dimostra che:

• La scelta degli esempi è critica quanto la stima dell'influenza stessa.
• Gli esempi "più influenti" non sono necessariamente i migliori per le spiegazioni basate su esempi (che mirano a supportare la predizione), poiché possono essere outlier o ridondanti.
• Per ottenere spiegazioni fedeli e informative, è necessario considerare la diversità e la copertura dei dati selezionati, non solo la loro forza di influenza.
• Il punteggio proposto offre un segnale utile per prevedere la dinamica di addestramento senza costi computazionali elevati di ri-addestramento.

In sintesi, il paper suggerisce che per costruire sistemi di spiegazione basati su esempi efficaci per gli LLM, è fondamentale abbandonare la logica "top-k" in favore di strategie che massimizzino la rilevanza locale e la diversità degli esempi selezionati.