Interaction-Aware Influence Functions for Group Attribution

Riepilogo Tecnico: Funzioni di Influenza Consapevoli delle Interazioni per l'Attribuzione di Gruppo

Enunciato del Problema
Le funzioni di influenza sono uno strumento fondamentale per approssimare come la rimozione di un esempio di addestramento modifichi una funzione target, come una perdita su dati tenuti da parte. La pratica standard per stimare l'influenza di un gruppo di esempi consiste nel sommare le influenze individuali dei suoi membri. Tuttavia, questo approccio additivo presuppone che gli esempi contribuiscano in modo indipendente, fallendo nel catturare gli effetti congiunti. In realtà, gli esempi possono essere ridondanti (ad esempio, quasi-duplicati) o complementari (ad esempio, caratteristiche simili con etichette diverse). Sommare le influenze individuali porta a un doppio conteggio degli esempi ridondanti e trascura gli effetti sinergici di quelli complementari, portando a una scarsa attribuzione di gruppo e a una selezione dei dati subottimale (ad esempio, la selezione di sottoinsiemi altamente ridondanti). I precedenti tentativi di affrontare questo problema, come le correzioni del secondo ordine agli spostamenti dei parametri, spesso trascurano come la funzione target stessa risponda a tali spostamenti.

Metodologia
Gli autori propongono una funzione di influenza consapevole delle interazioni che caratterizza come le interazioni tra esempi influenzino congiuntamente una funzione target. L'innovazione centrale consiste nell'espandere la funzione target $f$ al secondo ordine attorno ai parametri addestrati $\hat{\theta}$, piuttosto che limitarsi a linearizzare lo spostamento dei parametri.

1. Espansione al Secondo Ordine:
   L'effetto esatto di esclusione del gruppo $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ è approssimato espandendo $f$ al secondo ordine:
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{Influenza del primo ordine}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{Termine di interazione}}$$
   Qui, $u_S = \sum_{z_i \in S} u_i$ è lo spostamento aggregato dei parametri, dove $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$, e $H_f = \nabla^2_\theta f(\hat{\theta})$ è l'Hessiano della funzione target.

2. Termine di Interazione a Coppie:
   Il secondo termine (il termine di interazione) si decompone in una somma di contributi a coppie $\kappa(z_i, z_j) = u_i^\top H_f u_j$.

   • Interpretazione: Se $H_f$ è definita positiva, $\kappa(z_i, z_j)$ agisce come un prodotto interno che misura l'allineamento degli effetti di due esempi sulla target.
   • Ridondanza vs Complementarità: Il termine è positivo quando gli esempi spingono il modello in direzioni simili (ridondanza, rendimenti decrescenti) e negativo quando spingono in direzioni opposte (complementarità, effetto congiunto benefico).
   • Fattorizzazione in Forma Chiusa: Per la regressione logistica binaria, gli autori dimostrano che $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$. Questo recupera formalmente il principio secondo cui esempi simili con etichette diverse sono complementari, mentre esempi simili con la stessa etichetta sono ridondanti.

3. Selezione Greedy dei Dati:
   Per applicare questo alla selezione dei dati (trovare un sottoinsieme $S$ che minimizzi la target quando aggiunto), gli autori derivano un punteggio marginale $m(z_i | S)$ per l'aggiunta di un candidato $z_i$ a un insieme già selezionato $S$. Questo punteggio include un termine $u_S^\top H_f u_i$ che penalizza i candidati simili a quelli già selezionati, bilanciando efficacemente la qualità individuale con la diversità di gruppo senza richiedere un euristica di diversità esterna.

Contributi Chiave

• Quadro Teorico: Un nuovo stimatore di funzione di influenza che integra la somma standard del primo ordine con un termine di interazione a coppie derivato da un'espansione al secondo ordine della funzione target. Ciò differisce dai lavori precedenti che espandevano lo spostamento dei parametri (ad esempio, Basu et al. [5]), offrendo una struttura a coppie più stabile e interpretabile.
• Garanzie Teoriche: Dimostrazione che il termine di interazione codifica i principi classici dell'apprendimento supervisionato (complementarità di coppie simili di classi incrociate, ridondanza di coppie simili della stessa classe) in una fattorizzazione in forma chiusa per la regressione logistica, estendibile ai classificatori profondi multiclasse.
• Efficienza Algoritmica: Una procedura di selezione greedy (Algoritmo 1) con complessità $O(KPd)$ che precalcola le quantità necessarie e aggiorna un accumulatore, rendendola scalabile a grandi dataset e modelli.

Risultati Sperimentali
Il metodo è stato valutato in due contesti principali:

1. Fedeltà al Ri-addestramento (Modelli su Piccola Scala):

   • Configurazione: Valutato su sei coppie dataset-modello (Regressione Logistica, MLP, ResNet-9) attraverso compiti di classificazione e regressione.
   • Metrica: Correlazione di rango di Spearman tra l'influenza stimata e gli effetti reali di ri-addestramento con esclusione del gruppo.
   • Risultato: Lo stimatore consapevole delle interazioni (F+I) ha raggiunto la correlazione più alta in tutti i contesti, superando significativamente l'influenza standard del primo ordine (F) e la correzione del secondo ordine allo spostamento dei parametri (F+B). In particolare, F+B ha mostrato instabilità, confermando la cattiva condizionamento teorica dell'espansione dello spostamento dei parametri in contesti non convessi.

2. Selezione di Sottinsiemi (Piccola Scala e LLM):

   • Piccola Scala (MLP): Su MNIST e FashionMNIST, la selezione basata sull'influenza standard (F) è collassata su poche classi, performando peggio della selezione casuale. Il metodo consapevole delle interazioni ha mantenuto un'entropia di classe comparabile alla selezione casuale e ha raggiunto la perdita di test su dati tenuti da parte più bassa.
   • Grandi Modelli Linguistici (Llama-3.1-8B): Applicato alla selezione di dati per l'addestramento su istruzioni da un pool di ~270k esempi.
   • Risultato: Il metodo proposto ha superato la selezione casuale su tutti e sette i compiti downstream (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD). Ha raggiunto le prestazioni complessive migliori su cinque dei sette compiti, superando sia le baseline basate sull'influenza (Additive IF, LESS) sia le baseline basate sulla similarità di rappresentazione (RDS+, NV-Embed). Crucialmente, la selezione standard basata sull'influenza (Additive IF) ha performato peggio della selezione casuale sulla maggior parte dei compiti, evidenziando il fallimento della valutazione additiva in questo regime.

Significato e Affermazioni
Il documento afferma che l'attribuzione di gruppo riguarda fondamentalmente come gli esempi di addestramento influenzano la target, non solo lo spostamento dei parametri. Caratterizzando le interazioni attraverso il loro effetto congiunto sulla target, il metodo proposto affronta il "punto cieco" della valutazione additiva, che porta a una selezione di dati ridondante. Gli autori dimostrano che tenere conto di queste interazioni è critico sia per stimare accuratamente l'influenza di gruppo sia per selezionare sottoinsiemi di addestramento diversificati ed efficaci. Il metodo fornisce una correzione del secondo ordine basata su principi che emerge naturalmente dalla curvatura della funzione target, piuttosto che fare affidamento su penalità di diversità imposte esternamente.

Limitazioni
Gli autori notano due limitazioni principali:

1. La procedura di selezione greedy, sebbene efficace, manca di garanzie formali di ottimalità.
2. Lo stimatore eredita errori di approssimazione dalle approssimazioni dell'Hessiano sottostante (ad esempio, EK-FAC, proiezioni a rango basso). Il lavoro futuro potrebbe beneficiare dei progressi nella stima scalabile dell'inverso dell'Hessiano.