Riepilogo Tecnico: Influcoder

Problematica

Con l'aumento delle capacità dei Large Language Models (LLM), la necessità di curare dataset di addestramento di alta qualità si è intensificata. Nello specifico, vi è una domanda di metodi di Data Attribution (DA) che possano identificare quali specifici campioni di addestramento precondizionano un modello a generare determinati output, come ad esempio comportamenti tossici. Sebbene le Influence Functions (Koh e Liang, 2017) forniscano un quadro teorico per questo scopo, quantificando l'effetto dei campioni di addestramento sulla perdita di test, la loro applicazione pratica su larga scala è ostacolata da costi computazionali e requisiti di archiviazione proibitivi. I metodi esistenti spesso richiedono gradienti per ogni esempio o approssimazioni dell'inversa dell'Hessiana, che risultano instabili e lenti. Inoltre, studi recenti (Li et al., 2025; Ivison et al., 2025) indicano che molti metodi di influenza faticano a superare i baseline casuali quando si scala verso l'alto, mentre altri (Jiao et al., 2025) mostrano promettenza per il filtraggio ma rimangono computazionalmente costosi.

Metodologia: Influcoder

Gli autori propongono Influcoder, un metodo che destilla le classifiche di influenza del gradiente in un modello encoder compatto per ottenere un'attribuzione dei dati efficiente e scalabile. L'approccio evita l'instabilità della stima dell'inversa dell'Hessiana affidandosi a una formulazione di influenza del primo ordine basata sulla similarità del coseno dei gradienti LoRA (Low-Rank Adaptation).

1. Formulazione dell'Influenza del Gradiente

Inveve di utilizzare l'inversa dell'Hessiana completa, il metodo adotta una formulazione di influenza del primo ordine (Garima et al., 2020) limitata ai parametri dell'adapter LoRA ($\theta_L$). Per garantire la stabilità ed evitare di sovra-pesare gradienti con norma elevata, il prodotto scalare viene sostituito dalla similarità del coseno:
$$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$$
dove $p$ è un campione del pool (addestramento) e $q$ è un campione di query.

2. Pipeline di Addestramento a Due Stadi

Il metodo opera in due fasi distinte:

• Stadio 1: Raccolta delle Etichette Ground Truth

  • Campioni Pool ($P$) e Query ($Q$) vengono passati attraverso un modello decoder target.
  • I gradienti sono calcolati solo sui token di risposta (mascherando il prompt), poiché questi sono considerati più informativi.
  • Per ridurre l'archiviazione, i gradienti sono proiettati in una dimensione inferiore utilizzando CountSketch (Charikar et al., 2004).
  • La matrice di influenza "ground truth" ($I_{GT}$) è pre-calcolata calcolando la similarità del coseno tra tutte le coppie di gradienti di pool e query.

• Stadio 2: Distillazione in un Encoder

  • Un modello encoder (ad es. Ettin-encoder) viene addestrato per predire direttamente i punteggi di influenza dai campioni di input, bypassando la necessità di calcolare i gradienti per ogni query.
  • L'encoder produce embedding per i campioni pool e query ($E_p, E_q$).
  • Le influenze predette ($I_P$) sono calcolate come la similarità del coseno tra questi embedding.

3. Funzione di Loss Basata sul Ranking

Poiché l'obiettivo è classificare i campioni piuttosto che predire valori di influenza esatti, l'obiettivo di addestramento combina due loss di ranking differenziabili:

• Pearson Correlation Loss ($L_{Pearson}$): Allinea l'intero batch di influenze predette con la matrice ground truth per garantire la coerenza globale.
• KL Divergence Loss ($L_{KL}$): Una loss basata su softmax applicata per ogni query per ottimizzare specificamente il ranking dei campioni più influenti (top-k).
• Loss Totale: $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$.

Contributi Chiave

1. Nuovo Approccio di Distillazione: Influcoder è il primo metodo che destilla le classifiche di influenza del gradiente (specificamente basate su LoRA) in un encoder, distinguendosi dai precedenti lavori di distillazione che si concentrano sulle perdite di addestramento (es. AirRep) o su proxy completi del gradiente (es. IProX).
2. Scalabilità ed Efficienza: Sostituendo i costosi calcoli del gradiente con un passaggio forward attraverso un piccolo encoder, il metodo ottiene incrementi significativi di velocità e riduzioni dello storage.
3. Filtraggio Pratico: Il metodo dimostra efficacia nel filtrare i dati tossici, un'applicazione critica per la sicurezza degli LLM.

Risultati Sperimentali

Gli autori hanno valutato Influcoder rispetto a baseline tra cui LESS, LoGRA, DataInf, RDS+ e TF-IDF.

• Velocità di Inferenza e Costo:

  • Influcoder (68M parametri) elabora i campioni 15 volte più velocemente del modello proxy più vicino, 45 volte più velocemente di LoGRA completo e 100 volte più velocemente di LESS.
  • In termini di FLOPs, Influcoder utilizza 5 volte meno rispetto al proxy più vicino e 44 volte meno rispetto a LESS.
  • I requisiti di archiviazione sono drasticamente inferiori (30 MB per Influcoder contro 320 MB per LESS e 2.24 GB per LoGRA).

• Qualità dell'Attribuzione:

  • Correlazione di Ranking: Influcoder raggiunge correlazioni di Spearman medie aggregate comparabili o leggermente inferiori a LESS, superando significativamente i baseline di similarità semantica e altri metodi basati su proiezione.
  • Filtraggio della Tossicità: Nel compito XSTest-response (filtraggio di esempi tossici), Influcoder ha ottenuto un AUPRC di 0.6981 (Eterogeneo) e 0.6919 (Omogeneo). Sebbene leggermente inferiore a LESS (0.7075 e 0.7562), è vastamente superiore a DataInf (0.2157) e ai baseline semantici. Fondamentalmente, Influcoder ottiene questo risultato con un tempo di inferenza di ~32 secondi rispetto ai ~2248 secondi di LESS.

Significato e Limitazioni

Il paper sostiene che Influcoder fornisca una via percorribile verso un'attribuzione dei dati efficace su larga scala, bilanciando il compromesso tra l'alta accuratezza dei metodi basati sul gradiente e la velocità dei metodi basati sulla rappresentazione. Esso abilita l'uso delle funzioni di influenza per compiti come il filtraggio della tossicità dove la velocità è essenziale.

Tuttove, gli autori notano esplicitamente limitazioni significative:

• Dipendenza dalla Distribuzione: A differenza di metodi come LoGRA o LESS che funzionano indipendentemente dalla distribuzione dei dati, le prestazioni di Influcoder calano drasticamente se i campioni cadono al di fuori della distribuzione dei set di pool e query utilizzati durante l'addestramento.
• Requisito di Dati di Addestramento: Il metodo richiede una quantità sufficiente di dati di addestramento per distillare inizialmente l'influenza. In compiti con dati insufficienti, le prestazioni degradano.
• Overhead di Configurazione: A differenza dei metodi "plug-in", Influcolo richiede una fase iniziale di setup che coinvolge lo stock dei gradienti e l'addestramento dell'encoder, il che aggiunge complessità al workflow.

In conclusione, Influcoder offre un'alternativa a basso costo e alta velocità per l'attribuzione dei dati, particolarmente adatta a scenari in cui la distribuzione dei dati è nota e l'inferenza rapida è prioritaria rispetto alla massima precisione assoluta del ranking.