Riepilogo Tecnico: LoRIF – Funzioni di Influenza a Rango Basso per l'Attribuzione Scalabile dei Dati di Addestramento

Enunciato del Problema

L'Attribuzione dei Dati di Addestramento (TDA) mira a identificare quali esempi specifici di addestramento hanno influenzato maggiormente la previsione di un modello su una data query. Sebbene le Funzioni di Influenza (IF) forniscano un approccio teoricamente fondato alla TDA, approssimando il retraining leave-one-out tramite gradienti e matrici Hessiane inverse, esse sono rimaste di fatto inaccessibili per modelli su scala moderna (miliardi di parametri) addestrati su milioni di esempi.

Le varianti scalabili esistenti, come TRAK, LoGRA e TrackStar, affrontano i colli di bottiglia computazionali memorizzando gradienti proiettati per esempio e utilizzando un'approssimazione dell'Hessiana di Gauss-Newton smorzata. Tuttavia, questi metodi affrontano due colli di bottiglia critici di scalabilità che creano un compromesso tra qualità dell'attribuzione e fattibilità computazionale:

1. Memorizzazione dei Gradienti e I/O: Memorizzare i gradienti proiettati per esempio per $N$ esempi di addestramento richiede uno spazio $O(ND)$, dove $D$ è la dimensione di proiezione efficace. Al momento della query, il caricamento di questi gradienti domina la latenza (circa il 96% del tempo di query).
2. Scalatura dell'Hessiana Inversa: La formazione e la memorizzazione dell'approssimazione dell'Hessiana inversa $D \times D$ richiedono una memoria $O(D^2)$.

Aumentare la dimensione di proiezione $D$ è necessario per migliorare la qualità dell'attribuzione, ma farlo esacerba sia i colli di bottiglia di memorizzazione/I/O che quelli di memoria, rendendo l'attribuzione di alta qualità impraticabile per modelli su scala frontier.

Metodologia: LoRIF

LoRIF (Funzioni di Influenza a Rango Basso) affronta questi colli di bottiglia sfruttando la struttura a rango basso intrinseca nei gradienti delle reti neurali. Il metodo segue una pipeline in tre fasi:

1. Memorizzazione dei Gradienti a Rango Basso (Affrontare il Collo di Bottiglia I/O)

Invece di memorizzare la matrice completa dei gradienti proiettati per esempio $\tilde{G}_i \in \mathbb{R}^{d_1 \times d_2}$ (dove $D = d_1 d_2$), LoRIF memorizza una fattorizzazione di rango-$c$:
$$\tilde{G}_i \approx u_i v_i^\top$$
dove $u_i \in \mathbb{R}^{d_1 \times c}$ e $v_i \in \mathbb{R}^{d_2 \times c}$.

• Meccanismo: Questa fattorizzazione è calcolata tramite iterazioni di potenza a blocchi.
• Impatto: La memorizzazione e l'I/O al momento della query per layer per campione sono ridotti da $O(D)$ a $O(c(\sqrt{D}))$. I risultati empirici suggeriscono che anche con $c=1$, l'approssimazione mantiene una qualità di attribuzione significativa, e dare priorità a un $D$ più grande rispetto a un $c$ più alto produce una migliore efficienza dei costi.

2. Approssimazione della Curvatura tramite SVD Troncata (Affrontare il Collo di Bottiglia di Memoria)

Per evitare di formare l'inversa dell'Hessiana densa $D \times D$ $(G^\top G + \lambda I)^{-1}$, LoRIF calcola una Decomposizione ai Valori Singolari (SVD) troncata di rango-$r$ della matrice aggregata dei gradienti $G$:
$$G \approx U_r \Sigma_r V_r^\top$$
Utilizzando l'identità di Woodbury, il termine dell'inversa dell'Hessiana è approssimato in un sottospazio di dimensione $r$:
$$(V_r \Sigma_r^2 V_r^\top + \lambda I)^{-1} = \frac{1}{\lambda}I - \frac{1}{\lambda^2} V_r \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} V_r^\top$$

• Meccanismo: Vengono memorizzati solo i vettori singolari top-$r$ ($V_r$) e i valori singolari ($\Sigma_r$).
• Impatto: La complessità di memoria per il termine di curvatura è ridotta da $O(D^2)$ a $O(Dr)$. Ciò consente una dimensione di proiezione efficace $D$ significativamente più grande entro un budget di memoria fisso.

3. Calcolo del Punteggio di Influenza

Al momento della query, i punteggi di influenza sono calcolati proiettando il gradiente della query nel sottospazio di dimensione $r$ e utilizzando i fattori a rango basso memorizzati per i gradienti di addestramento. Il punteggio di influenza $I(x_{tr}, x_{te})$ è approssimato come:
$$I(x_{tr}, x_{te}) \approx \frac{1}{\lambda} g_{te}^\top g_{tr} - \frac{1}{\lambda^2} (g'_{te})^\top \left( \Sigma_r^{-2} + \frac{1}{\lambda}I_r \right)^{-1} g'_{tr}$$
dove $g'$ rappresenta i gradienti proiettati sui vettori singolari $V_r$. Il primo termine è calcolato efficientemente utilizzando i fattori di rango-$c$, e il secondo termine coinvolge solo operazioni $O(r)$ a causa della natura diagonale della matrice centrale.

Contributi Chiave

1. Identificazione dei Colli di Bottiglia: Il documento identifica che la dimensione di proiezione $D$ è il vincolo principale nella TDA scalabile di tipo IF, creando un compromesso qualità-scalabilità in cui un'attribuzione accurata (grande $D$) è attualmente impraticabile.
2. Fattorizzazione di Rango-$c$: La proposta di memorizzare i gradienti proiettati come fattori di rango-$c$, riducendo la memorizzazione per esempio per layer da $O(D)$ a $O(c\sqrt{D})$.
3. Approssimazione della Curvatura di Rango-$r$: La proposta di utilizzare SVD troncata e l'identità di Woodbury per approssimare il termine di curvatura, riducendo la memoria per layer da $O(D^2)$ a $O(Dr)$.
4. Dimostrazione di Scalabilità: La prima dimostrazione di un'attribuzione dei dati efficace su modelli fino a 70 miliardi di parametri (Apertus-70B) con milioni di esempi di addestramento, mantenendo costi e latenza pratici.

Risultati Sperimentali

LoRIF è stato valutato su modelli che vanno da 124M a 70B di parametri (GPT2-small, OLMo-3-7B, Apertus-70B) con dataset contenenti fino a 3,8 milioni di esempi.

• Memorizzazione e Latenza: Rispetto a LoGRA, LoRIF ottiene una memorizzazione dei gradienti inferiore di 2,3–20 volte e una latenza di query inferiore di 1,3–20 volte, mantenendo o superando la qualità dell'attribuzione.
  • Su GPT2-small, LoRIF ha ridotto la memorizzazione fino a 9 volte e la latenza di 5,6 volte in regimi di memorizzazione media.
  • Su OLMo-3-7B, LoRIF ha ottenuto punteggi tail-patch quasi identici a LoGRA con una memorizzazione inferiore di 20,3 volte e una latenza inferiore di 22,0 volte.
  • Su Apertus-70B, LoRIF ha migliorato i punteggi tail-patch di 1,5–2,2 volte rispetto a LoGRA con una memorizzazione e una latenza inferiori.
• Qualità dell'Attribuzione: Misurata tramite Linear Datamodeling Score (LDS) e Tail-patch score, LoRIF ha costantemente migliorato il fronte di Pareto. Consentendo dimensioni di proiezione efficaci $D$ più grandi (che erano precedentemente non fattibili a causa dei vincoli di memoria), LoRIF ha raggiunto una qualità superiore rispetto alle linee di base vincolate a un $D$ più piccolo.
• Valutazione Qualitativa: Una valutazione LLM-as-a-judge sugli esempi recuperati top-1 ha mostrato che LoRIF recupera esempi con una rilevanza semantica più alta (punteggio medio 3,04 contro 2,49 su OLMo-3-7B) e un minor numero di recuperi completamente irrilevanti rispetto a LoGRA.

Significato e Affermazioni

Il documento afferma che LoRIF rende l'attribuzione dei dati di addestramento basata sui gradienti pratica su scala frontier. Sfruttando la struttura a rango basso dei gradienti, LoRIF risolve il compromesso qualità-scalabilità che ha ostacolato l'applicazione delle funzioni di influenza ai grandi modelli linguistici.

Gli autori sottolineano che LoRIF non si basa su nuovi primitivi a rango basso, ma dimostra come le strutture a rango basso esistenti (osservate sia nei gradienti per esempio che in quelli aggregati) possano essere sistematicamente sfruttate nei metodi di influenza a gradiente proiettato. I risultati suggeriscono che la TDA basata sui gradienti può ora essere utilizzata per l'audit, il debug e i controlli di sicurezza su larga scala degli LLM quando l'indice di attribuzione viene riutilizzato su molte query, senza richiedere i costi di memorizzazione o I/O proibitivi dei metodi precedenti.

Il documento riconosce le limitazioni, notando che la costruzione dell'indice di attribuzione richiede ancora un passaggio di gradiente sul corpus (costo di pre-elaborazione) e che gli esperimenti su larga scala attuali si concentrano sui dati di fine-tuning supervisionato piuttosto che sui corpus completi di pre-addestramento. Tuttavia, il lavoro stabilisce una nuova linea di base per l'attribuzione scalabile, consentendo l'analisi di modelli precedentemente considerati fuori portata per tali metodi.