RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

1. Il Problema

Il Fine-Tuning (adattamento) dei Large Language Models (LLM) per domini specifici è spesso proibitivo dal punto di vista computazionale. Le tecniche di Parameter-Efficient Fine-Tuning (PEFT), come LoRA (Low-Rank Adaptation), mitigano questo problema apprendendo aggiornamenti a basso rango, ma tendono ad applicare l'adattamento in modo uniforme su tutti i livelli della rete.

Questa approccio uniforme ignora una proprietà fondamentale delle reti profonde: i diversi livelli svolgono ruoli geometrici e funzionali distinti all'interno della gerarchia del modello. La mancanza di comprensione sui ruoli specifici dei livelli interni porta a decisioni euristiche (spesso casuali o basate su intervalli fissi) su dove applicare l'adattamento, risultando in un'inefficienza nell'uso dei parametri e in prestazioni subottimali.

2. Metodologia: RDP LoRA

Il paper propone un metodo senza training (training-free) e basato sulla geometria per selezionare i livelli critici da adattare. L'approccio si articola nei seguenti passaggi:

• Modellazione Geometrica: La sequenza degli stati nascosti (hidden states) generata durante il passaggio in avanti (forward pass) di un modello viene trattata come una traiettoria geometrica ad alta dimensionalità nello spazio degli embedding.
• Algoritmo RDP (Ramer–Douglas–Peucker): Viene applicato l'algoritmo RDP, un metodo classico di semplificazione delle curve, per analizzare questa traiettoria.
  • L'algoritmo identifica i punti di pivot strutturali (livelli in cui avvengono le trasformazioni semantiche più significative) preservando le transizioni globali e eliminando le variazioni localmente ridondanti (rumore).
  • È agnostico rispetto alla dimensionalità, funzionando efficacemente sia in spazi 2D/3D che negli spazi di embedding ad alta dimensionalità (es. 768+ dimensioni) tipici degli LLM.
• Estrazione della Traiettoria: Per ogni livello $l$, viene calcolato un vettore di rappresentazione $z_l$ utilizzando una proiezione pesata dall'attenzione (Attention-Weighted Projection). Questo metodo è preferito rispetto alla media o all'ultimo token, poiché cattura meglio quali elementi contestuali il modello sta enfatizzando a quella profondità.
• Analisi Multi-Scala e Voto Statistico:
  • Invece di usare una soglia fissa, il metodo utilizza una versione guidata dall'obiettivo (target-driven) di RDP. Si varia la risoluzione target (numero di punti da mantenere) per analizzare la struttura a diverse scale.
  • Viene calcolato un Punteggio di Importanza RDP accumulato ($\omega_{RDP}$) basato sulla frequenza con cui un livello viene selezionato come pivot attraverso diverse risoluzioni, dando più peso ai pivot che persistono anche a scale più grezze (struttura globale).
• Selezione dei Livelli: I livelli con il punteggio di importanza geometrica più alto vengono selezionati per l'adattamento LoRA, mentre gli altri vengono congelati. Questo permette di creare una LoRA Sparsa Geometricamente Selezionata.

3. Contributi Chiave

1. Segnale di Selezione Senza Training: Introduce un segnale decisionale per la selezione dei livelli basato esclusivamente sulla geometria intrinseca delle rappresentazioni del modello, senza richiedere gradienti o dati di addestramento specifici per la selezione.
2. Identificazione dei Pivot Strutturali: Dimostra che l'algoritmo RDP può isolare con successo i livelli dove avvengono le trasformazioni semantiche critiche (le "curve" della traiettoria), distinguendoli dalle fasi di elaborazione lineare o ridondante.
3. Superiorità della Selezione sulla Sparsità: Evidenzia che la identità specifica dei livelli adattati è più importante del semplice numero di livelli o della loro distribuzione casuale.
4. Efficienza Parametrica: Raggiunge prestazioni superiori adattando solo un sottoinsieme minimo di livelli rispetto all'adattamento completo o a selezioni casuali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul modello Qwen3-8B-Base sul benchmark MMLU-Math.

• Baseline: Il modello base (senza adattamento) ottiene il 74.25%.
• Full LoRA: L'adattamento completo su tutti i 36 livelli raggiunge il 79.32%.
• Selezione Casuale: L'adattamento su 13 livelli scelti a caso ottiene solo il 75.56%.
• RDP LoRA (Proposta): L'adattamento su soli 13 livelli selezionati geometricamente (i pivot critici) raggiunge il 81.67%.

Confronti aggiuntivi:

• La selezione basata solo sulla "Banda di Ragionamento" (tutti i livelli di un intervallo centrale) ottiene il 78.10%, confermando che non è sufficiente adattare un intero intervallo, ma serve la precisione sui singoli livelli pivot.
• La selezione inversa (adattare i livelli non pivot) ottiene il 78.48%.
• La metodologia è stata testata con successo anche su altri modelli (Qwen3-4B, Qwen3-14B, DeepSeek-LLM-7B, Gemma-7B), mostrando robustezza e generalizzazione.

5. Significato e Implicazioni

Il lavoro dimostra che la geometria intrinseca delle traiettorie di rappresentazione fornisce un segnale robusto, interpretabile e privo di costi di training per ottimizzare l'adattamento dei modelli.

• Paradigma Shift: Sposta il focus dalla quantità di parametri adattati alla posizione strutturale di tali parametri nella gerarchia del modello.
• Efficienza: Permette di ottenere prestazioni superiori o equivalenti al Full Fine-Tuning adattando una frazione significativamente minore di parametri, rendendo l'adattamento dei LLM più accessibile ed efficiente.
• Interpretabilità: Fornisce una visione chiara di come l'informazione si trasformi attraverso i livelli del modello, identificando i "punti di svolta" semantici.

In conclusione, RDP LoRA stabilisce che la selezione intelligente dei livelli, guidata dalla geometria della rappresentazione, è un fattore determinante per il successo delle tecniche PEFT, superando le strategie basate su euristiche casuali o uniformi.