Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Titolo: L'Entropia di Annotazione Predice le Dinamiche di Apprendimento per Esempio nel Fine-Tuning LoRA

1. Il Problema e il Contesto

Il paper affronta un paradosso osservato durante il fine-tuning efficiente dei parametri (PEFT) con LoRA (Low-Rank Adaptation). Mentre le reti neurali tendono generalmente ad apprendere gli esempi "facili" prima di quelli "difficili" (curriculum learning), questo studio scopre che, sotto vincoli di rango basso (LoRA), gli esempi con alto disaccordo tra gli annotatori umani (esempi "contesi") subiscono un fenomeno di disapprendimento (un-learning).

A differenza del fine-tuning completo (Full Fine-Tuning), dove la perdita su tutti gli esempi tende a diminuire, con LoRA la perdita sugli esempi ambigui aumenta progressivamente durante l'addestramento. Questo comportamento è qualitativamente diverso e non è stato precedentemente esplorato in relazione alla natura intrinseca dell'ambiguità dei dati.

2. Metodologia

Dati e Misura di Ambiguità:

• Dataset: Utilizzo dei subset di SNLI e MNLI provenienti da ChaosNLI, un dataset che fornisce 100 annotazioni per esempio invece di una singola etichetta.
• Entropia di Annotazione ($H_i$): Viene calcolata l'entropia empirica della distribuzione delle 100 annotazioni per ogni esempio.
  • $H_i = 0$: Accordo perfetto (esempi "puliti").
  • $H_i$ alto: Disaccordo significativo (esempi "contesi").
• Categorizzazione: Gli esempi sono divisi in tre gruppi: Clean (bassa entropia), Ambiguous (media) e Contested (alta entropia, distribuzione quasi uniforme).

Setup Sperimentale:

• Modelli: Valutazione su 6 modelli diversi: 4 encoder (RoBERTa, BERT, DistilBERT, DeBERTa v3) e 2 decoder-only (Qwen2.5-1.5B, Qwen2.5-3B).
• Configurazioni: Confronto tra LoRA (con ranghi $r=4$ e $r=16$) e Full Fine-Tuning. Vengono testati anche metodi PEFT alternativi come IA3.
• Metriche di Dinamica:
  • AULC (Area Under the Loss Curve): L'area sotto la curva della perdita per esempio durante tutto l'addestramento. Un AULC più basso indica un apprendimento più rapido.
  • $\Delta \ell$ (Variazione di Perdita): Differenza tra la perdita finale e quella iniziale. Un valore positivo indica un-learning.
• Analisi Statistica: Correlazione di Spearman ($\rho$) tra l'entropia di annotazione e l'AULC.

3. Contributi Chiave

1. Scoperta del Disapprendimento in LoRA: Gli esempi contestati mostrano un aumento della perdita durante il training LoRA, un pattern di un-learning qualitativamente distinto che è quasi assente nel Full Fine-Tuning e nel metodo IA3.
2. Predittività dell'Entropia: L'entropia di annotazione (una misura esterna e indipendente dal modello) predice con successo le dinamiche di apprendimento. Esiste una correlazione positiva significativa tra entropia e AULC: più un esempio è ambiguo, più lentamente viene appreso o più viene "dimenticato".
3. Scalabilità e Architettura: L'effetto è consistente su tutte le architetture testate. I modelli decoder-only mostrano correlazioni più forti rispetto agli encoder. L'effetto scala monotonicamente con il rango di LoRA (correlazione più forte a ranghi più alti).
4. Esclusione di Ipotesi Alternative: Il fenomeno non è dovuto a una scarsa calibrazione del modello o a artefatti dei dati, ma è intrinsecamente legato al vincolo di rango basso che impedisce al sottospazio adattivo di soddisfare simultaneamente le esigenze di esempi con gradienti conflittuali.

4. Risultati Principali

• Correlazione Positiva Universale: In tutte le 25 condizioni testate (combinazioni di modello, dataset e metodo), la correlazione tra entropia e AULC è positiva ($\rho$ tra 0.06 e 0.43).
• Pattern di Un-Learning:
  • LoRA: Gli esempi contesi mostrano un aumento netto della perdita ($\Delta \ell > 0$). Ad esempio, su RoBERTa con $r=4$, la perdita sugli esempi contesi aumenta di circa +0.17, mentre sugli esempi puliti diminuisce di -0.58.
  • Full Fine-Tuning: Tutti gli esempi, inclusi quelli contesi, mostrano una diminuzione della perdita.
  • IA3: Non mostra il fenomeno di un-learning, suggerendo che il meccanismo è specifico della struttura di aggiornamento a basso rango di LoRA.
• Allineamento dei Gradienti (Controintuitivo): L'analisi mostra che, sotto LoRA, i gradienti degli esempi puliti e di quelli contesi rimangono ben allineati (cosine similarity ~0.80) durante tutto il training. Tuttavia, nonostante questo allineamento, la perdita sugli esempi contesi aumenta. Questo suggerisce che il collo di bottiglia non è la direzione del gradiente, ma l'incapacità del sottospazio a basso rango di soddisfare contemporaneamente le superfici di perdita di entrambi i gruppi.
• Robustezza: I risultati sopravvivono a controlli di correlazione parziale (escludendo la lunghezza della frase), replicazioni su diversi semi casuali e diverse strategie di binning dell'entropia.

5. Significato e Implicazioni

• Grounding Esterno: L'uso dell'entropia di annotazione fornisce una "verità di base" esterna per spiegare la difficoltà degli esempi, superando i limiti delle metriche interne al modello (come la confidenza o la variabilità) che possono essere fuorvianti.
• Limiti di LoRA: Il paper evidenzia che l'uso di LoRA a ranghi bassi su dati con alta ambiguità umana può essere controproducente, portando attivamente a dimenticare le informazioni sugli esempi difficili.
• Raccomandazioni: Per dataset con alto disaccordo (es. annotazioni mediche, tossicità, o NLI ambiguo), potrebbero essere necessari ranghi LoRA più alti o funzioni di perdita che tengano conto dell'incertezza dell'etichetta (es. soft labels).
• Diagnostica: Monitorare le traiettorie di perdita per esempio può servire come strumento diagnostico in tempo reale per rilevare fenomeni di un-learning durante il fine-tuning.

In sintesi, questo lavoro dimostra che la capacità di un modello di apprendere esempi ambigui è fortemente vincolata dalla capacità parametrica residua (rango di LoRA), e che le limitazioni di capacità possono portare a un deterioramento attivo della performance su dati intrinsecamente ambigui, un fenomeno che non si verifica quando si dispone di capacità parametrica completa.