Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Probleemstelling

Neurale netwerken leren trainingsvoorbeelden doorgaans in een consistente volgorde: "makkelijke" voorbeelden worden eerder geleerd dan "moeilijke". Bestaande methoden om deze leer-dynamiek te analyseren (zoals Dataset Cartography) vertrouwen echter op endogene maatstaven, zoals modelvertrouwen of variabiliteit die uit de training zelf worden afgeleid. Dit creëert een circulaire redenering.

Daarnaast is er weinig onderzoek gedaan naar hoe parameter-efficiënte fine-tuning (PEFT), en specifiek LoRA (Low-Rank Adaptation), de leerorde van individuele voorbeelden beïnvloedt. De auteurs stellen de vraag of een externe maatstaf voor ambiguïteit – namelijk de annotatie-entropie (afgeleid van menselijke onenigheid) – kan voorspellen welke voorbeelden een model eerst leert, en of dit gedrag verandert onder de beperkingen van LoRA.

Methodologie

De auteurs hebben een experimenteel kader opgezet om de relatie tussen menselijke onenigheid en modelleer-dynamiek te kwantificeren:

1. Data en Entropie:

   • Gebruik van de ChaosNLI-dataset, waarbij elk voorbeeld 100 annotaties bevat van verschillende annotatoren.
   • Berekening van annotatie-entropie ($H_i$) voor elk voorbeeld. Een lage entropie duidt op sterke consensus (makkelijk), terwijl hoge entropie duidt op grote onenigheid (omstreden/contested).
   • Voorbeelden worden ingedeeld in drie categorieën: clean (consensus), ambiguous (matige onenigheid) en contested (hoge onenigheid).

2. Leerdynamiek Meting:

   • In plaats van alleen naar eindresultaten te kijken, wordt de Area Under the Loss Curve (AULC) berekend voor elk individueel voorbeeld over de volledige training (5 epochs). Een lagere AULC betekent sneller leren.
   • Ook wordt de verandering in verlies ($\Delta \ell$) gemeten van het begin tot het einde van de training om "un-learning" (toename van verlies) te detecteren.

3. Experimentele Opstelling:

   • Modellen: 6 modellen getest (4 encoders: RoBERTa, BERT, DistilBERT, DeBERTa; 2 decoders: Qwen2.5-1.5B en 3B).
   • Methoden: Vergelijking tussen LoRA (met verschillende rangen $r=4, 16$), Full Fine-Tuning (Full FT) en IA3 (een andere PEFT-methode).
   • Datasets: SNLI en MNLI (Natural Language Inference).
   • Analyse: Berekening van de Spearman-correlatie ($\rho$) tussen de annotatie-entropie en de AULC.

Belangrijkste Bijdragen

1. Ontdekking van "Un-learning" bij LoRA: De auteurs vinden dat LoRA een kwalitatief ander gedrag vertoont dan Full Fine-Tuning. Voorbeelden met hoge annotatie-entropie (contested) vertonen een toename in verlies tijdens de training onder LoRA, wat duidt op actief vergeten of "un-learning". Dit patroon is bij Full Fine-Tuning en IA3 grotendeels afwezig.
2. Entropie als Voorspeller: Annotatie-entropie is een sterke voorspeller voor per-voorbeeld leer-dynamiek. Er is een positieve correlatie tussen entropie en AULC (hoger verlies = langzamere learning) in alle 25 geteste condities.
3. Architectuur- en Rang-afhankelijkheid: Decoder-only modellen tonen sterkere correlaties dan encoder-modellen. Bovendien neemt de correlatie monotoon toe met de LoRA-rang ($r$), wat suggereert dat de beperkte expressiviteit van lage rangen de oorzaak is van het probleem.

Resultaten

• Correlatie: De correlatie tussen entropie en AULC is positief in alle 25 condities ($\rho$ varieert van 0,06 tot 0,43). Bij decoder-only modellen is de correlatie sterker ($\rho \approx 0,35 - 0,42$) dan bij encoders.
• Un-learning Fenomeen:
  • Onder LoRA: "Contested" voorbeelden zien hun verlies stijgen (bijv. +0,170 bij RoBERTa $r=4$), terwijl "clean" voorbeelden verlies zien dalen.
  • Onder Full Fine-Tuning: Alle voorbeelden, inclusief de omstreden, zien een daling in verlies.
  • Onder IA3: Geen significant un-learning patroon ($\Delta \ell \approx 0$ voor contested voorbeelden).
• Robuustheid: Het effect blijft bestaan na controle voor zinslengte, bij gebruik van verschillende binningschema's (kwartielen vs. vaste drempels) en bij cross-dataset validatie (hoewel het effect op MNLI zwakker is).
• Mechanisme-analyse:
  • Gradiënt-uitlijning: Onder LoRA blijven de gradiënten van clean en contested voorbeelden sterk uitgelijnd (cosine similariteit ~0,80), terwijl ze bij Full FT divergeren. Dit suggereert dat het probleem niet ligt in tegenstrijdige gradiëntrichtingen, maar in het vermogen van de low-rank subruimte om beide groepen tegelijkertijd te bevredigen.
  • Calibratie: Hoewel LoRA minder goed gekalibreerd is dan Full FT, kan calibratieverlies niet de enige oorzaak zijn, aangezien Full FT (met betere calibratie) geen un-learning vertoont.

Betekenis en Conclusie

Dit paper biedt een cruciaal inzicht in de beperkingen van LoRA bij het omgaan met genuïne linguïstische ambiguïteit.

• Theoretisch: Het toont aan dat parameter-efficiënte fine-tuning niet neutraal is; de rang-beperking kan leiden tot een "zero-sum" dynamiek waarbij het model zich specialiseert in duidelijke patronen en actief "vergeet" wat er onzeker of omstreden is.
• Praktisch: Voor toepassingen waarbij data vaak ambigu is (bijv. medische annotatie, toxiciteit, of subjectieve beoordelingen), kan het gebruik van LoRA met een lage rang contraproductief zijn. De auteurs suggereren dat hogere rangen of trainingsstrategieën die rekening houden met label-onzekerheid (zoals soft labels) nodig zijn om het leren van omstreden voorbeelden te behouden.
• Diagnostisch: Het monitoren van per-voorbeeld verliesverloop kan dienen als een real-time diagnose voor dit type "un-learning".

Samenvattend bewijst het paper dat externe menselijke onenigheid (entropie) een betrouwbare voorspeller is voor hoe modellen leren, en dat LoRA specifiek faalt in het behouden van kennis over omstreden voorbeelden ten opzichte van volledige fine-tuning.