Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

1. Problemstellung

Das Paper adressiert ein bisher wenig untersuchtes Phänomen beim Fine-Tuning von Sprachmodellen mit LoRA (Low-Rank Adaptation), einer weit verbreiteten Methode für Parameter-Effizientes Fine-Tuning (PEFT).

• Hintergrund: Es ist bekannt, dass neuronale Netze Trainingsbeispiele in einer konsistenten Reihenfolge lernen: „einfache" Beispiele werden vor „schwierigen" gelernt. Bisherige Methoden zur Analyse dieser Lern-Dynamik (z. B. Dataset Cartography) stützen sich jedoch auf endogene (modellinterne) Metriken wie Unsicherheit oder Variabilität während des Trainings.
• Die Lücke: Es fehlt eine externe, modellunabhängige Metrik, die die Schwierigkeit eines Beispiels vorhersagt. Zudem ist unklar, wie die Rang-Beschränkung (Rank Constraint) von LoRA den Lernprozess für einzelne Beispiele im Vergleich zum vollständigen Fine-Tuning (Full Fine-Tuning) beeinflusst.
• Zentrale Frage: Kann die Annotation-Entropie (ein Maß für die Uneinigkeit menschlicher Annotatoren) vorhersagen, welche Beispiele ein Modell zuerst lernt, und verändert sich dieses Verhalten unter der LoRA-Beschränkung?

2. Methodik

Die Autoren nutzen eine Kombination aus externen Annotationsdaten und einer detaillierten Analyse der Trainingsdynamik.

• Datenbasis:

  • ChaosNLI: Ein Datensatz, der für jedes Beispiel 100 separate Annotierungen von menschlichen Annotatoren enthält (im Gegensatz zu einem einzelnen „Gold-Label"). Dies ermöglicht die Berechnung einer echten Verteilung der menschlichen Meinungen.
  • Teildatensätze: SNLI und MNLI (Natural Language Inference).
  • Kategorisierung: Basierend auf der Entropie der Annotator-Verteilung ($H_i$) werden Beispiele in drei Gruppen eingeteilt:
    1. Clean (Klar): Geringe Entropie ($<0.4$ Nats), starke Einigung.
    2. Ambiguous (Mehrdeutig): Mittlere Entropie ($0.4 - 0.7$).
    3. Contested (Umstritten): Hohe Entropie ($\ge 0.7$), fast gleichmäßige Verteilung der Meinungen.

• Metrik für Lern-Dynamik:

  • Statt nur den Endverlust zu betrachten, wird die Fläche unter der Verlustkurve (AULC - Area Under the Loss Curve) über den gesamten Trainingsverlauf berechnet.
  • Ein niedriger AULC bedeutet schnelles Lernen; ein hoher AULC bedeutet langsames Lernen oder Vergessen.
  • Zusätzlich wird die Verluständerung ($\Delta \ell$) vom Start bis zum Ende gemessen, um „Un-Learning" (Verlustanstieg) zu quantifizieren.

• Experimentelles Setup:

  • Modelle: 6 Modelle wurden getestet (4 Encoder: RoBERTa, BERT, DistilBERT, DeBERTa; 2 Decoder-only: Qwen2.5-1.5B, Qwen2.5-3B).
  • Methoden: Vergleich von LoRA (mit Rängen $r=4, 16$) gegen Full Fine-Tuning und IA3 (eine andere PEFT-Methode).
  • Analyse: Korrelation zwischen Annotation-Entropie und AULC (Spearman $\rho$) sowie Analyse der Gradienten-Alignment und Kalibrierung.

3. Wichtige Beiträge & Ergebnisse

A. Entropie als Prädiktor für Lernreihenfolge

Die Studie zeigt eine signifikante positive Korrelation zwischen Annotation-Entropie und AULC in allen 25 getesteten Bedingungen (über 6 Modelle und 2 Datensätze).

• Ergebnis: Beispiele mit hoher Annotator-Entropie (Umstrittene) werden langsamer gelernt oder gar nicht gelernt als klare Beispiele.
• Decoder vs. Encoder: Decoder-only-Modelle zeigen stärkere Korrelationen ($\rho \approx 0.35–0.42$) als Encoder-Modelle.
• Skalierung: Die Korrelation steigt monoton mit dem LoRA-Rang ($r=4 < r=16 < \text{Full FT}$).

B. Das Phänomen des „Un-Learning" bei LoRA

Dies ist die zentrale Entdeckung des Papers:

• Beobachtung: Unter LoRA zeigen umstrittene Beispiele (hohe Entropie) einen Anstieg des Verlusts während des Trainings. Das Modell „vergisst" diese Beispiele aktiv, während es sich auf klare Muster spezialisiert.
• Vergleich:
  • Full Fine-Tuning: Alle Kategorien (auch umstrittene) zeigen einen sinkenden Verlust. Das Modell lernt alles, auch wenn es schwieriger ist.
  • IA3: Zeigt ebenfalls kein „Un-Learning".
• Bedeutung: Das „Un-Learning" ist spezifisch für die Rang-Beschränkung von LoRA. Da LoRA die Updates auf einen niedrigen Unterraum beschränkt, kann es die komplexen, widersprüchlichen Muster der umstrittenen Beispiele nicht gleichzeitig mit den klaren Mustern optimieren.

C. Mechanistische Einblicke

Die Autoren untersuchen alternative Erklärungen und schließen diese aus:

• Gradienten-Alignment: Überraschenderweise bleiben die Gradienten von klaren und umstrittenen Beispielen unter LoRA gut ausgerichtet ($\cos \approx 0.8$), während sie beim Full Fine-Tuning divergieren. Das „Un-Learning" liegt also nicht an konkurrierenden Gradientenrichtungen, sondern daran, dass der niedrige Unterraum (Low-Rank Subspace) nicht in der Lage ist, die Verlustlandschaften beider Gruppen gleichzeitig zu befriedigen.
• Kalibrierung: Obwohl LoRA weniger gut kalibriert ist als Full Fine-Tuning, ist dies nicht die Hauptursache für den Verlustanstieg, da Full Fine-Tuning (mit besserer Kalibrierung) kein Un-Learning zeigt.
• Rauschen: Ein Experiment mit künstlich injiziertem Rauschen bestätigt, dass die Struktur der Uneinigkeit die Lern-Dynamik beeinflusst.

4. Signifikanz und Implikationen

• Externe Ground-Truth: Das Paper etabliert Annotation-Entropie als robuste, externe Metrik zur Vorhersage von Lern-Dynamiken, unabhängig von modellinternen Statistiken.
• Warnung für PEFT: Bei Trainingsdaten mit vielen echten Mehrdeutigkeiten (z. B. in medizinischen oder toxikologischen Annotationen) kann die Verwendung von LoRA mit niedrigem Rang kontraproduktiv sein, da es zu aktivem Vergessen (Un-Learning) dieser schwierigen Fälle führt.
• Empfehlungen:
  • Höhere LoRA-Ränge sollten verwendet werden, wenn Daten viel Unsicherheit enthalten.
  • Loss-Funktionen, die Label-Unsicherheit berücksichtigen (statt Majority-Vote), könnten helfen.
  • Die Überwachung der Verlustkurven pro Beispiel kann als Echtzeit-Diagnose für Un-Learning dienen.

Fazit

Die Arbeit liefert den ersten empirischen Beweis dafür, dass die Beschränkung des Parameterraums durch LoRA zu einem qualitativ anderen Lernverhalten führt als Full Fine-Tuning: Während Full Fine-Tuning auch schwierige, mehrdeutige Beispiele lernt, führt LoRA bei diesen Beispielen zu einem aktiven Verlustanstieg („Un-Learning"). Dies unterstreicht die Notwendigkeit, die Kapazität von PEFT-Methoden sorgfältig an die Ambiguität der Trainingsdaten anzupassen.