🤖 machine learning

Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

L'étude révèle que le fine-tuning LoRA entraîne un phénomène de « désapprentissage » sur les exemples controversés, où la perte augmente au cours de l'entraînement, une dynamique fortement corrélée à l'entropie d'annotation et distincte de celle observée lors d'un fine-tuning complet.

Auteurs originaux : Brady Steele

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Brady Steele

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Titre : "Quand l'IA oublie ce qu'elle ne comprend pas"

Imaginez que vous apprenez une nouvelle langue avec un tuteur très efficace, mais qui a une contrainte étrange : il ne peut écrire ses notes que sur un tout petit carnet de poche (c'est ce qu'on appelle LoRA en langage technique).

Cette étude découvre quelque chose de surprenant : lorsque ce tuteur rencontre des phrases que les humains eux-mêmes ne sont pas d'accord pour traduire (des phrases ambiguës), il ne se contente pas de les trouver difficiles. Il commence à les oublier ! Son erreur sur ces phrases précises augmente au fur et à mesure qu'il apprend le reste du cours.

🧩 L'Analogie du "Carnet de Notes" (LoRA vs. Apprentissage complet)

Pour comprendre le cœur de la découverte, comparons deux méthodes d'apprentissage :

L'Apprentissage Complet (Full Fine-Tuning) : C'est comme si le tuteur avait une bibliothèque entière pour noter ses leçons. Il peut tout apprendre, même les phrases compliquées. Même si une phrase est floue, il trouve un moyen de l'intégrer dans sa bibliothèque sans effacer le reste.
LoRA (L'adaptation à faible rang) : C'est le carnet de poche. Le tuteur doit être très économe. Pour apprendre une nouvelle règle, il doit effacer ou modifier ce qu'il a déjà écrit pour faire de la place.

La découverte clé :
Quand le tuteur avec le carnet de poche (LoRA) rencontre une phrase où les annotateurs humains sont en désaccord (par exemple : "Est-ce que cette phrase est gentille ou méchante ?" et que 50% disent oui, 50% disent non), il se produit un phénomène bizarre :

Au début, il essaie d'apprendre.
Mais comme son carnet est petit, il doit choisir entre apprendre la règle "générale" (qui fonctionne bien pour 80% des phrases claires) ou essayer de comprendre la phrase "floue".
Il choisit la règle générale. Résultat ? Il oublie activement la phrase floue. Son erreur sur cette phrase spécifique augmente au lieu de diminuer. C'est ce qu'ils appellent "l'oubli" (un-learning).

🎲 La "ChaosNLI" : Le test du désaccord humain

Pour mesurer cela, les chercheurs ont utilisé une base de données spéciale appelée ChaosNLI.
Imaginez un jeu où, pour chaque phrase, 100 personnes différentes donnent leur avis.

Exemple "Propre" (Clean) : 99 personnes disent "Oui". (Pas de doute).
Exemple "Contesté" (Contested) : 50 disent "Oui", 50 disent "Non". (C'est le chaos total).

Les chercheurs ont calculé un "score de chaos" (l'entropie d'annotation) : plus les avis sont partagés, plus le score est élevé.

Le résultat :
Ils ont tracé la courbe d'apprentissage de l'IA.

Pour les phrases propres, la courbe descend (l'IA apprend).
Pour les phrases contestées avec LoRA, la courbe remonte (l'IA oublie).
Curieusement, avec l'apprentissage complet (la bibliothèque), la courbe descend pour tout le monde.

🔍 Pourquoi est-ce important ? (Les métaphores)

1. Le "Filtre à Café"

Imaginez que LoRA est un filtre à café très fin. Il laisse passer l'eau claire (les exemples faciles) très vite. Mais si vous essayez de faire passer de l'eau boueuse (les exemples ambigus), le filtre se bouche. Au lieu de nettoyer l'eau, il commence à rejeter l'eau sale, ce qui rend le processus global moins efficace pour ces cas précis.

2. La Course de Chevaux

Dans une course normale (Full Fine-Tuning), tous les chevaux (les exemples) arrivent à la ligne d'arrivée, même les plus lents.
Avec LoRA, c'est comme si le tuteur ne pouvait courir que sur une piste étroite. Les chevaux rapides (exemples clairs) passent. Mais les chevaux qui trébuchent (exemples ambigus) sont poussés hors de la piste. Le tuteur ne les aide pas à se relever ; il les laisse tomber pour continuer à courir vite avec les autres.

💡 Ce que cela nous apprend pour l'avenir

Cette étude nous donne deux leçons importantes pour ceux qui créent des intelligences artificielles :

Attention aux raccourcis : Quand on utilise des méthodes pour rendre l'IA plus rapide et moins coûteuse (comme LoRA), on risque de créer des "trous" dans sa mémoire. Elle devient très bonne sur les choses claires, mais elle oublie activement les choses floues et complexes.
Le désaccord humain est un signal : Le fait que les humains ne soient pas d'accord n'est pas une erreur de données. C'est une information précieuse. Si une IA commence à "oublier" ces exemples, c'est un signal d'alarme : elle est en train de sacrifier la nuance pour la vitesse.

En résumé :
Si vous voulez une IA qui comprend les nuances et les zones grises de la langue, ne lui donnez pas juste un "carnet de poche" (LoRA) sans ajuster la taille de la page. Sinon, elle risque de devenir très rapide, mais elle oubliera tout ce qui est compliqué.

1. Problématique et Contexte

Le fine-tuning des modèles de langage repose souvent sur l'hypothèse que les réseaux de neurones apprennent les exemples "faciles" avant les exemples "difficiles". Cependant, la difficulté est généralement mesurée de manière endogène (via la confiance du modèle ou la variabilité pendant l'entraînement), ce qui peut introduire des biais dans l'analyse des dynamiques d'apprentissage.

Parallèlement, le LoRA (Low-Rank Adaptation) est devenu la méthode de référence pour le fine-tuning paramétrique efficace (PEFT). Bien que des travaux antérieurs aient étudié ce que le LoRA apprend à la convergence, la trajectoire d'acquisition par exemple reste peu explorée.

La question centrale de l'article est de savoir si une mesure externe de l'ambiguïté linguistique — l'entropie d'annotation (dérivée du désaccord entre annotateurs humains) — peut prédire l'ordre d'apprentissage des exemples, et si cette dynamique change sous la contrainte de faible rang du LoRA par rapport au fine-tuning complet.

2. Méthodologie

L'étude utilise une approche rigoureuse combinant des données d'annotation humaine et des expériences de fine-tuning contrôlées.

Données et Mesure d'Ambiguïté :
- Les auteurs utilisent les sous-ensembles SNLI et MNLI du corpus ChaosNLI, qui contient 100 annotations par exemple.
- Ils calculent l'entropie d'annotation ( $H_i$ ) pour chaque exemple $i$ basée sur la distribution des 100 labels.
- Les exemples sont classés en trois catégories :
  - Propres (Clean) : $H < 0.4$ (fort consensus, $\ge 80\%$ d'accord).
  - Ambigus : $0.4 \le H < 0.7$ .
  - Contestés (Contested) : $H \ge 0.7$ (distributions quasi-uniformes ou fortement divisées).
Dynamique d'Apprentissage :
- Au lieu de se fier uniquement à la perte finale, les auteurs suivent la perte de chaque exemple à chaque étape (tous les 100 pas) sur 5 époques.
- Ils définissent la Surface sous la Courbe de Perte (AULC - Area Under the Loss Curve) comme métrique principale : une AULC plus faible indique un apprentissage plus rapide.
- Ils calculent également la variation de perte ( $\Delta \ell$ ) entre le début et la fin de l'entraînement pour détecter le "non-apprentissage" ou l'oubli.
Configuration Expérimentale :
- Modèles : 6 architectures au total (4 encodeurs : RoBERTa, BERT, DistilBERT, DeBERTa v3 ; 2 décodeurs uniquement : Qwen2.5-1.5B, Qwen2.5-3B).
- Méthodes : Fine-tuning LoRA (avec des rangs $r \in \{4, 16\}$ ) comparé au fine-tuning complet (Full FT) et à une méthode alternative (IA3).
- Analyse : Corrélation de Spearman entre l'entropie d'annotation et l'AULC, contrôlée par des analyses de corrélation partielle (longueur de phrase, identité du label majoritaire).

3. Contributions Clés

Découverte du "Non-apprentissage" (Un-learning) sous LoRA : Les exemples contestés (forte désaccord humain) présentent une augmentation de la perte au cours de l'entraînement LoRA. Ce phénomène qualitatif, où le modèle "oublie" activement ces exemples au fur et à mesure qu'il se spécialise sur les motifs de consensus, est largement absent sous le fine-tuning complet et avec IA3.
Prédiction par l'Entropie d'Annotation : L'entropie d'annotation prédit significativement la dynamique d'apprentissage sur 6 modèles et 2 jeux de données. La corrélation est positive (plus l'entropie est élevée, plus l'AULC est élevée, donc plus l'apprentissage est lent).
Spécificité à la Contrainte de Rang : L'effet est plus fort pour les modèles décodeurs que pour les encodeurs et augmente monotone avec le rang LoRA. L'absence de ce phénomène avec IA3 suggère qu'il est spécifique au mécanisme de mise à jour de faible rang de LoRA.

4. Résultats Principaux

Corrélation Entropie-AULC : Sur 25 conditions testées (combinaisons de modèles, jeux de données et rangs), la corrélation de Spearman est positive dans tous les cas ( $\rho$ variant de 0.06 à 0.43). Elle est statistiquement significative dans 21 cas après correction de Bonferroni.
- Les modèles décodeurs-only montrent des corrélations plus fortes ( $\rho = 0.35 - 0.42$ ) que les encodeurs.
- La corrélation augmente avec le rang LoRA (ex: $r=4 < r=16 < \text{Full FT}$ ).
Phénomène d'Un-learning (Augmentation de la perte) :
- Sous LoRA : Les exemples contestés voient leur perte augmenter de manière significative ( $\Delta \ell > 0$ ), tandis que les exemples propres voient leur perte diminuer.
- Sous Fine-tuning Complet : Tous les exemples, y compris les contestés, voient leur perte diminuer.
- IA3 : Ne montre pas d'augmentation de perte pour les exemples contestés, indiquant que le phénomène n'est pas universel à tous les PEFT mais spécifique à LoRA.
Analyse Mécanistique :
- Alignement des Gradients : Contrairement à l'intuition, les gradients des exemples propres et contestés restent bien alignés sous LoRA (cosine similarity $\approx 0.80$ ), alors qu'ils divergent fortement sous le fine-tuning complet. Cela suggère que le problème n'est pas une compétition de direction, mais l'incapacité du sous-espace de faible rang à satisfaire simultanément les paysages de perte des deux groupes.
- Calibration : Le fine-tuning complet produit des prédictions plus "pointues" (plus confiantes) que LoRA, mais ne montre pas d'un-learning. Cela écarte l'hypothèse que la perte accrue est due uniquement à une mauvaise calibration sur des labels faiblement supportés.
- Injection de Bruit : Une expérience préliminaire où des labels d'exemples propres sont remplacés par du bruit aléatoire confirme que la structure de désaccord influence la dynamique d'apprentissage.

5. Signification et Implications

Limites du LoRA sur les Données Ambiguës : Le LoRA, en particulier à bas rang, peut être contre-productif pour les exemples intrinsèquement ambigus. En se concentrant sur les motifs de consensus (les exemples "faciles" pour l'annotateur humain), le modèle sacrifie activement la capacité à traiter les cas limites, augmentant même l'erreur sur ces derniers.
Nouvelle Métrique de Diagnostic : L'entropie d'annotation offre une vérité terrain externe et indépendante du modèle pour évaluer la difficulté des exemples, complétant les méthodes de "cartographie de données" basées sur le modèle.
Recommandations Pratiques :
- Pour les tâches contenant beaucoup d'ambiguïté humaine, il pourrait être nécessaire d'utiliser des rangs LoRA plus élevés ou des fonctions de perte tenant compte de l'incertitude des labels (soft labels).
- La surveillance des trajectoires de perte par exemple peut servir de diagnostic en temps réel pour détecter l'oubli (un-learning) lors du fine-tuning.
Futur de la Recherche : Les auteurs suggèrent d'étendre ces travaux au fine-tuning d'instruction sur de plus grands LLMs, à des domaines riches en désaccord (toxicité, annotation médicale) et à d'autres variantes PEFT.

En résumé, cet article révèle une dynamique contre-intuitive où la contrainte de faible rang du LoRA force le modèle à "oublier" les exemples les plus ambigus, un phénomène prédit avec précision par le désaccord humain initial, soulignant un compromis fondamental entre l'efficacité paramétrique et la robustesse aux ambiguïtés linguistiques.