🤖 AI

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

Cet article démontre que LoRA échoue à internaliser efficacement les connaissances procédurales complexes à étapes multiples par rapport au fine-tuning complet car les mises à jour de poids nécessaires présentent un rang effectif élevé qui dépasse largement la capacité de faible rang de LoRA, entraînant des écarts de performance significatifs même à des rangs élevés.

Auteurs originaux : Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

Publié 2026-07-27

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à accomplir un travail complexe, comme réserver un vol ou réparer un ordinateur en panne. Dans le monde de l'intelligence artificielle, il existe une astuce populaire appelée « fine-tuning » (ajustement fin). Considérez un modèle d'IA géant comme une immense bibliothèque contenant presque tous les livres jamais écrits. Pour lui apprendre un travail spécifique, vous devez généralement réécrire toute la bibliothèque, ce qui est coûteux et lent. Pour gagner du temps, les scientifiques ont inventé un raccourci appelé LoRA (Low-Rank Adaptation). Au lieu de réécrire toute la bibliothèque, LoRA essaie d'apprendre au robot en ajoutant un petit carnet de notes adhésives très fin sur les étagères. L'idée principale était que ces notes adhésives pouvaient capturer tout ce dont le robot avait besoin pour un nouveau travail sans toucher aux livres lourds en dessous. C'est comme penser que l'on peut apprendre à quelqu'un à conduire une voiture de course simplement en lui donnant une petite fiche de triche, plutôt qu'en le laissant s'entraîner sur la piste pendant des heures.

Mais voici le piège : cet article demande si cette fiche de triche est réellement suffisante lorsque le travail ne consiste pas seulement à se souvenir de faits ou à écrire dans un style cool, mais à suivre une procédure stricte à plusieurs étapes. La connaissance procédurale est comme une recette avec beaucoup de « si cela arrive, alors fais cela » étapes, où vous devez suivre votre progression, gérer les erreurs et vous assurer de ne pas sauter une étape. Les chercheurs voulaient savoir : un petit carnet de notes (LoRA) peut-il apprendre à un robot à suivre une recette complexe et ramifiée, ou doit-il réécrire toute la bibliothèque (Full Fine-Tuning) pour y arriver ?

L'échec de la grande fiche de triche

Les chercheurs ont mis en place une série de tests pour voir si la méthode du « carnet de notes adhésives » pouvait gérer la réalité désordonnée du suivi d'instructions. Ils n'ont pas seulement demandé au robot d'écrire un poème ; ils l'ont fait agir comme un agent de voyage, un spécialiste du support technique Zoom et un gestionnaire de sinistres d'assurance. Ce ne sont pas des tâches simples ; c'est comme naviguer dans un labyrinthe géant et tortueux où chaque tour dépend de ce que le client a dit cinq minutes auparavant. Si le client se met en colère, vous devez changer de trajectoire. S'il oublie un détail, vous devez le lui redemander. Le but était de voir si le robot pouvait guider la conversation avec succès du début à une fin heureuse sans se perdre.

Les résultats ont été un choc. Lorsque les chercheurs ont utilisé la méthode de réécriture complète de la bibliothèque (Full Fine-Tuning), les robots sont devenus d'excellents agents. Ils suivaient les règles, se souvenaient des détails et résolvaient les problèmes, obtenant un score solide de 4,11 sur 5 à leur test de réservation de voyage. Mais lorsqu'ils ont essayé la méthode du « carnet de notes » (LoRA), même avec les fiches de triche les plus grandes et les plus coûteuses qu'ils pouvaient fabriquer, les robots ont complètement échoué la procédure.

Voici la partie étrange : les robots LoRA n'ont pas seulement été un peu moins bons ; ils se sont retrouvés coincés dans une boucle bizarre. Ils pouvaient encore discuter ! Ils pouvaient maintenir la conversation pendant 14 tours sans planter. Ils avaient l'air polis et naturels. Mais ils échouaient à la tâche réelle. Sur le test de voyage, les robots LoRA ont obtenu des scores compris entre 2,10 et 2,54 — à peine la moitié de la performance des robots entraînés intégralement. Ils sautaient des étapes importantes, oubliaient de demander la destination ou abandonnaient trop tôt. C'était comme un guide touristique qui sait parfaitement dire « Bonjour » et « Au revoir », mais qui mène les touristes contre un mur parce qu'il a oublié la carte.

Le paradoxe des carnets de notes plus grands

Vous pourriez penser : « D'accord, peut-être que la fiche de triche était juste trop petite. Rendons-la plus grande ! » Les chercheurs ont tenté l'expérience. Ils ont augmenté la taille du carnet de notes LoRA, passant d'un minuscule rang 16 à un énorme rang 128. Cela signifiait qu'ils modifiaient une plus grande partie du cerveau du robot, utilisant jusqu'à 3,4 % de ses paramètres totaux. On s'attendrait à ce qu'un carnet plus grand aide, n'est-ce pas ?

Étonnamment, cela a empiré les choses. À mesure que le carnet devenait plus grand, les robots devenaient en fait moins bons pour suivre la procédure. Le meilleur score se trouvait à la plus petite taille, et au moment où ils atteignaient la plus grande taille, le score de réussite de la tâche tombait à 2,10. Il se trouve que rendre la fiche de triche plus grande n'aidait pas le robot à apprendre la logique du labyrinthe ; cela l'aidait simplement à mieux mémoriser les mots du labyrinthe. Le robot devenait très doué pour donner l'impression de savoir ce qu'il faisait, mais il était toujours perdu. Les chercheurs ont constaté que les robots faisaient du « surapprentissage » (overfitting), une façon élégante de dire qu'ils mémorisaient les exemples d'entraînement comme un perroquet sans comprendre les règles.

Pourquoi la fiche de triche n'était pas suffisante

Alors, pourquoi le petit carnet de notes a-t-il si lamentablement échoué ? Les auteurs ont creusé profondément dans le cerveau du robot pour trouver la réponse. Ils ont utilisé un outil mathématique appelé SVD (Décomposition en valeurs singulières) pour observer précisément à quel point le cerveau du robot a changé lorsqu'il a appris la procédure.

Imaginez que le cerveau du robot est une immense grille de nombres. Lorsqu'un robot apprend une nouvelle compétence, les nombres de cette grille se déplacent. L'idée du « Bas Rang » (Low-Rank) suppose que ces déplacements sont simples, comme le dessin d'une ligne droite ou d'une feuille plate sur la grille. Mais les chercheurs ont découvert que, pour les tâches procédurales, les changements sont incroyablement complexes et désordonnés. Ils ressemblent à une sculpture en 3D faite de milliers de petits fils torsadés.

Les mathématiques ont montré que pour capturer les changements nécessaires à ces tâches, le robot avait besoin d'utiliser un « rang » d'environ 761 à 1 026. Or, la méthode LoRA n'était autorisée à utiliser qu'un rang de 128 au maximum. Cela signifie que le carnet de notes LoRA essayait de décrire une sculpture 3D complexe en utilisant seulement un dessin 2D plat. Il n'avait tout simplement pas assez de dimensions pour contenir l'information. Les chercheurs ont calculé que même le plus grand carnet de notes LoRA ne pouvait capturer environ 43 % à 51 % des changements nécessaires. Le reste de la « connaissance » était simplement laissé de côté, comme si l'on essayait de faire entrer tout un océan dans une tasse de thé.

Le verdict : On ne peut pas tricher avec le labyrinthe

L'étude conclut que pour les tâches exigeant qu'un robot suive une procédure stricte à plusieurs étapes avec de nombreuses décisions de type « si-alors », la méthode de raccourci (LoRA) ne fonctionne tout simplement pas. Ce n'est pas que le robot n'a pas été assez entraîné ; c'est que la méthode elle-même est trop limitée. La connaissance nécessaire pour naviguer dans ces labyrinthes complexes est répartie dans tout le cerveau du robot d'une manière qu'un petit carnet de notes à bas rang ne peut capturer.

Les chercheurs sont très sûrs de cela car ils l'ont testé dans trois domaines différents (voyage, support technique et assurance) et avec deux tailles différentes de cerveaux de robot (3 milliards et 8 milliards de paramètres). Dans chaque cas, la réécriture complète de la bibliothèque a gagné, et la fiche de triche a perdu. Ils ont également écarté l'idée que le robot avait simplement besoin de plus de temps d'entraînement, car les robots LoRA apprenaient en fait les mots plus vite que les robots entraînés intégralement — ils échouaient simplement à apprendre les règles.

Ainsi, si vous voulez un agent IA capable de réserver votre vol, de réparer votre appel Zoom ou de traiter votre demande d'assurance sans s'embrouiller, vous ne pouvez pas simplement coller quelques notes adhésives sur son cerveau. Vous devez le laisser réécrire toute la bibliothèque. L'efficacité du raccourci se fait au détriment de la capacité du robot à réellement accomplir le travail.

Résumé Technique : La connaissance procédurale n'est pas de bas rang

Énoncé du Problème

Bien que les méthodes de réglage fin efficace en paramètres (PEFT) comme l'adaptation de bas rang (LoRA) soient devenues la norme pour l'adaptation des grands modèles de langage (LLM) en raison de leur efficacité mémoire et de leur succès dans le suivi d'instructions, le transfert de style et l'adaptation factuelle, leur efficacité sur la connaissance procédurale reste non vérifiée. La connaissance procédurale est définie ici comme la capacité à suivre des procédures multi-étapes impliquant des branchements conditionnels, un suivi d'état implicite à travers les tours, et une navigation vers des états terminaux spécifiques (ex: flux de travail de support client, systèmes de réservation, entretiens de diagnostic).

L'hypothèse fondamentale sous-jacente à LoRA est que les adaptations spécifiques aux tâches résident dans un sous-espace de faible dimension de l'espace des paramètres. Ce document remet en question cette hypothèse, postulant que la connaissance procédurale est distribuée à travers l'intégralité de l'espace des paramètres d'une manière que les approximations de bas rang ne peuvent capturer à des rangs pratiques. Si LoRA échoue à intérioriser la connaissance procédurale, les gains d'efficacité qu'il offre sont indisponibles pour la classe émergente d'applications agentiques qui reposent sur des flux de travail structurés.

Méthodologie

L'étude emploie une approche d'ablation systématique et de réplication trans-domaine utilisant des données synthétiques générées à partir de définitions de procédures basées sur des organigrammes.

1. Définition des Tâches et Génération de Données

Les procédures sont formalisées comme des graphes orientés $F = (N, E, n_0, T)$ représentant des conversations multi-tours avec des branchements conditionnels. Trois domaines de complexités variables ont été utilisés :

Réservation de Voyage (modèle 3B) : 14 nœuds, 3 hubs de décision, 86 chemins acycliques uniques.
Support Zoom (modèle 8B) : 14 nœuds, 3 hubs de décision, 60 chemins acycliques uniques, incorporant des codes d'erreur et des éléments d'interface utilisateur (UI) spécifiques au domaine.
Sinistres d'Assurance (modèle 8B) : 55 nœuds, 6 hubs de décision, 2 381 chemins acycliques uniques, présentant des boucles imbriquées et des dépendances entre phases.

Des conversations synthétiques ont été générées en échantillonnant des chemins à travers ces organigrammes et en utilisant un LLM (Claude Sonnet 4.5) pour générer des dialogues tour par tour, en faisant varier les variables de scénario pour assurer la diversité. Le modèle d'inférence ne voit que le dialogue naturel sans annotations procédurales explicites.

2. Configurations de Réglage Fin (Fine-Tuning)

L'étude compare le Réglage Fin de Tous les Paramètres (Full FT) à LoRA à quatre rangs ( $r = 16, 32, 64, 128$ ).

Full FT : Met à jour tous les paramètres. L'entraînement a utilisé AdamW avec une décroissance cosinus, s'exécutant pendant 20 époques (3B) ou 10–20 époques (8B) jusqu'à convergence.
LoRA : Cible toutes les couches linéaires (attention $q, k, v, o$ et MLP gate, up, down). Le facteur d'échelle $\alpha = 2r$ . Les taux d'apprentissage LoRA ont été fixés plus haut ( $2 \times 10^{-4}$ ) que ceux du Full FT ( $2 \times 10^{-5}$ ) pour donner à LoRA la meilleure chance de performance. Les adaptateurs ont été fusionnés avant l'évaluation pour garantir des coûts d'inférence identiques.

3. Protocole d'Évaluation

La performance a été évaluée sur $n=200$ scénarios par condition en utilisant une simulation d'utilisateur dynamique et un LLM-as-a-judge (Claude Sonnet 4.5, vérifié par GPT-4.1). Les métriques incluent :

Succès de la Tâche : Exécution correcte de la procédure jusqu'à un état terminal.
Précision de l'Information, Cohérence, Gestion Gracieuse et Naturellement.
La signification statistique a été évaluée à l'aide des tests de Wilcoxon signed-rank et Mann–Whitney U avec correction de Holm–Bonconi.

4. Analyse Structurelle (SVD)

Pour expliquer les échecs comportementaux, les auteurs ont effectué une décomposition en valeurs singulières (SVD) sur les différences de poids ( $\Delta W = W_{ft} - W_{base}$ ) à travers toutes les matrices de poids. Ils ont mesuré l'« Énergie à $r$ » (fraction de la norme de Frobenius au carré capturée par les $r$ vecteurs singuliers supérieurs) pour déterminer la limite théorique supérieure de ce qu'un adaptateur LoRA de rang- $r$ pourrait capturer, indépendamment de la qualité de l'optimisation.

Résultats Clés

1. Échec Uniforme à travers les Rangs

Sur la tâche de Réservation de Voyage (modèle 3B), toutes les configurations LoRA ont échoué à égaler le Full FT, quel que soit le rang.

Succès de la Tâche : Les scores LoRA variaient de 2,10 à 2,54, contre 4,11 pour le Full FT ( $p < 0,001$ ).
Insensibilité au Rang : Augmenter le rang de 16 à 128 (une augmentation de 8x des paramètres entraînables) n'a apporté aucune amélioration. En fait, les scores se sont dégradés à des rangs plus élevés (ex: le Succès de la Tâche est passé de 2,54 à $r=32$ à 2,10 à $r=128$ ).
Complétion vs Exactitude : Les modèles LoRA maintenaient des taux de complétion de conversation élevés (95,5 %–99,0 %), indiquant qu'ils ne s'effondraient pas en cours de conversation. Cependant, ils échouaient à suivre les chemins procéduraux corrects, sautant souvent des hubs de décision ou atteignant des états terminaux prématurément.

2. Généralisation Trans-Domaine

L'échec s'est généralisé au modèle 8B pour le Support Zoom et les Sinistres d'Assurance.

LoRA a sous-performé le Full FT de 0,8 à 2,2 points en moyenne sur tous les critères, tant à $r=32$ qu'à $r=128$ .
L'écart de performance était le plus important sur la procédure la plus complexe (Sinistres d'Assurance), où le LoRA $r=128$ a atteint un Succès de la Tâche de 2,10 contre 4,47 pour le Full FT.
L'augmentation du rang de 32 à 128 n'a apporté que des améliorations marginales, échouant à combler l'écart avec le Full FT.

3. Nature de Haut Rang des Mises à Jour de Poids

L'analyse SVD a révélé que les changements de poids requis pour l'intériorisation procédurale sont véritablement de haut rang.

Rang Effectif : Le rang effectif moyen de la mise à jour Full FT à travers les domaines variait de 761 à 1 026.
Capture d'Énergie : Un adaptateur LoRA de rang 128 ne capture que 43 % à 51 % de la norme de Frobenius au carré de la mise à jour Full FT.
Goulot d'Étranglement MLP : Les couches MLP (projections gate, up, down) ont présenté les rangs effectifs les plus élevés (jusqu'à 1 872 pour les Sinistres d'Assurance). Le rang 128 ne couvre que 7 à 13 % du rang requis pour ces couches, capturant seulement 26 à 44 % de l'énergie de mise à jour. Les projections K/V de l'attention étaient mieux couvertes en raison des tailles de matrices plus petites (GQA), mais les MLP restent le principal goulot d'étranglement.

4. Dynamique d'Entraînement et Surapprentissage

L'analyse de la dynamique d'entraînement a montré que LoRA ne souffre pas de sous-apprentissage.

Perte Plus Faible, Comportement Moins Bon : À la convergence, le LoRA ( $r=32$ ) a obtenu une perte par jet (per-token loss) sur l'ensemble de test plus faible (0,81) que le Full FT (0,89).
Divergence : Malgré une perte plus faible, le LoRA performait nettement moins bien sur les critères comportementaux. Cela indique que LoRA ajuste plus précisément la distribution de jet de surface (mémorisant les motifs locaux) mais échoue à acquérir la cartographie état-action requise pour la justesse procédurale.
Surapprentissage Dépendant de la Position : La perte de LoRA sur les premiers tours (formulaires) est restée stable, mais la perte sur les tours tardifs (nécessitant un suivi d'état) a augmenté après l'époque 3, signalant un surapprentissage des corrélations de surface plutôt que de la structure procédurale.

Signification et Revendications

Le papier établit que la connaissance procédurale n'est pas de bas rang. Les conclusions suggèrent une limitation fondamentale des méthodes efficaces en paramètres pour les applications agentiques :

Limitation Structurelle : L'incapacité de LoRA à capturer la connaissance procédurale n'est pas un échec d'optimisation mais un échec de représentation. Les mises à jour de poids requises sont distribuées sur des centaines de dimensions, dépassant la capacité des approximations de bas rang standards (même à $r=128$ ).
Compromis d'Efficacité : Pour les tâches exigeant un suivi de procédure multi-étapes fiable, les gains d'efficacité de LoRA se font au détriment de la compétence procédurale. Le réglage fin complet (Full Fine-Tuning) reste nécessaire pour compiler ces procédures dans les poids du modèle avec une qualité proche de la frontière.
Dégradation Paradoxale : Augmenter le rang de LoRA dans la plage pratique n'améliore pas linéairement la performance ; cela peut au contraire augmenter la capacité de surapprentissage des motifs de surface sans capturer la structure procédurale profonde.

Les auteurs concluent que si LoRA réussit dans le suivi d'instructions et l'adaptation factuelle, il est bien loin du Full Fine-Tuning pour les tâches procédurales, une distinction critique pour le déploiement d'agents basés sur les LLM. Le papier note que le LoRA à rang hétérogène (allouant des rangs plus élevés spécifiquement aux couches MLP) est une avenue plausible pour la recherche future, mais n'a pas été testée dans cette étude.