🤖 machine learning

Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

L'article introduit FORA, une méthode de protection dans l'espace des fonctions qui préserve les capacités du modèle lors de l'ajustement fin en projetant les mises à jour sur des sous-espaces dérivés des activations plutôt que de ceux dérivés des poids, isolant et protégeant ainsi plus fidèlement les directions spécifiques responsables des compétences existantes.

Auteurs originaux : Rui Zhou, Tianci Xie

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rui Zhou, Tianci Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Apprendre de nouvelles compétences sans oublier les anciennes

Imaginez que vous avez un étudiant brillant (le modèle d'IA) qui est déjà un expert en traduction de langues. Vous voulez lui apprendre une nouvelle compétence : résoudre des problèmes de mathématiques.

Le problème avec l'entraînement standard, c'est que lorsque vous forcez l'étudiant à apprendre les mathématiques, il commence souvent à oublier comment traduire. C'est comme essayer d'écrire une nouvelle chanson sur un piano, mais vos doigts glissent sans cesse des touches que vous utilisiez pour votre chanson préférée.

Les scientifiques ont essayé de corriger cela en mettant des « gardes » dans le cerveau de l'étudiant. La plupart des méthodes précédentes tentaient de protéger la structure physique du cerveau (la matrice de poids). Elles disaient : « Ne touchez pas aux connexions les plus grosses et les plus fortes dans le cerveau. »

L'intuition du papier :
Les auteurs soutiennent que protéger les « plus grosses connexions » est la mauvaise stratégie.

L'analogie : Imaginez que le cerveau de l'étudiant est une immense bibliothèque. Les « plus grosses connexions » sont les livres les plus populaires sur les étagères. Mais l'étudiant peut utiliser un coin spécifique et calme de la bibliothèque (un motif d'activation spécifique) pour traduire. Si vous ne protégez que les livres populaires, vous pourriez accidentellement bloquer le coin calme où se déroule la traduction, ou pire, vous pourriez laisser ce coin calme totalement exposé au point que les leçons de mathématiques le dérèglent.

Le papier affirme : Ne protégez pas le mobilier (les poids) ; protégez l'activité (la fonction).

La solution : « Fora » (Adaptation résiduelle orthogonale de l'espace des fonctions)

Les auteurs ont créé une nouvelle méthode appelée Fora. Voici comment elle fonctionne, décomposée en trois étapes simples :

1. Cartographier la « Zone de Traduction » (Le Calibrage)

Avant d'enseireigner les mathématiques, les chercheurs demandent à l'étudiant d'effectuer des tâches de traduction sans le noter (pas besoin d'étiquettes/labels). Ils observent exactement quelles parties du cerveau s'illuminent pendant la traduction.

L'analogie : Ils placent une caméra sur l'étudiant et dessinent une carte lumineuse sur le sol montrant exactement où l'étudiant pose les pieds lorsqu'il parle français. C'est le « Sous-espace de Fonction ».

2. Construire une « Zone Interdite » (Le Projecteur)

Au lieu de protéger le mobilier lourd (les poids), ils construisent un champ de force autour de cette carte lumineuse sur le sol.

L'analogie : Ils disent au professeur de mathématiques : « Vous pouvez enseigner les mathématiques n'importe où dans la pièce, MAIS vous ne pouvez pas marcher sur la zone lumineuse française. Si vous essayez d'écrire des mathématiques sur ce carreau de sol spécifique, votre stylo rebondira. »
C'est le Projecteur droit ( $P_Q$ ). Il empêche les nouvelles leçons de mathématiques d'écraser les motifs spécifiques que l'étudiant utilise pour la traduction.

3. Le « Canal Spécial » (Le Canal Spectral)

Les chercheurs ont réalisé que si on gelait complètement la zone de traduction, l'étudiant ne pourrait plus du tout progresser. Ils ont donc ajouté un petit tunnel étroit à travers le champ de force.

L'analogie : Imaginez un petit tube de verre renforcé traversant la « Zone Interdite ». L'étudiant peut effectuer de minuscules ajustements prudents de ses compétences de traduction via ce tube, mais il ne peut pas briser tout le mur pour faire de la place aux mathématiques.
C'est le Canal Spectral. Il permet un peu de « plasticité » (flexibilité) pour que l'étudiant ne devienne pas un robot, tout en gardant la structure principale en sécurité.

Pourquoi est-ce meilleur que les anciennes méthodes ?

Les chercheurs ont testé cela contre d'autres méthodes (comme la « Projection de l'espace des poids », qui protège le mobilier lourd).

Ancienne méthode (Espace des poids) : « Ne touchez pas aux gros livres. »
- Résultat : L'étudiant a quand même oublié comment traduire car la traduction ne se passait pas dans la zone des « gros livres » ; elle se passait dans le coin calme.
Nouvelle méthode (Fora) : « Ne marchez pas sur la carte lumineuse française. »
- Résultat : L'étudiant a appris les mathématiques parfaitement tout en gardant ses compétences de traduction presque intactes.

Les résultats en langage clair

Les chercheurs ont testé cela sur un modèle appelé Qwen3-1.7B dans trois scénarios différents :

Apprendre la logique (COGS) tout en gardant la Traduction : La nouvelle méthode a maintenu les compétences de traduction presque parfaites, alors que les autres méthodes ont dégradé la traduction.
Apprendre les Mathématiques (GSM8K) tout en gardant la Traduction : Encore une fois, la nouvelle méthode a sauvé les compétences de traduction, tandis que les autres les ont laissées dériver.
Apprendre la Traduction tout en gardant les Mathématiques : Ils ont inversé le scénario. Ils ont enseigné la traduction mais ont essayé de garder les compétences mathématiques. La nouvelle méthode a mieux préservé les compétences mathématiques que les anciennes méthodes.

Ce qu'il faut retenir

Le papier conclut que pour protéger une compétence dans une IA, il ne faut pas regarder là où les poids sont lourds (la structure statique). Au lieu de cela, il faut regarder là où l'IA s'active réellement lorsqu'elle exerce cette compétence (la fonction dynamique).

En construisant un bouclier autour de l'activité plutôt que du matériel, on peut enseigner de nouvelles choses à l'IA sans effacer ce qu'elle sait déjà.

En bref : Ne protégez pas les étagères de la bibliothèque ; protégez le chemin spécifique que le lecteur emprunte pour trouver son livre préféré.

Résumé Technique : Fora : De la protection de l'espace des poids à celle de l'espace fonctionnel dans le réglage fin préservant les capacités

1. Énoncé du problème

Le réglage fin complet (full fine-tuning) des grands modèles de langage (LLM) offre une grande expressivité pour l'adaptation à de nouvelles tâches, mais comporte un risque majeur : des gradients non contraints peuvent écraser les voies fonctionnelles des capacités que le modèle possède déjà. Les stratégies de remédiation existantes — allant de la régularisation (ex. EWC, L2-SP) à la distillation et à la projection de gradient — protègent les capacités via des proxys. Ces proxys incluent les distances de paramètres, les pénalités d'importance, l'appariement de sorties ou les directions singulières dominantes de la matrice de poids ( $V_1$ issue de la SVD).

L'article soutient que ces proxys ne répondent pas à la question opérationnelle : sur quelles directions d'activation la capacité préservée repose-t-elle réellement ? Les vecteurs singuliers dominants d'une matrice de poids pré-entraînée ( $W_0$ ) résument là où le poids est important (un agrégat sur toutes les capacités apprises), ce qui peut ne pas s'aligner avec les motifs d'activation spécifiques requis pour une capacité donnée (par exemple, la traduction pourrait reposer sur des composantes singulières modérées ou des orientations diagonales). Par conséquent, protéger $V_1$ contraint souvent un sous-espace mal aligné avec la capacité, entraînant une préservation sous-optimale.

2. Méthodologie : Fora (Adaptation de résidu orthogonale dans l'espace fonctionnel)

La méthode proposée, Fora, reformule la préservation des capacités comme une protection de l'espace fonctionnel. Au lieu de protéger la géométrie de la matrice de poids, Fora protège le sous-espace d'activation induit par la capacité elle-même.

Mécanisme central :

Projection de l'espace fonctionnel ( $P_Q$ ) :
- En utilisant des entrées de calibration sans étiquettes issues de la capacité préservée ( $D_{pres}$ ), la méthode collecte les activations d'entrée pour chaque couche.
- Elle calcule la covariance de ces activations et extrait les $k$ vecteurs propres supérieurs ( $Q$ ), représentant les directions principales de la signature fonctionnelle de la capacité.
- Un projecteur à droite est formé : $P_Q = I - QQ^\top$ . Ce projecteur empêche la mise à jour de "lire" (d'agir sur) les directions fonctionnelles de la capacité.
Projection de l'espace des poids ( $P_U$ ) :
- Dérivé de la SVD du poids pré-entraîné $W_0 = U\Sigma V^\top$ , un projecteur à gauche $P_U = I - U_1U_1^\top$ est construit pour bloquer les écritures dans les directions de sortie principales du poids original.
La règle de mise à jour :
La mise à jour de rang complet $\Delta W$ est décomposée en deux canaux complémentaires :
$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{Haute capacité, fonction protégée}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{Canal spectral contrôlé}}$
- Branche à haute capacité ( $P_U M P_Q$ ) : Une matrice dense $M$ qui conserve une pleine puissance expressive pour toutes les directions, sauf les directions d'entrée de la capacité ( $P_Q$ ) et les directions de sortie dominantes du poids ( $P_U$ ).
- Canal spectral ( $U_2 D_\delta V_2^\top$ ) : Un canal étroit à faible degré de liberté dérivé des valeurs singulières résiduelles de $W_0$ . Crucialement, c'est le seul composant autorisé à répondre aux entrées dans le sous-espace protégé ( $\text{span}(Q)$ ). Cela fournit une plasticité calibrée, permettant des ajustements contrôlés sans geler entièrement la capacité.
Extension à bas rang :
La méthode s'étend au réglage fin efficace en paramètres (PEFT) en substituant la matrice dense $M$ par un produit de rang faible $\frac{\alpha}{r} BA$ , donnant Fora-LR.

3. Contributions clés

Reformulation de la préservation : L'article propose que la préservation des capacités est mieux réalisée en protégeant le sous-espace d'activation ( $Q$ ) induit par la capacité, plutôt que la géométrie singulière de la matrice de poids ( $V_1$ ).
Conception structurelle (Fora) : Il introduit une mise à jour de rang complet structurellement contrainte qui sépare la protection de la plasticité. La branche à haute capacité est structurellement empêchée de lire les directions sensibles à la capacité, tandis qu'un canal spectral dédié fournit une adaptation contrôlée sur ces directions spécifiques.
Insight mécaniste : À travers des ablations contrôlées, l'article démontre que le gain de performance provient spécifiquement de la source de la projection (dérivée de la capacité vs dérivée du poids), et non simplement de l'acte de projection.
Validation empirique : La méthode est instanciée sur Qwen3-1.7B à travers trois configurations, montrant une supériorité constante sur la projection de l'espace des poids et la régularisation standard.

4. Résultats expérimentaux

Les expériences ont été menées sur Qwen3-1.7B selon trois configurations distinctes :

Trans $\to$ COGS : Apprentissage de l'analyse sémantique compositionnelle tout en préservant la traduction.
Trans $\to$ GSM8K : Apprentissage du raisonnement mathématique de niveau scolaire tout en préservant la traduction.
Math $\to$ Trans : Apprentissage de la traduction tout en préservant le raisonnement mathématique.

Principaux résultats :

Préservation supérieure : Fora surpasse systématiquement la projection de l'espace des poids ( $P_V$ $P_{V}$ ), la régularisation (EWC, L2-SP) et la distillation (LwF) dans la préservation de la capacité originale.
- Exemple : Dans Trans $\to$ COGS, Fora a maintenu la perplexité (PPL) de la traduction à 4.39 (proche de la référence de 4.35), alors que la projection de l'espace des poids l'a dégradée à 4.86 (pire que le réglage fin complet non protégé).
- Exemple : Dans Math $\to$ Trans, Fora a conservé la précision de GSM8K à 0.86 point près de la référence, contre une chute de 2.27 points pour le réglage fin complet.
Performance sur la nouvelle tâche : Fora atteint des performances compétitives ou supérieures sur la nouvelle tâche. Dans la configuration Trans $\to$ GSM8K, Fora a obtenu l'Exact Match (EM) le plus élevé pour GSM8K (46.87 %) parmi toutes les méthodes.
Insights d'ablation :
- Source de la projection : Remplacer le projecteur à droite de $P_V$ (dérivé du poids) par $P_Q$ (dérivé de la fonction) a été le facteur décisif de l'amélioration de la préservation.
- Canal spectral : L'ajout du canal spectral ( $\delta$ ) a apporté des gains faibles mais constants dans la performance de la nouvelle tâche (ex. +0.21 EM GSM8K) sans nuire à la préservation, validant la conception de "plasticité bornée".
Généralisation à bas rang : La variante Fora-LR a démontré que le mécanisme de protection se transfère aux contextes d'efficacité paramétrique, surpassant les variantes LoRA de l'espace des poids (OPLoRA) en termes de métriques de préservation.

5. Signification et affirmations

L'article affirme que les sous-espaces fonctionnels dérivés de l'activation sont des cibles de protection plus fidèles que les directions singulières dérivées des poids. En déplaçant la cible de protection de la géométrie de la matrice de poids vers l'empreinte d'activation réelle de la capacité, Fora évite le désalignement qui affecte les méthodes existantes de projection de l'espace des poids.

Les auteurs soulignent qu'il s'agit d'une solution structurelle : la protection est garantie par la paramétrisation ( $P_U M P_Q$ ) plutôt que de dépendre de la trajectoire d'optimisation ou d'états de gradient spécifiques. Bien que la méthode nécessite des données de calibration sans étiquettes, elle ne nécessite pas de stocker des données ou des étiquettes de tâches pendant l'entraînement, ce qui la distingue des approches basées sur le rejeu (replay-based). L'article conclut que la protection de l'espace fonctionnel offre une manière principled pour équilibrer plasticité et stabilité, atteignant une forte préservation avec un compromis minimal sur l'apprentissage de la nouvelle tâche.