📊 statistics

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

Cet article introduit FisherSketch, une méthode sans entraînement et efficace en flux (streaming-efficient) qui estime l'alignement de Fisher des têtes via des plongements de moyenne de noyau afin de permettre une sélection de sources et des diagnostics de similitude de tâches à grande échelle pour les familles de LLM partageant des vocabulaires, surmontant ainsi les limites des métriques basées uniquement sur les représentations et le coût computationnel des matrices de Fisher complètes.

Auteurs originaux : John Sweeney

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : John Sweeney

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un modèle de langage géant et hautement entraîné (comme un robot super intelligent qui sait parler de nombreuses langues). Maintenant, imaginez que vous vouliez enseigner à ce robot une nouvelle compétence spécifique, comme l'écriture de formules chimiques (SMILES) ou la compréhension de structures de protéines.

La grande question est : quel ensemble de données existant devriez-vous utiliser pour lui enseigner cette nouvelle compétence ?

Habituellement, les gens essaient de répondre à cela en observant comment le robot « pense » (ses activations internes) lorsqu'il voit des données. Ils demandent : « Est-ce que le robot voit les formules chimiques de la même manière qu'il voit les séquences de protéines ? » Si la réponse est « oui », ils supposent que le robot apprendra facilement la nouvelle tâche.

Le Problème : La « Chambre Noire » de l'apprentissage
Cet article soutient que regarder uniquement la façon dont le robot « pense » revient à essayer de naviguer dans une pièce sombre en tâtonnant les murs. Vous pourriez toucher le même mur dans deux pièces différentes, mais cela ne signifie pas que le mobilier (l'objectif) est au même endroit.

Les auteurs appellent cela le régime « Activation-Dark » (Activation-Obscurité). Deux tâches peuvent sembler identiques pour les capteurs internes du robot (les activations), mais les erreurs qu'il commet en essayant de les résoudre peuvent pointer dans des directions totalement opposées. Si vous entraînez le robot sur les mauvaises données, il pourrait apprendre à pousser la solution dans la mauvaise direction, même si le « ressenti » est le même.

La Solution : FisherSketch (Le « Télescope » pour les mises à jour)
Les auteurs introduisent un nouvel outil appelé FisherSketch. Au lieu de regarder seulement ce que le robot voit, ils regardent comment le robot prévoit de se modifier lui-même pour résoudre le problème.

Voici l'idée centrale décomposée avec une analogie :

1. L'« Mise à jour » est la véritable histoire

Imaginez que le robot soit un étudiant passant un examen.

Similitude de Représentation (L'ancienne méthode) : Vous regardez le visage de l'étudiant pendant qu'il lit la question. S'il a l'air concentré et sérieux tant pour les Mathématiques que pour l'Histoire, vous supposez qu'il réussira dans les deux.
Alignement de Fisher (La nouvelle méthode) : Vous regardez les corrections que l'étudiant apporte sur sa copie.
- Pour les Mathématiques, il réalise : « Je dois ajouter plus de nombres. »
- Pour l'Histoire, il réalise : « Je dois écrire plus de dates. »
- Même s'ils ont la même expression en lisant, leurs plans pour corriger leurs erreurs sont totalement différents.

L'article prouve que si vous ne regardez que le « visage » (les activations), vous ne pouvez pas prédire les « corrections » (les mises à jour). Deux tâches peuvent paraître identiques, mais nécessiter des changements opposés.

2. Le défi de l'« Échelle du Vocabulaire »

Le robot possède un vocabulaire massif (plus de 128 000 mots). Pour calculer le « plan de correction » pour chaque mot, il vous faudrait normalement un ordinateur avec plus de mémoire que ce qui existe sur Terre (61 Gigaoctets par tâche !). Il est impossible de faire cela pour des milliers de tâches différentes.

FisherSketch est comme un truc de compression magique.

Au lieu d'écrire tout le plan de correction de 61 Go, il crée une minuscule « signature » de 16 Ko (environ la taille d'une petite photo).
Il y parvient en effectuant une seule « passe de streaming » sur les données, en utilisant une astuce mathématique ingénieuse (projections aléatoires) pour estimer la direction des corrections sans jamais avoir à toutes les écrire.
Il capture trois choses :
1. Les Activations : Ce que le robot voit.
2. Les Erreurs : Là où le robot se trompe.
3. Le Couplage : Comment le « voir » et le « se tromper » interagissent.

3. L'expérience du « Décalage de Verbalisateur »

Pour prouver leur point, les auteurs ont mené un test spécifique appelé « Verbalizer Shift » (Décalage de Verbalisateur).

Ils ont donné au robot une instruction fixe : « La réponse est... »
Ils ont changé uniquement le dernier mot (le « verbalisateur »), comme changer « Oui/Non » par « Vrai/Faux ».
Le Résultat : La « pensée » interne du robot (les activations) est restée exactement la même car l'instruction était identique. Les anciennes méthodes disaient : « Ces tâches sont 100 % identiques ! »
La Réalité : La capacité du robot à apprendre changeait radicalement selon le dernier mot.
FisherSketch a correctement prédifié ce changement car il regardait la géométrie de l'erreur (comment le mot final spécifique modifiait les erreurs du robot), tandis que les anciennes méthodes étaient aveugles à cela.

Résumé des affirmations

Les anciennes méthodes échouent : Les métriques comme la CKA (qui comparent les « pensées » internes) ne peuvent pas prédire si un robot apprendra bien une nouvelle tâche si les « erreurs » sont différentes, même si les « pensées » sont les mêmes.
La nouvelle méthode fonctionne : FisherSketch estime l'« Alignement de Fisher » (la similitude des plans de mise à jour) directement à partir du flux de données.
Efficacité : Il compresse des données massives en de minuscules signatures de 16 Ko, ce qui permet de comparer instantanément des milliers de tâches.
Précision : Dans des tests avec Llama-3.1-8B, FisherSketch était bien meilleur pour choisir les bonnes données sources pour le fine-tuning que les méthodes qui ne regardaient que les activations, surtout dans les cas complexes où la « pensée » ne changeait pas mais où l'« objectif d'apprentissage » changeait.

En résumé, l'article dit : Ne demandez pas seulement ce que le robot voit ; demandez-lui comment il prévoit de corriger ses erreurs. Et vous pouvez le faire efficacement, même pour les plus grands modèles, grâce à leur nouvel outil, « FisherSketch ».

Résumé technique : La géométrie des mises à jour : Alignement de Fisher à l'échelle du vocabulaire

1. Énoncé du problème

L'article traite du défi de la sélection de sources sans entraînement pour les familles de Grands Modèles de Langage (LLM) qui partagent un vocabulaire mais diffèrent par leurs cibles de prédiction (par exemple, adapter un tokenizer partagé aux séquences SMILES, protéiques ou génomiques).

Les métriques de transférabilité actuelles font face à un dilemme dans ce régime « d'obscurité d'activation » :

Les métriques de similitude de représentation (ex: CKA, RSA, SVCCA) calculent la similitude sur la base d'activations gelées. Les auteurs soutiennent que celles-ci sont non identifiables pour le transfert au niveau de la tête car elles ignorent la géométrie des erreurs conditionnées par les étiquettes. Les modèles peuvent partager des représentations identiques tout en ayant des directions de mise à jour orthogonales.
Les métriques classiques de géométrie de mise à jour (ex: alignement de Fisher) capturent théoriquement la structure de mise à jour nécessaire mais sont calculatoirement prohibitives à l'échelle du vocabulaire ( $K \sim 10^5$ ). Le stockage de la matrice du second moment de l'erreur ( $\Gamma_e$ ) nécessite environ 61 Gio par tâche, rendant le calcul exact impossible pour des ensembles de candidats importants.

La question centrale est la suivante : Comment estimer efficacement la compatibilité géométrique des mises à jour de paramètres (alignement de Fisher) à l'échelle du vocabulaire sans matérialiser des matrices massives ou s'appuyer sur des signaux potentiellement trompeurs basés uniquement sur les activations ?

2. Méthodologie

Fondement théorique

Les auteurs établissent que pour une tête linéaire, le gradient par exemple $g$ se factorise exactement en produit de Kronecker de l'activation pénultième $a$ et de l'erreur dans l'espace des logits $e$ (soit $g = a \otimes e$ ).

Non-identifiabilité des métriques de représentation : L'article prouve (Théorème 3.2) que les métriques de représentation seule ne peuvent déterminer l'alignement de Fisher de la tête. Ils construisent un « témoin » où les tâches partagent des représentations identiques ( $Z_i = Z_j$ ) mais ont des ensembles d'étiquettes disjoints, résultant en des gradients de tête orthogonaux ( $A_F(i, j) = 0$ ). Ainsi, $M(Z_i, Z_j)$ ne peut distinguer des tâches identiques de tâches orthogonales.
L'alignement de Fisher comme un cosinus de noyau produit : La contribution théorique centrale (Théorème 4.2) réécrit l'alignement de Fisher de la tête comme la similitude cosinus entre des noyaux d'encodage moyen dans un espace de caractéristiques conjoint $(a, e)$ $(a, e)$ .
$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$
où $\mu_{ae, k}$ $μ_{a e, k}$ est l'encodage moyen du noyau produit $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$ $k_{a e} ((a, e), (a^{'}, e^{'})) = (a^{⊤} a^{'})^{2} (e^{⊤} e^{'})^{2}$ .
Cette décomposition révèle que la transférabilité dépend de trois facteurs :
1. Géométrie d'activation : Similitude des seconds moments d'activation ( $M_a$ ).
2. Géométrie d'erreur : Similitude des seconds moments d'erreur ( $\Gamma_e$ ).
3. Couplage : Un ratio de non-séparabilité ( $\rho$ ) mesurant l'écart par rapport à l'hypothèse d'indépendance entre activations et erreurs.

Algorithme : FisherSketch

Pour rendre cela traitable à l'échelle du vocabulaire, les auteurs introduisent FisherSketch, un estimateur de flux en un seul passage.

Caractéristiques de Maclaurin aléatoires : Au lieu de calculer l'encodage complet $O(d^2 K^2)$ , FisherSketch utilise des projections aléatoires factorisées (vecteurs de Rademacher) pour estimer l'espérance du noyau produit.
Efficacité : Il exploite la structure de Kronecker pour calculer les projections séparément pour $a$ et $e$ , réduisant la complexité par échantillon de $O(mdK) $à$ O(m(d+K))$.
Transformée de Hadamard aléatoire sous-échantillonnée (SRHT) : Pour l'espace d'erreur de haute dimension ( $K \approx 128\,256$ ), la SRHT est utilisée pour réduire le coût de projection de $O(mK) $à$ O(K \log K + m)$.
Sortie : La méthode produit une signature de tâche compacte de 16 Ko (un vecteur dans $\mathbb{R}^m$ avec $m=4096$ ) par tâche, encodant la géométrie conjointe activation-erreur. Elle maintient également un état de streaming de 192 Ko pour l'estimation par échantillonnage fractionné afin de réduire le biais.

3. Contributions clés

Preuve de non-identifiabilité : Démonstration formelle que les métriques de similitude de représentation (CKA, RSA, SVCCA) sont insuffisantes pour prédire le transfert de la tête sans hypothèses sur la géométrie des erreurs ou la correspondance des étiquettes.
Identité de décomposition exacte : Preuve que l'alignement de Fisher de la tête est exactement un cosinus de noyau produit entre les encodages moyens conjoints, fournissant une décomposition rigoureuse en trois facteurs (activation, erreur, couplage).
FisherSketch : Un estimateur évolutif et sans entraînement qui compresse la géométrie de la tâche en une signature de 16 Ko, permettant des comparaisons à l'échelle du vocabulaire ( $K=128\,256$ ) avec un état de streaming de 192 Ko par tâche.
Instrument de diagnostic : Les signatures permettent aux chercheurs de démêler si la similitude d'une tâche est pilotée par les activations, les erreurs ou leur couplage, servant de sonde pour les régimes d'« obscurité d'activation ».

4. Résultats

Sélection de source à l'échelle du vocabulaire

Évalué sur Llama-3.1-8B à travers 100 domaines :

Performance : FisherSketch a atteint une précision de sélection de source Top-1 de 45,7 % (environ 10,9 $\times$ la base aléatoire) avec un regret maximal de 0,119.
Comparaison : Il s'est montré compétitif avec les bases d'activation seule sur les décalages de domaines naturels, mais a nettement surpassé ces dernières dans des régimes spécifiques.
Efficacité : A réduit les besoins de stockage de ~61 Gio par tâche (pour $\Gamma_e$ exact) à 16 Ko.

Test de stress d'identifiabilité (Décalage de verbalisateur)

Dans une expérience contrôlée utilisant des prompts à préfixe fixe où les activations étaient identiques à travers différents verbalisateurs (ex: "Oui/Non" vs "Vrai/Faux") :

Échec de l'activation seule : La similitude d'activation ( $Scov(M_a)$ ) s'est effondrée vers une constante (performance de la base aléatoire de 20 % en Top-1).
Succès de FisherSketch : FisherSketch a atteint 66,7 % en Top-1, prédisant avec succès les variations de transfert pilotées uniquement par les changements de la géométrie d'erreur conditionnée par les étiquettes.
Marginal d'erreur seule : La marginale d'erreur seule ( $Scov(\Gamma_e)$ ) a également bien performé (72,2 % en Top-1), confirmant que lorsque la géométrie d'activation est constante, la géométrie d'erreur pilote le signal.

Preuve de concept pour les séquences scientifiques

Sur les domaines de molécules SMILES, FisherSketch a été significativement corrélé à la réduction de la perplexité inter-domaines ( $\rho_s=0,53, p=0,006$ ), alors que la similitude d'activation seule n'était pas significative ( $p=0,081$ ).

Validation de l'estimateur

Sur ViT-B/16, FisherSketch a montré de hautes corrélations de Spearman avec l'alignement de Fisher exact pour la similitude jointe ( $\hat{S}_{ae} : 0,97$ ) et le couplage ( $\hat{\rho} : 0,95$ ). La méthode a obtenu une accélération de 89 $\times$ par rapport au calcul exact pour $n=2000$ échantillons.

5. Signification et revendications

L'article affirme fournir un mécanisme pratique et sans entraînement pour la sélection de sources dans les familles de LLM à vocabulaire partagé, là où les métriques traditionnelles échouent en raison de la nature « d'obscurité d'activation » du problème.

Impact opérationnel : Il permet la sélection automatisée de sources pour le fine-tuning, l'apprentissage continu sensible aux interférences, et le routage au moment de l'inférence basé sur la compatibilité prédite des mises à jour de paramètres plutôt que sur la simple similitude de représentation.
Aperçu théorique : Il clarifie que le transfert est fondamentalement une géométrie de mises à jour (gradients), et non seulement de représentations. L'article soutient que si les métriques de représentation peuvent être informatives dans des régimes favorables, elles sont fondamentalement limitées sans modélisation explicite de la structure d'erreur.
Évolutivité : En compressant la géométrie complexe des mises à jour en signatures compactes, ce travail rend l'analyse de transférabilité à l'échelle du vocabulaire réalisable, dépassant les contraintes des approximations à étiquettes finies (comme LogME/LEEP) ou des calculs de Fisher exacts prohibitifs.

Les auteurs notent explicitement les limites : la méthode suppose une base de sortie partagée (vocabulaire ou taxonomie alignée) et se concentre sur l'alignement de Fisher de la tête (ou des paramètres partagés). Pour des espaces de sortie hétérogènes ou des comparaisons de réseaux complets sans paramètres partagés, d'autres approches ou diagnostics de couches internes sont recommandés.