Résumé Technique : BiCo – Alignement Biliaire des Coordonnées pour le Transfert de Vecteurs de Tâche sans Entraînement

Énoncé du Problème

Le paradigme dominant en apprentissage automatique moderne consiste à adapter des modèles pré-entraînés à grande échelle à des tâches spécialisées en aval via un fine-tuning. Cependant, à mesure que les familles de modèles pré-entraînés s'étendent avec de nouvelles variantes différant par leur échelle, leurs données de pré-entraînement ou leurs recettes d'entraînement, l'expertise acquise par fine-tuning devient liée à la paramétrisation spécifique du modèle original. Par conséquent, lorsqu'une nouvelle version de modèle est publiée, les connaissances affinées ne peuvent pas être réutilisées directement, nécessitant des processus de fine-tuning coûteux et répétitifs.

Les approches existantes pour transférer cette expertise de « vecteur de tâche » (définie comme la différence de paramètres $\tau = \theta_{ft} - \theta_{pre}$) entre différents modèles font face à des limitations significatives. Les méthodes reposant sur l'alignement dans l'espace des paramètres (par exemple, le rééquilibrage via des symétries de permutation) exigent une compatibilité architecturale stricte et des dimensions correspondantes. Les méthodes récentes sans entraînement qui utilisent des signaux spécifiques à la tâche, tels que les activations ou les gradients (par exemple, THESEUS, GradFix), fournissent des correspondances partielles mais présentent toujours un écart de performance substantiel par rapport au fine-tuning direct du modèle cible. Le défi central consiste à transférer des vecteurs de tâche entre des modèles ayant des largeurs, des profondeurs et des configurations de pré-entraînement différentes, sans mises à jour supplémentaires des paramètres.

Méthodologie : BiCo

Les auteurs proposent BiCo (Alignement Biliaire des Coordonnées), un cadre sans entraînement qui reformule le transfert de vecteur de tâche comme un problème d'alignement dans un double espace.

1. Insight Théorique : Formation Biliaire des Vecteurs de Tâche

Les auteurs réexaminent la formation mécaniste d'un vecteur de tâche. En analysant la règle de mise à jour par descente de gradient, ils démontrent qu'un vecteur de tâche $\tau^{(l)}$ pour une couche $l$ est l'accumulation d'interactions bilinéaires entre les activations du côté entrée ($x_t$) et les gradients du côté sortie ($g_t$) au cours de la trajectoire de fine-tuning :
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
Cette formulation implique qu'un vecteur de tâche n'est pas simplement un décalage de paramètres, mais un couplage de deux espaces de coordonnées distincts : l'espace des activations d'entrée et l'espace des gradients de sortie. Les auteurs soutiennent qu'un transfert réussi nécessite d'aligner les deux espaces pour préserver la géométrie sous-jacente de la mise à jour, plutôt que d'aligner uniquement les activations ou uniquement les paramètres.

2. Le Cadre BiCo

BiCo estime des mappings de Procrustes orthogonaux pour les espaces d'entrée et de sortie en utilisant un petit ensemble de calibration ($N$ échantillons) et un seul passage avant-arrière à travers des modèles pré-entraînés figés. Aucun paramètre du modèle cible n'est mis à jour.

• Alignement du Côté Entrée : La méthode suppose que les activations pré-entraînées servent de proxies efficaces pour les activations de la trajectoire. Elle calcule la covariance croisée entre les activations pré-entraînées de la source ($\bar{X}_{A,pre}$) et les activations pré-entraînées de la cible ($\bar{X}_{B,pre}$). Une solution de Procrustes orthogonale ($R_{in}$) est dérivée via la Décomposition en Valeurs Singulières (SVD) pour mapper les coordonnées d'entrée de la source vers l'espace d'entrée de la cible tout en préservant la géométrie relationnelle (mesurée par l'Alignement du Noyau Centré, CKA).
• Alignement du Côté Sortie : De même, la méthode calcule les gradients par rapport aux sorties de la couche à l'initialisation pré-entraînée ($\bar{G}_{A,pre}$ et $\bar{G}_{B,pre}$). Une seconde solution de Procrustes orthogonale ($R_{out}$) est estimée pour aligner les coordonnées des gradients de sortie. Cette étape est cruciale car les dimensions de sortie diffèrent souvent entre les modèles source et cible, et les directions « sensibles à la tâche » peuvent être encodées dans des bases différentes.
• Transfert de Vecteur de Tâche : Le vecteur de tâche source $\tau_A^{(l)}$ est transformé en mise à jour compatible avec la cible $\hat{\tau}_B^{(l)}$ en appliquant les mappings appris aux deux côtés de la structure bilinéaire :
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  Le modèle cible final est mis à jour comme suit : $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$.

3. Gestion des Incohérences Structurelles

• Incohérence de Largeur : La formulation de Procrustes gère naturellement les cas où les dimensions d'entrée/sortie diffèrent (par exemple, transfert de étroit à large ou de large à étroit) en trouvant la projection orthogonale optimale.
• Incohérence de Profondeur : Pour les modèles ayant un nombre de couches différent, une stratégie simple d'appariement d'indices de couches discrètes est employée, mappant la couche cible $j$ à la couche source $i(j)$ la plus proche.

Contributions Clés

1. Réexamen de la Formation des Vecteurs de Tâche : L'article établit que les vecteurs de tâche sont des accumulations d'interactions bilinéaires entre les activations d'entrée et les gradients de sortie, motivant une approche d'alignement dans un double espace plutôt qu'un alignement dans un espace unique ou dans l'espace des paramètres.
2. Cadre BiCo : Introduction d'une méthode sans entraînement qui utilise l'alignement de Procrustes orthogonal sur les activations d'entrée et les gradients de sortie pour transférer des vecteurs de tâche. Elle ne nécessite qu'un seul passage avant-arrière sur un petit ensemble de calibration et n'implique aucune mise à jour de paramètres ni aucun réglage d'hyperparamètres.
3. Validation Empirique : Des expériences extensives sur des benchmarks de vision par ordinateur (8-Vision benchmark) et de traitement du langage naturel (suite GLUE) démontrent que BiCo surpasse systématiquement les bases de référence sans entraînement existantes (par exemple, THESEUS, GradFix, TransFusion) et réduit l'écart de performance par rapport au fine-tuning direct, même entre des modèles ayant des largeurs, des profondeurs et des distributions de pré-entraînement variables.

Résultats

• Mise à l'échelle de la Largeur : Lors du transfert d'un ViT-B/16 vers un ViT-B/16-plus plus large, BiCo surpasse nettement le remplissage naïf et THESEUS. Avec seulement 100 échantillons de calibration, BiCo réalise un gain moyen de précision de +18,88 % par rapport à la ligne de base zero-shot, contre +3,81 % pour THESEUS.
• Architecture Identique : Même lorsque les architectures correspondent mais que les données de pré-entraînement diffèrent (Datacomp-XL vers LAION-2B), le transfert naïf dégrade les performances. BiCo améliore la précision moyenne de +17,81 % par rapport à la ligne de base zero-shot avec 5 échantillons par classe, surpassant nettement GradFix et THESEUS.
• Mise à l'échelle de la Profondeur et de la Largeur : Dans des scénarios difficiles impliquant à la fois des incohérences de profondeur et de largeur (ViT-B/16 vers ViT-L/14), BiCo améliore la ligne de base zero-shot de +12,89 %, démontrant une généralisabilité structurelle.
• Généralisation NLP : Appliqué aux modèles T5 (T5-3B vers T5-Large), BiCo montre des améliorations robustes de la précision du sondage linéaire sur les tâches GLUE, en s'adaptant efficacement au nombre d'échantillons de calibration.
• Études d'Ablation : L'analyse confirme que l'alignement du seul côté entrée ou du seul côté sortie est insuffisant. La combinaison des deux, en utilisant spécifiquement les gradients pour le côté sortie, est cruciale pour la performance. Un alignement uniquement sur l'entrée peut même dégrader les performances en dessous de la ligne de base zero-shot dans les couches profondes.

Signification et Revendications

L'article revendique que BiCo répond à l'inefficacité du re-fine-tuning des modèles en permettant la réutilisation directe d'expertise spécifique à la tâche entre diverses variantes de modèles. En interprétant les vecteurs de tâche comme des interactions bilinéaires, les auteurs soutiennent que la préservation de la géométrie à la fois de l'espace des activations d'entrée et de l'espace des gradients de sortie est essentielle pour un transfert efficace.

La signification de ce travail réside dans sa capacité à :

• Réduire la Surcharge Computationsnelle : Éliminer le besoin de fine-tuning itératif des modèles cibles, ne nécessitant qu'un seul passage avant-arrière pour la calibration.
• Permettre une Réutilisation Évolutif : Faciliter le transfert de connaissances entre des modèles ayant des largeurs, des profondeurs et des configurations de pré-entraînement différentes, ce qui est crucial à mesure que les familles de modèles fondamentaux évoluent.
• Combler l'Écart de Performance : Réduire substantiellement l'écart entre le transfert sans entraînement et le fine-tuning direct, offrant une alternative pratique et plug-and-play pour l'adaptation des modèles.

Les auteurs maintiennent une modestie concernant les limitations, notant que la méthode suppose des structures internes suffisamment compatibles (par exemple, au sein de la même famille de backbone) et qu'un petit écart par rapport au fine-tuning direct subsiste, suggérant que l'alignement linéaire des coordonnées seul ne peut pas capturer toutes les informations spécifiques à la tâche. Ils notent également que la méthode ne corrige pas intrinsèquement les biais présents dans le vecteur de tâche source ou les données de calibration.