Résumé technique : Ancrage de la similitude fonctionnelle par le raccordement de modèles sensible à l'invariance

Énoncé du problème

L'évaluation de la similitude fonctionnelle vise à quantifier la mesure dans laquelle des réseaux de neurones entraînés indépendamment apprennent des relations entrées-sorties similaires. Une méthode de premier plan pour cela est le raccordement de modèles (model stitching), où les couches précoces (modèle frontal) d'un réseau sont connectées aux couches tardives (modèle final) d'un autre via une couche d'alignement entraînable. Si la composition raccordée qui en résulte maintient une performance élevée, les modèles sont considérés comme fonctionnellement similaires.

Cependant, des études récentes (par exemple, Smith et al., 2025) ont identifié une limitation critique du raccordement de modèles standard : il repose exclusivement sur la compatibilité ascendante (forward compatibility). Cela signifie qu'il évalue uniquement si les représentations du modèle frontal peuvent être alignées pour résoudre la tâche du modèle final. Par conséquent, des modèles qui reposent sur des indices d'information fondamentalement différents (par exemple, la couleur vs la forme, ou des caractéristiques robustes vs non robustes) peuvent tout de-même produire des représentations compatibles, conduisant à des évaluations de similitude « trompeuses ». De plus, le raccordement standard peut exploiter des indices prédictifs jusque-là invisibles (raccourcis) pour parvenir à l'alignement, obscurcissant davantage les véritables divergences fonctionnelles.

Les auteurs soutiennent que le raccordement standard est intrinsèquement aveugle aux propriétés d'invariance des modèles. Plus précisément, il ne tient pas compte de la direction descendante (backward direction) : si le modèle final traite les représentations raccordées d'une manière cohérente avec la façon dont il traite ses propres représentations natives, particulièrement en ce qui concerne les invariances partagées.

Méthodologie

1. Exigence de compatibilité ascendante-descendante

Pour remédier aux limites de l'évaluation uniquement ascendante, les auteurs introduisent une exigence de compatibilité ascendante-descendante (forward–backward compatibility). Ce cadre pose que pour que deux modèles soient fonctionnellement similaires, ils doivent satisfaire deux conditions :

• Compatibilité ascendante : Les représentations du modèle frontal peuvent être alignées sur le modèle final pour résoudre la tâche.
• Compatibilité descendante : Pour les entrées que le modèle frontal représente de manière identique (Représentations Identiques), le modèle final doit traiter ces représentations de manière similaire, qu'elles proviennent du modèle frontal ou de son propre chemin natif.

Cette exigence garantit que la composition raccordée respecte les classes d'invariance induites par le modèle frontal.

2. Raccordement de modèles sensible à l'invariance

Les auteurs opérationnalisent cette exigence via un raccordement de modèles sensible à l'invariance. Le mécanisme central implique :

• Entrées Représentées Identiquement (ERI) : En utilisant un modèle frontal $f_{\le i}$, ils génèrent un jeu de données $D_{ERIs}$ où les entrées $x'$ sont optimisées pour produire des représentations presque identiques aux entrées originales $x$ au niveau de la couche de raccordement ($||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$).
• Protocole d'entraînement : La couche de raccordement est entraînée sur $D_{ERIs}$ (en utilisant les représentations du modèle frontal) mais évaluée sur l'ensemble de test standard $D_{test}$.
• Logique : Si les modèles sont réellement similaires sur le plan fonctionnel, l'alignement de raccordement appris sur les ERI devrait se généraliser à l'ensemble de test standard. Si l'alignement repose sur des indices spécifiques à la génération des ERI ou s'il ne respecte pas les invariances du modèle final, la performance chutera, révélant des divergences fonctionnelles.

3. Objectifs d'alignement de raccordement

Le papier évalue plusieurs objectifs d'alignement pour établir la transformation de raccordement $T_\theta$ :

• Correspondance de Labels Stricts (HLM - Hard Label Matching) : Minimise l'entropie croisée entre la sortie raccordée et les étiquettes de vérité terrain.
• Correspondance de Labels Souples (SLM - Soft Label Matching) : Minimise l'entropie croisée entre la sortie raccordée et les prédictions souples du modèle final autonome.
• Correspondance Directe (DM - Direct Matching) : Minimise la distance $L_2$ entre la sortie du modèle frontal et les caractéristiques intermédiaires du modèle final au niveau du raccordement.
• Alignement Latent Fonctionnel (FuLA - Functional Latent Alignment) : Un nouvel objectif proposé par les auteurs. Il minimise la distance entre les caractéristiques internes de la composition raccordée et les caractéristiques du modèle final à travers plusieurs couches (du niveau de raccordement jusqu'à la couche pénultième), imitant ainsi efficacement le flux de traitement interne du modèle final sans dépendre des étiquettes de sortie.

Contributions Clés

1. Identification des modes de défaillance : Les auteurs démontrent que le raccordement de modèles standard (même sous SLM et DM, pas seulement HLM) échoue à distinguer les modèles reposant sur des indices d'information différents. Ils montrent que ces méthodes peuvent produire des scores de similitude élevés même lorsque les modèles utilisent des indices visuels distincts (par exemple, des raccourcis de pixels) ou lorsqu'un modèle est robuste et l'autre non.
2. Cadre sensible à l'invariance : Ils proposent et valident un raccordement de modèles sensible à l'invariance comme une approche plus rigoureuse. En imposant une compatibilité ascendante-descendante, cette méthode révèle les divergences fonctionnelles que le raccordement standard occulte.
3. Réévaluation de la robustesse : Le papier revoit la similitude fonctionnelle entre les réseaux robustes (entraînés par adversaire) et non robustes. Alors que les travaux précédents suggéraient qu'ils étaient fonctionnellement similaires, les auteurs montrent que sous un raccordement sensible à l'invariance, ils présentent des incompatibilités fonctionnelles significatives, particulièrement dans la manière dont ils gèrent les perturbations adverses.
4. Analyse des objectifs d'alignement : L'étude analyse l'interaction entre différents objectifs de raccordement. Elle constate que si FuLA et SLM produisent généralement une similitude fonctionnelle plus élevée, la Correspondance Directe (DM) révèle souvent un désalignement au niveau latent. Les auteurs soulignent un compromis : les objectifs qui imposent un alignement latent plus strict (comme DM) peuvent être moins enclins à exploiter des indices invisibles, mais pourraient produire des scores de similitude globale plus faibles.

Résultats Expérimentaux

Les auteurs ont mené des expériences de classification d'images sur CIFAR-10, LS-ImageNet-10 et ImageNet-100 avec des architectures incluant ResNet-18, VGG-16, ViT-Tiny et ViT-Base.

• Différents indices d'information : Lorsque des modèles entraînés sur différentes variantes de CIFAR-10 sont raccordés (par exemple, l'un entraîné avec des raccourcis de pixels), le raccordement standard montre une similitude élevée dans les couches profondes. En revanche, le raccordement sensible à l'invariance montre une chute brutale de la similitude pour la configuration de biais croisé, identifiant correctement l'absence de similitude fonctionnelle.
• Informations prédictives invisibles : Les formulations de raccordement standard ont été trouvées capables d'exploiter des « raccourcis » (indices prédictifs non présents dans les données d'entraînement originales) pour aligner les modèles. Le raccordement sensible à l'invariance a considérablement atténué ce comportement, réduisant l'« accord excessif » à presque zéro lorsque de tels indices n'étaient pas disponibles.
• Modèles Robustes vs Non-Robustes : Le raccordement standard suggérait que les modèles robustes et non robustes étaient fonctionnellement similaires. Le raccordement sensible à l'invariance a révélé que les modèles robustes partagent une structure de représentation plus cohérente entre eux, tandis que les modèles non robustes développent des invariances idiosyncrasiques qui ne sont pas partagées avec les modèles robustes.
• Comparaison des objectifs : FuLA et SLM ont généralement obtenu des similitudes fonctionnelles comparables, tandis que DM a souvent abouti à des scores de similitude plus bas, suggérant qu'un désalignement existe au niveau de la représentation des caractéristiques, avant même la couche de sortie.

Signification et Revendications

Le papier affirme que le raccordement de modèles sensible à l'invariance fournit une métrique plus ancrée et plus rigoureuse de la similitude fonctionnelle. En allant au-delà de la compatibilité ascendante pour inclure la compatibilité descendante, la méthode empêche les conclusions trompeuses où les modèles semblent similaires simplement parce qu'ils peuvent être alignés pour résoudre une tâche, malgré le recours à des mécanismes sous-jacents différents.

Les auteurs soulignent que leur approche révèle des « divergences fonctionnelles auparavant occultées », offrant une compréhension plus fine de la manière dont les réseaux de neurones profonds opèrent en interne. Ils concluent que l'évaluation de la similitude à partir de multiples perspectives (ascendante et descendante) est essentielle pour évaluer avec précision les mécanismes internes des réseaux de neurones profonds, particulièrement dans des contextes impliquant la robustesse et divers objectifs d'entraînement.

Limites : Les auteurs reconnaissent l'absence de notion d'« oracle » de similitude fonctionnelle, ce qui signifie que des conclusions définitives sur quel réglage est le « plus fidèle » restent difficiles. De plus, l'étude est actuellement limitée aux modèles de classification d'images.