⚡ electrical engineering

Vertical Fusion: Condensing Internal Representations for Robust ViT Classification

Cet article introduit VFusion, une méthode qui agrège les représentations intermédiaires au sein des Vision Transformers pour récupérer les échantillons mal classés et augmenter considérablement la robustesse et la précision, offrant ainsi une alternative efficace aux approches traditionnelles d'ensemble horizontal.

Auteurs originaux : Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau de robot super intelligent appelé Vision Transformer (ViT). C'est comme une immense bibliothèque à plusieurs étages où chaque étage (ou « couche ») lit une image et rédige un petit rapport sur ce qu'il voit. Habitement, quand nous demandons à ce robot d'identifier un chat ou une voiture, nous n'écoutons que le rapport rédigé au tout dernier étage. Nous traitons tous les étages en dessous comme une boîte noire, ignorant leurs notes.

Mais et si l'étage supérieur se trompait ? Et si les autres étages avaient connu la réponse depuis le début ?

C'est la grande question posée par ce papier. Les chercheurs ont découvert que les « étages intermédiaires » de votre robot sont incroyablement utiles. En fait, ils ont découvert que 18 % à 76 % du temps où l'étage supérieur se trompe, l'un des étages inférieurs avait raison ! Ils appellent cela la « récupérabilité ». C'est comme avoir une équipe de détectives où le détective en chef (la couche supérieure) manque parfois l'indice, mais un détective junior (une couche intermédiaire) l'a pourtant consigné dans son carnet de notes.

La grande méprise : il ne s'agit pas de « désaccord »

Vous pourriez vous dire : « Oh, alors les couches se disputent entre elles, et c'est pour ça qu'elles sont bonnes ? » Le papier dit non, ce n'est pas ça.

Habituellement, quand nous combinons différentes opinions (comme dans un projet de groupe), nous espérons que chacun apporte une perspective différente. Mais ici, les couches ne sont pas en désaccord. Au lieu de cela, elles regardent toutes la même « vérité », mais avec des niveaux de bruit légèrement différents. Le papier montre que les couches agissent comme des sondes redondantes et stables. Elles essaient toutes de vous dire la même chose, mais certaines sont simplement un peu plus claires que d'autres. La magie ne réside pas dans leur combat ; elle réside dans le fait qu'elles détiennent toutes des pièces du même puzzle.

La solution : VFusion (le « mélangeur vertical »)

Puisque l'étage supérieur n'est pas parfait, et que les étages inférieurs sont ignorés, les auteurs ont construit un nouvel outil appelé VFusion.

Considérez VFusion comme un mélangeur intelligent qui ne se contente pas de prendre le rapport du dernier étage. Au lieu de cela, il saisit les notes de chaque étage (ou d'une sélection intelligente d'entre eux), les mélange et utilise un filtre spécial pour extraire le « bruit » et ne garder que le signal clair et partagé. Il crée un « jeton global » super dense qui combine le meilleur de toutes les couches.

Les résultats sont assez incroyables :

VFusion bat la meilleure couche individuelle d'environ 1,9 % en moyenne.
Il comble 45 % de l'écart entre la meilleure couche individuelle et un « oracle théorique » (un score parfait où vous gagnez un point si n'importe quelle couche a raison).
Il fonctionne encore mieux lorsque les images sont difficiles, comme pour les détails fins (par exemple, distinguer différentes catégories de voitures ou d'oiseaux) ou lorsque les images sont floues ou déformées.

Ce qu'ils ont écarté

Le papier est très clair sur ce qui ne fonctionne pas aussi bien que VFusion :

Choisir simplement la « meilleure » couche : On ne peut pas simplement deviner quel étage est le plus intelligent et n'utiliser que celui-là.
La moyenne simple : Prendre simplement la moyenne des prédictions de toutes les couches (comme un vote simple) ne fonctionne pas aussi bien que le mélange intelligent de VFusion.
Les ensembles horizontaux : Le papier note que, bien que vous pourriez entraîner 10 robots différents et les faire voter (une équipe « horizontale »), cela est extrêmement coûteux et lent. VFusion obtient des résultats similaires ou meilleurs en utilisant un seul robot en regardant à l'intérieur de lui (une approche « verticale »). C'est énorme pour des domaines comme l'imagerie médicale, où vous n'avez peut-être qu'un seul modèle pré-entraîné disponible.

À quel point sont-ils sûrs ?

Les auteurs n'ont pas seulement deviné ; ils ont testé cela sur 16 ensembles de données différents (allant de chiffres simples à des fleurs et des voitures complexes) et 5 ensembles de données avec des changements de distribution « hors distribution » (où les images sont différentes de celles sur lesquelles le robot a été entraîné).

Ils ont mesuré que les couches intermédiaires récupèrent 18 % à 76 % des erreurs.
Ils ont montré que VFusion surpasse systématiquement les autres méthodes à travers différentes tailles de modèles (Small, Base, Large) et différents styles d'entraînement (Supervisé, Auto-supervisé, CLIP).
Ils ont même vérifié si cela fonctionnait sur des tâches de « précision fine » (comme distinguer 100 types d'oiseaux) et ont trouvé que VFusion excelle là, améliorant la précision jusqu'à 7,2 % sur certains ensembles de données difficiles.

Ce qu'il faut retenir

Le papier suggère que nous avons ignoré une mine d'or d'informations à l'intérieur de nos modèles d'IA. En utilisant VFusion, nous pouvons transformer un cerveau de robot unique et figé en un classificateur super précis sans avoir besoin d'entraîner toute une armée de robots. C'est une méthode légère et efficace pour extraire chaque goutte d'intelligence de l'intelligence que nous possédons déjà dans les couches.

Et le meilleur dans tout ça ? Ce n'est pas seulement une théorie. Le code est disponible, et les résultats tiennent la route à travers différents types d'images et différentes tailles de modèles. Il s'avère que toute la bibliothèque est plus intelligente que le simple bibliothécaire du dernier étage.

Résumé Technique : Fusion Verticale (VFusion) pour une Classification Robuste des ViT

1. Énoncé du Problème

Les Vision Transformers (ViT) ont atteint des performances de pointe en vision par ordinateur, pourtant, ils sont principalement déployés comme des extracteurs de caractéristiques « boîte noire » où seule la représentation de la dernière couche est utilisée pour les tâches en aval. Cette convention repose sur l'hypothèse implicite que la dernière couche condense de manière optimale toute l'information pertinente pour la tâche. Cependant, des observations récentes suggèrent que les couches intermédiaires encodent souvent des informations complémentaires, particulièrement concernant la robustesse aux changements de distribution et la difficulté des échantillons.

Les stratégies d'ensemble actuelles (ensemblage horizontal) améliorent les performances en combinant les prédictions de plusieurs modèles indépendants, mais elles entraînent des coûts de calcul élevés et ignorent le signal « vertical » disponible au sein de la hiérarchie interne d'un seul modèle. De plus, bien que les couches intermédiaires des réseaux de neurones convolutionnels (CNN) aient montré une utilité pour corriger les erreurs, leur application aux ViT est moins comprise en raison du profil représentationnel plus uniforme et de la haute redondance inhérente aux architectures ViT. La question centrale abordée est de savoir si les couches intermédiaires des ViT contiennent des signaux récupérables capables de corriger les défaillances de la dernière couche et, si oui, comment agréger efficacement ces signaux sans s'appuyer sur la diversité prédictive (désaccord) entre les couches.

2. Méthodologie

2.1. Analyse de la Récupérabilité

Les auteurs quantifient d'abord la récupérabilité des couches intermédiaires, définie comme la capacité des sondes intermédiaires à classer correctement des échantillons mal classés par la sonde de la dernière couche. Sur 16 jeux de données diversifiés, ils ont constaté que les sondes intermédiaires récupèrent 18 % à 76 % des erreurs de la dernière couche.

Crucialement, l'analyse révèle que ce gain n'est pas piloté par la diversité prédictive (c'est-à-dire des couches faisant des types d'erreurs différents). Au contraire, il provient d'une correspondance redondance-correction : les couches internes agissent comme des sondes stables et légèrement perturbées d'un signal discriminatif partagé. Une haute récupérabilité est corrélée à une haute « entropie de correction » (capacité de correction distribuée à travers la profondeur) mais négativement avec le désaccord géométrique (distance cosinus entre les logits des échantillons mal classés). Cela implique que les couches sont corrélées mais non identiques, offrant une trace redondante mais informative de la frontière de décision correcte.

2.2. Architecture VFusion

Pour exploiter cette redondance, les auteurs proposent VFusion, une stratégie d'agrégation verticale qui synthétise les caractéristiques à travers la hiérarchie interne du ViT en un jeton global robuste. Le cadre se compose de trois éléments :

Sélection de Couches : Un sous-ensemble de couches $S$ est sélectionné à partir du squelette (backbone) gelé. Les stratégies incluent l'approche holistique (toutes les couches), moitié-finale (last-half) et par pas (strided). Les auteurs recommandent la stratégie holistique pour préserver la trace d'information complète.
Fusion de Couches : Les représentations des couches sélectionnées (spécifiquement les jetons [CLS]) sont concaténées en un vecteur $v$ . Un encodeur de fusion apprenable $E$ (un perceptron multicouche) projette ce vecteur de haute dimension dans un espace latent de faible dimension $z$ . Cet encodeur agit comme un filtre de suppression de bruit, écartant les résidus non pertinents pour la tâche ( $r^{(\ell)}$ ) afin d'isoler le signal pertinent partagé ( $s^{(\ell)}$ ).
Entraînement Supervisé : L'encodeur de fusion et une tête de classification légère sont entraînés conjointement sur le squelette gelé. L'objectif d'entraînement combine la perte d'entropie croisée standard ( $L_{CE}$ ) avec un régularisateur d'orthogonalisation ( $L_{orth}$ ). Ce régularisateur pénalise les dépendances linéaires dans les dimensions latentes, encourageant le modèle à apprendre des composantes complémentaires et décorrelées de la représentation fusionnée.

3. Contributions Clés

Quantification de la Récupérabilité : L'article introduit et mesure le concept de récupérabilité dans les ViT, démontant que les couches intermédiaires peuvent corriger entre 18 % et 76 % des erreurs de classification de la dernière couche sur 16 jeux de données.
Identification du Mécanisme : Il établit empiriquement que les signaux correctifs proviennent d'une correspondance redondance-correction (signaux stables et partagés) plutôt que de la diversité prédictive, remettant en question l'hypothion selon laquelle les gains d'ensemble nécessitent un désaccord entre modèles indépendants.
Proposition de VFusion : Une méthode d'agrégation verticale légère et fondée sur des principes qui synthétise les caractéristiques de la hiérarchie interne en un jeton global unique, surpassant les bases d'agrégation établies (ex: Super Learner, Neural Logit Controller, Mixture of Experts) tant dans les contextes de distribution intra (ID) que hors distribution (OOD).
Généralisation et Efficacité : La méthode se généralise à travers différentes tailles de modèles (ViT-S, B, L), familles de squelettes (IN21k supervisé, DINOv2 auto-supervisé, CLIP multimodal), et régimes de pré-entraînement. Elle atteint ces gains avec un surcoût de calcul minimal par rapport à l'ensemblage horizontal.
Directives Empiriques : L'étude fournit des directives pour la sélection des couches, montrant que la sélection holistique (contiguë) produit les meilleures performances, tandis que la sous-échantillonnage par pas (strided) est moins efficace.

4. Résultats Expérimentaux

Performance In-Distribution : Sur 16 benchmarks de classification, VFusion a atteint une précision moyenne de 91,4 %, surpassant la meilleure sonde de couche individuelle de 1,9 % et la base la plus forte (Super Learner) de 1,7 %. Notamment, VFusion a comblé 45 % de l'écart de précision entre la meilleure couche individuelle et l'oracle théorique (où un échantillon est correct si n'importe quelle couche prédit correctement).
Robustesse Out-of-Distribution : Sous des changements de covariables et de populations (5 jeux de données), VFusion a atteint la précision moyenne la plus élevée (84,6 %), dépassant la meilleure couche unique jusqu'à 1,3 % sur des tâches fines comme C-100C et IN-200C.
Études d'Ablation :
- Sélection de Couches : La sélection holistique a été la plus performante ; restreindre à la moitié finale a causé une baisse mineure (0,3 %), tandis que la sélection par pas a causé une baisse plus importante (0,9 %).
- Généralisation du Squelette : Les gains ont été constants à travers les échelles ViT-S, B et L ainsi que les différents paradigmes de pré-entraînement. Les plus grandes améliorations ont été observées avec les squelettes auto-supervisés (DINOv2) et multimodaux (CLIP).
- Horizontal vs Vertical : Bien que la fusion horizontale entre différents squelettes (HFusion) ait donné les meilleurs résultats absolus, VFusion (fusion verticale au sein d'un même squelette) est restée compétitive, surpassant les méthodes d'agrégation au niveau des logits comme Super Learner de 0,5 % en moyenne.

5. Signification et Revendications

L'article affirme que la redondance latente dans les ViT est un atout bénéfique plutôt qu'une limitation. En traitant la hiérarchie interne comme une série de sondes stables et redondantes, VFusion condense efficacement cette information pour former un jeton global qui dépasse souvent la capacité prédictive de n'importe quelle couche individuelle.

Les auteurs soulignent que VFusion offre une alternative robuste et efficace aux méthodes d'ensemblage horizontal. Contrairement à l'ensemblage horizontal, qui nécessite l'accès à plusieurs modèles pré-entraînés diversifiés (souvent indisponibles dans des domaines spécialisés comme l'imagerie médicale) et entraîne des coûts de calcul élevés, VFusion opère au sein d'un seul squelette gelé. Il fournit un moyen fondé pour maximiser l'utilité des modèles pré-entraînés prêts à l'emploi sans nécessendre de changements architecturaux ou de réglages fins (fine-tuning) étendus du squelette.

Le travail conclut que le « signal vertical » au sein d'un seul ViT est substantiel et que l'agrégation de ces représentations via la compression au niveau des caractéristiques est une stratégie supérieure à la simple sélection de couches ou à la moyenne des logits, particulièrement pour les tâches d'images dégradées ou de précision fine.