💻 computer science

When More Foundation Models Means Less: Diagnosing and Addressing Multi-View Fusion Failure

Cet article identifie que la fusion indiscriminée de plusieurs modèles de fondation dégrade souvent les performances en raison de la redondance et du désalignement, et propose KAGES, une méthode de sélection gourmande efficace et sensible aux étiquettes qui optimise la composition de l'ensemble de vues pour atteindre une précision en aval supérieure avec un sous-ensemble d'encodeurs compact et aligné sur la tâche.

Auteurs originaux : Yibo Liu, Bowen Jiang

Publié 2026-08-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yibo Liu, Bowen Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

À l'ère moderne de l'intelligence artificielle, les chercheurs ont accès à une vaste bibliothèque de programmes informatiques pré-entraînés, souvent appelés modèles de fondation. Ce sont des systèmes massifs qui ont déjà appris à reconnaître des formes, à comprendre le langage ou à interpréter des images en étudiant d'énormes quantités de données. Voyez-les comme des outils experts qui ont été aiguisés mais qui n'ont pas encore été appliqués à un travail spécifique. Pendant des années, l'approche standard pour résoudre un nouveau problème avec ces outils consistait à combiner autant d'entre eux que possible, en partant du principe que plus d'informations mènent toujours à de meilleurs résultats. La logique était simple : si un outil voit une image d'une certaine manière et qu'un autre la voit d'une autre façon, les mettre ensemble devrait créer une vue parfaite et exhaustive. Cette idée, connue sous le nom d'apprentissage multi-vues, a longtemps été une pierre angulaire de la manière dont les scientifiques tentent de construire des systèmes plus intelligents en fusionnant différentes sources d'information.

Cependant, une nouvelle étude remet en question cette croyance fondamentale. Des chercheurs de l'Université des postes et télécommunications de Pékin ont découvert que lorsque l'on commence à mélanger un grand nombre de ces experts pré-entraînés, en ajouter davantage ne rend pas nécessairement le résultat final meilleur. En fait, après un certain point, l'ajout d'un autre outil peut en réalité rendre le système moins performant. L'équipe a découvert que la meilleure performance est généralement obtenue en sélectionnant un petit groupe spécifique de ces modèles plutôt qu'en utilisant une vaste collection aléatoire. Ils ont observé que si les premiers modèles ajoutés au mélange apportent des perspectives fraîches et utiles, les ajouts suivants répètent souvent des informations que le système possède déjà ou introduisent des signaux déroutants qui n'ont rien à voir avec la tâche en question. Ce phénomène crée une courbe où la performance augmente rapidement, atteint un sommet, puis commence à chuter à mesure que davantage de modèles sont forcés dans le mélange.

Pour résoudre ce problème, les chercheurs ont développé une nouvelle méthode appelée KAGES, qui agit comme un sélecteur intelligent pour ces modèles d'IA. Au lieu de fusionner aveuglément chaque outil disponible, KAGES évalue soigneusement quels modèles spécifiques devraient être combinés et combien d'entre eux devraient être utilisés. La méthode fonctionne en mesurant à quel point l'information combinée d'un groupe de modèles s'aligne avec les bonnes réponses pour une tâche spécifique, sans avoir besoin d'entraîner un nouveau système pour les tester d'abord. La méthode ajoute de manière gourmande le prochain meilleur modèle qui offre l'information nouvelle et utile la plus importante, tout en évitant ceux qui se contentent de répéter ce qui est déjà connu ou qui ajoutent du bruit. Cette approche permet au système de cesser d'ajouter des modèles exactement au moment où l'information supplémentaire cesse d'être utile, garantissant que la combinaison finale soit compacte et hautement efficace.

L'équipe a testé cette idée à travers une grande variété de tâches, incluant la reconnaissance d'objets dans des images, l'identification de textures et même la compréhension du langage. Dans chaque cas, ils ont constaté que l'hypothèse du « plus c'est mieux » échouait. Sur certaines tâches, la performance a atteint son sommet après la combinaison de seulement trois ou quatre modèles, et l'ajout de plus de modèles a fait chuter la précision. Par exemple, sur une tâche impliquant la reconnaissance de panneaux de signalisation, le système a obtenu les meilleurs résultats avec un ensemble très restreint de modèles, tandis que sur une tâche de géolocalisation, un seul modèle était déjà si bon que l'ajout d'autres n'apportait aucun bénéfice et nuisait parfois aux performances. Les chercheurs ont également noté que le nombre idéal de modèles change en fonction de la quantité de données disponibles ; avec plus de données, le système peut gérer quelques modèles supplémentaires avant que la performance ne commence à décliner, mais le sommet est toujours atteint avec un nombre étonnamment restreint.

Les résultats ont montré que KAGES surpasse systématiquement les autres méthodes, y compris celles qui tentent de combiner tous les modèles disponibles ou celles qui choisissent simplement des modèles qui sont différents les uns des autres. En se concentrant sur la qualité de la combinaison plutôt que sur la quantité, KAGES a pu trouver le point d'équilibre où les modèles travaillent ensemble le plus efficacement. Dans de nombreux cas, il a performé presque aussi bien qu'un sélecteur théorique parfait qui devrait tester toutes les combinaisons possibles pour trouver la meilleure, mais il l'a fait beaucoup plus rapidement et sans avoir besoin d'entraîner de nouveaux systèmes pour chaque test. Cette découverte suggère que l'avenir de la construction de systèmes d'IA puissants ne réside pas dans l'accumulation de plus d'outils, mais dans la sélection intelligente et méticuleuse des bons. À mesure que la bibliothèque des modèles d'IA disponibles continue de croître, la capacité de choisir la petite équipe d'experts parfaite deviendra plus importante que jamais, transformant le défi de la gestion de vastes ressources en une opportunité de précision et d'efficacité.

Résumé technique : Quand plus de modèles de fondation signifie moins

Définition du problème : Composition de l'ensemble de vues dans de grands ensembles

L'apprentissage multi-vues traditionnel repose sur l'hypothose d'un ensemble restreint et prédéfini de vues complémentaires (par exemple, provenant de différents capteurs ou de caractéristiques artisanales) qui améliorent la représentation discriminante. Cependant, la prolifération des modèles de fondation pré-entraînés a fondamentalement élargi l'espace des vues candidates. Dans le cadre des encodeurs gelés, chaque modèle pré-entraîné induit une vue de représentation distincte, créant un vaste réservoir hétérogène d'encodeurs couvrant diverses architectures, objectifs de pré-entraînement et modalités.

Ce changement transforme le problème de conception, passant de la simple fusion d'un ensemble fixe de vues à la composition d'un ensemble de vues : déterminer quels encodeurs combiner à partir d'un grand réservoir et combien en inclure. Les observations empiriques révèlent que les performances en aval ne s'améliorent pas de manière monotone avec le nombre d'encodeurs fusionnés. Au contraire, les performances atteignent généralement un sommet après l'inclusion d'un petit sous-ensemble, puis déclinent. Ce phénomène de « pic suivi d'un déclin » est piloté par deux modes de défaillance :

Redondance de représentation : Les nouveaux encodeurs répètent des informations déjà capturées par l'ensemble actuel.
Désalignement tâche-modèle : Les nouveaux encodeurs introduisent des indices non pertinents pour la tâche, où la diversité seule n'équivaut pas à l'efficacité.

Les stratégies de sélection existantes sont insuffisantes pour ce régime. Les scores de transférabilité par encodeur ignorent les interactions entre encodeurs ; les critères basés sur la diversité privilégient la différence plutôt que l'utilité de la tâche ; et la recherche exhaustive de sous-ensembles est informatiquement irréalisable pour de grands réservoirs. L'article pose que la composition de l'ensemble de vues est un problème d'ordonnancement : un ordonnancement de haute qualité doit prioriser les encodeurs utiles afin que ses préfixes fournissent des ensembles fusionnés compétitifs sous des budgets de calcul variables.

Méthodologie : KAGES (Kernel-Alignment Greedy Encoder Selector)

Pour répondre au besoin d'un critère de sélection au niveau de l'ensemble sans entraînement, les auteurs proposent KAGES. KAGES est un sélecteur glouton (greedy) sensible aux étiquettes qui construit un ordonnancement d'encodeurs sans nécessendre l'entraînement de classificateurs en aval ou une recherche combinatoire de sous-ensembles.

Objectif central

KAGES définit l'utilité d'un ensemble fusionné $S$ en fonction de l'alignement entre son noyau de représentation et le noyau des étiquettes. Plus précisément, il utilise l'alignement de noyau centré (CKA).

Fonction d'utilité : $J(S) = U(\bar{F}_S, Y) - \tau \sum_{s \in S} \frac{d_s}{n}$ , où $U$ est le CKA entre le noyau de représentation conjoint $K_S$ et le noyau des étiquettes $K_Y$ . Le second terme est une pénalité de complexité optionnelle basée sur la dimension de l'encodeur $d_s$ .
Additivité : Sous une fusion de noyaux linéaires (concaténation de caractéristiques), le noyau fusionné est additif ( $K_S = \sum K_s$ ). Cela permet à KAGES d'évaluer les gains marginaux directement au niveau du noyau ( $O(n^2)$ par étape) sans ré-entraîner les modèles pour chaque sous-ensemble candidat.

Mécanisme de sélection

KAGES fonctionne de manière gloutonne :

Initialiser un ensemble vide $S$ .
À chaque étape, évaluer tous les encodeurs candidats $m \notin S$ par leur gain marginal de l'utilité de l'ensemble : $\Delta J(m | S) = J(S \cup \{m\}) - J(S)$ .
Sélectionner l'encodeur ayant le plus grand gain marginal et l'ajouter à $S$ .
Répéter jusqu'à ce que tous les candidats soient ordonnés.

Le critère de gain marginal admet une interprétation pertinence-redondance. L'algorithme favorise les candidats qui sont bien alignés avec les étiquettes (pertinence) tout en présentant un chevauchement de noyau limité avec les encodeurs déjà sélectionnés (redondance). Crucialement, le poids de la redondance est adaptatif, déterminé par l'alignement et la masse de l'ensemble actuel, plutôt que fixé a priori.

Garanties théoriques

L'article fournit une garantie théorique conditionnelle. Si l'utilité d'alignement est monotone et satisfait une condition de ratio de sous-modularité ( $\gamma$ ), le préfixe glouton de taille $k$ atteint une approximation de $(1 - e^{-\gamma})$ du sous-ensemble optimal de taille $k$ . De plus, l'article établit un mécanisme de « croisement unique gain-coût » (Théorème 1) expliquant le pic dépendant de l'ordre : à mesure que les encodeurs sont ajoutés, les gains marginaux diminuent tandis que les coûts de l'échantillon fini s'accumulent, provoquant finalement le déclin des performances.

Contributions clés

Nouvelle formulation : Recadre la fusion de modèles de fondation gelés à grande échelle comme un apprentissage multi-vues à grande échelle, formulant la composition de l'ensemble de vues comme un problème de conception central.
Caractérisation théorique : Fournit un compte de l'utilité marginale de l'échec de l'hypothèse « plus est mieux », identifiant un croisement gain-coût qui mène à des pics de performance dépendants de l'ordre et à des déclins ultérieurs.
Méthode de sélection scalable (KAGES) : Introduit un sélecteur sans entraînement et sensible aux étiquettes qui évalue les candidats via l'alignement de noyau marginal. Il évite l'ajustement répété en aval et offre des garanties d'approximation de préfixe conditionnelles.
Validation empirique étendue : Valide l'approche sur cinq régimes de reconnaissance (objet générique, fin, texture, géo-spatial, symbole structuré) en utilisant un réservoir de 10 à 15 encodeurs gelés couvrant cinq paradigmes de pré-entraînement (supervisé par le langage, auto-supervisé, génératif, supervisé par classe, expert de tâche).

Résultats expérimentaux

Les auteurs ont évalué KAGES sur cinq régimes de reconnaissance en utilisant un réservoir d'encodeurs gelés couvrant cinq paradigmes de pré-entraînement.

Performance : KAGES a systématiquement surpassé les méthodes concurrentes, y compris la fusion complète (Fuse-All), l'ordonnancement aléatoire, la sélection basée sur la diversité et des bases de sélection de sous-ensembles plus fortes (DPP, Submodular).
Métriques : Mesuré par l'AULC (Aire sous la courbe de précision par k) et l'Acc@k* (pic de précision). KAGES a obtenu l'AULC la plus élevée dans tous les protocoles (16-shot, 8-shot avec un plus grand réservoir, et données complètes).
Gains spécifiques : Sur la tâche de symboles structurés (GTSRB), KAGES a amélioré la fusion complète de +8,9 à +15,5 points. Sur les protocoles de données complètes, il a dépassé la fusion complète d'une moyenne de +3,3 points.
Comportement : KAGES parvient à « anticiper » les encodeurs à haute utilité (souvent des modèles auto-supervisés comme DINOv2 ou des modèles supervisés par classe comme ResNet-50) et rejette correctement les paradigmes adverses (modèles génératifs et experts de tâche) qui ne s'alignent pas avec la tâche de classification.
Généralisation : Le motif de pic-puis-déclin et la supériorité de KAGES ont été observés dans la recherche d'images et la fusion de LLM gelés (MMLU et ARC-Challenge), confirmant l'applicabilité de la méthode au-delà de la classification d'images standard.

Signification et revendications

L'article soutient qu'un apprentissage multi-vues efficace sur des réservoirs de modèles de fondation ne dépend pas de la fusion de plus d'encodeurs, mais de la sélection d'un ensemble compact et complémentaire de vues. Les auteurs affirment qu'à mesure que les hubs de modèles publics croissent, la question centrale de l'apprentissage multi-vues passe de « comment fusionner quelques éléments fixes » à « quels encodeurs fusionner ».

KAGES fournit une réponse sans entraînement et étayée par la théorie à cette question. En exploitant l'alignement de noyau, il offre un critère scalable au niveau de l'ensemble qui produit des ordonnancements d'encodeurs de haute qualité sans le coût computationnel de l'entraînement de prédicteurs en aval pour chaque sous-ensemble candidat. Le travail suggère que l'hypothèse « plus est mieux » est structurellement erronée à l'ère des modèles de fondation et qu'une composition explicite de l'ensemble de vues est nécessaire pour libérer le potentiel des réservoirs d'encodeurs hétérogènes.