Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era

Imaginez que vous essayiez de trouver une voiture spécifique dans une ville remplie de milliers de véhicules à l'apparence identique. C'est le travail de la « Ré-identification de Véhicules » (Re-ID), un superpouvoir pour les systèmes de trafic intelligents qui aide les caméras à suivre une voiture lorsqu'elle passe d'un coin de rue à un autre. Pendant des années, la recette secrète pour s'améliorer a été la « diversité ». Les ingénieurs pensaient que si vous construisiez une équipe d'experts différents pour observer la voiture, le groupe serait plus intelligent qu'une seule personne. Ils divisaient le travail : un expert pourrait regarder les roues, un autre le toit, et un troisième utiliserait un style de pensée complètement différent (comme un cerveau humain par rapport à un cerveau de robot) pour saisir les détails que les autres auraient manqués. L'idée fondamentale était que plus de variété signifiait moins d'erreurs. Mais que se passe-t-il lorsque vous donnez à votre équipe un cerveau de niveau génie pour commencer ? Ajouter des aides aide-t-il encore, ou cela ne fait-il que gêner ?

Ce document, écrit par Yu Wang et Hongyu Yang, plonge directement dans cette question. Ils ont testé un type de cerveau d'IA moderne et puissant (appelé « modèle de fondation ») sur la tâche de recherche de voitures. Au lieu de construire une équipe désordonnée de nombreux experts différents, ils ont demandé : « Et si nous utilisions simplement un expert vraiment, vraiment intelligent et que nous lui apprenions parfaitement ? » Ils ont mené une expérience massive sur deux ensembles de données de voitures célèbres, VeRi-Wild et VeRi-776, en utilisant un ensemble de règles strictes pour garantir que les résultats soient équitables. Ils n'ont pas seulement deviné ; ils ont tout mesuré avec des outils de haute précision, vérifiant si les différentes parties de leur IA voyaient réellement des choses différentes ou si elles ne faisaient que se répéter.

La réponse qu'ils ont trouvée est un véritable rebondissement pour le monde de l'IA. Ils ont découvert que lorsque vous commencez avec un modèle de fondation super-intelligent, l'ancienne règle du « plus c'est mieux » s'effondre. Lorsqu'ils ont essayé de combiner plusieurs « têtes » (différents experts) sur le même cerveau, les experts ne sont pas devenus une équipe diversifiée ; ils ont tous commencé à penser exactement la même chose. C'était comme embaucher cinq détectives qui ont tous décidé de regarder le même indice de la même manière. Même lorsqu'ils ont essayé de mélanger deux types de cerveaux totalement différents — un standard et un nouveau Transformer sophistiqué — le plus sophistiqué n'a rien pu ajouter d'utile. En fait, le cerveau unique, bien ajusté, était tout aussi performant que l'équipe entière, mais il était beaucoup plus rapide et moins coûteux à exploiter. Le document conclut que pour ce travail spécifique, avec ce type spécifique de cerveau intelligent, vous n'avez pas besoin d'un comité. Vous avez juste besoin d'une superstar, de la bonne recette d'entraînement et d'une astuce ingénieuse pour revérifier les résultats à la fin.

L'histoire du super-expert unique

Pendant près d'une décennie, la communauté de l'IA a été obsédée par l'idée que la diversité est reine. Dans le monde de la ré-identification de véhicules, cela signifiaait construire des systèmes complexes avec des architectures multi-branches. Imaginez une équipe d'inspection de voitures où une personne vérifie la plaque d'immatriculation, une autre vérifie la bande de roulement des pneus et une troisième vérifie la peinture. La théorie était qu'en divisant le travail en flux parallèles, le système capterait plus de détails qu'une seule personne. Certaines équipes ont même tenté la Fusion Cross-Backbone, ce qui revient à embaucher un détective humain et un détective robot pour travailler ensemble, en espérant que leurs différentes façons de voir le monde couvriraient leurs angles morts respectifs.

L'hypothèse était simple : des représentations plus diverses égalent de meilleurs résultats. Mais ce document pose une question cruciale : cela fonctionne-t-il toujours lorsque nous utilisons des « modèles de fondation » ?

Les modèles de fondation sont comme des génies pré-entraînés. Ils ont déjà lu l'intégralité d'Internet (ou, dans ce cas, des millions d'images) et appris à voir le monde avant même que vous ne leur demandiez de faire un travail spécifique. Les auteurs, Wang et Yang, se sont demandé : si vous commencez avec un cerveau qui est déjà presque parfait pour voir les voitures, reste-t-il de la place pour qu'un second cerveau aide ? Ou le premier cerveau sait-il déjà tout ce qu'il a besoin de savoir ?

L'expérience : Un cerveau contre toute l'équipe

Pour le découvrir, les auteurs ont organisé un combat équitable. Ils ont pris une IA puissante et pré-entraînée appelée DINOv3-ConvNeXt et lui ont donné une « recette » spécifique pour l'entraîner. Cette recette n'était pas magique ; c'était simplement un calendrier de formation soigneux, incluant le moment où geler son cerveau, quand le laisser apprendre librement et comment ajuster sa vitesse d'apprentissage.

Ils ont testé ce cerveau unique sur deux ensembles de données majeurs :

1. VeRi-Wild : Une vaste collection d'images de voitures comprenant des milliers de voitures différentes.
2. VeRi-776 : Un ensemble d'images légèrement plus petit, mais très complexe, utilisé pour voir si l'IA peut se généraliser à de nouvelles situations.

Ils ont comparé leur cerveau unique, bien entraîné, contre les équipes existantes les plus fortes qui utilisaient des branches multiples et même des métadonnées (informations supplémentaires comme les angles de caméra).

Le résultat : Le cerveau unique a gagné. Ou plutôt, il a fait match nul.
Le modèle DINOv3-ConvNeXt unique, avec la bonne recette d'entraînement, a atteint un score de précision de 88,19 mAP (une mesure de la qualité de la recherche) sur l'ensemble de données VeRi-Wild Small. Cela correspondait aux performances des systèmes multi-branches les plus complexes qui reposent sur des métadonnées supplémentaires. Lorsqu'ils ont ajouté une étape de « re-ranking » (une façon ingénieuse de revérifier les meilleurs résultats), le score est passé à 92,38 mAP.

Les auteurs ont découvert que le cerveau unique était aussi bon que toute l'équipe, mais qu'il était 2,8 fois plus rapide et nécessitait 3 fois moins de calculs (FLOPs).

Le mythe de la « diversité » brisé

La partie la plus excitante du document est la façon dont ils ont prouvé pourquoi l'approche par équipe a échoué. Ils ne se sont pas contentés de regarder le score final ; ils ont regardé à l'intérieur du cerveau de l'IA pour voir ce que les différentes « têtes » faisaient réellement.

1. L'effondrement du même squelette (L'armée de clones)
Lorsqu'ils ont placé quatre « têtes » différentes sur le même squelette (backbone), ils s'attendaient à ce qu'elles regardent différentes parties de la voiture. Au lieu de cela, ils ont découvert qu'au fur et à mesure que l'IA s'entraînait, les quatre têtes commençaient à penser exactement la même chose.

• L'analogie : Imaginez que vous embauchiez quatre détectives. Au début, l'un regarde les chaussures, l'autre le chapeau, un troisième le sac et un quatrième le visage. Mais au fil de leur travail, ils commencent tous à regarder le visage, car c'est là que se trouvent les indices les plus évidents. À la fin, ils regardent tous le même endroit.
• Les données : Les auteurs ont mesuré cela à l'aide d'un outil appelé similitude de Jaccard. Ils ont constaté que les différentes têtes étaient identiques à 83,5 % et 84,1 % dans ce qu'elles récupéraient. Elles étaient essentiellement des clones. Les combiner n'aidait pas car elles faisaient toutes les mêmes erreurs et trouvaient les mêmes correspondances.

2. L'échec du Cross-Backbone (Le duo incompatible)
Ensuite, ils ont tenté l'approche « Humain contre Robot ». Ils ont pris le cerveau ConvNeXt (l'« Humain ») et ont tenté de le fusionner avec un cerveau Transformer (le « Robot »). Ils savaient que ces deux types de cerveaux sont naturellement différents.

• La configuration : Ils ont gelé le cerveau ConvNeXt pour qu'il ne puisse pas changer, agissant comme une « ancre sémantique » (un point de référence stable), et n'ont entraîné que le Transformer et le module de fusion. Ils ont testé trois recettes d'entraînement différentes pour s'assurer que le Transformer n'était pas simplement paresseux.
• Le résultat : Le cerveau Transformer a eu du mal. Même avec le meilleur entraînement, il ne pouvait atteindre qu'environ 73 mAP, alors que le cerveau ConvNeXt était à 88,19 mAP.
• La fusion : Lorsqu'ils ont tenté de les combiner, le système ne s'est pas amélioré. En fait, l'« Oracle » (un système théorique parfait qui connaît la meilleure façon de mélanger les deux) a décidé de donner un poids nul au Transformer. Il était tellement moins performant que le système l'a complètement ignoré. La fusion n'a jamais ajouté plus de 0,11 mAP (un montant infime, statistiquement insignifiant) par rapport au cerveau unique.

Pourquoi cela s'est-il produit ?

Le document propose une explication claire : les trajectoires partagées.
Lorsque vous entraînez plusieurs têtes sur le même squelette, elles suivent le même chemin. Elles sont toutes poussées vers la même « solution » dans le monde mathématique. Elles ne restent pas diverses ; elles s'effondrent dans la redondance.
De plus, la distorsion par l'ajustement fin (Fine-Tuning Distortion) joue un rôle. Lorsque vous prenez un génie pré-entraîné et que vous lui apprenez un nouveau tour, sa « vision » originale du monde est déformée pour s'adapter à la nouvelle tâche. Les différences qui existaient au départ (comme les différentes façons dont un CNN et un Transformer voient les choses) sont effacées alors qu'ils essaient tous deux de résoudre le problème de la voiture de la même manière.

La frontière de l'efficacité

Les auteurs concluent que pour la ré-identification de véhicules à l'ère des modèles de fondation, la « frontière d'efficacité » (la meilleure performance possible pour le moins d'efforts) ressemble à ceci :

• Un squelette solide : Utilisez un modèle de fondation puissant et unique (comme DINOv3-ConvNeXt).
• La bonne recette : Entraînez-le soigneusement avec un calendrier spécifique (décroissance échelonnée du taux d'apprentissage).
• Re-ranking parcimonieux exact : Utilisez une astuce intelligente et efficace en termes de mémoire pour revérifier les meilleurs résultats.

Cette combinaison égale les performances des systèmes multi-branches les plus complexes, mais coûte une fraction de la puissance de calcul.

Ce que cela signifie pour l'avenir

Le document ne dit pas que la diversité n'est jamais utile. Il dit que pour cette tâche spécifique, avec ce type spécifique d'IA et à cette échelle de données, la diversité ne porte pas ses fruits. La règle du « plus c'est mieux » est brisée.

Les auteurs sont prudents et listent ce qui pourrait prouver qu'ils ont tort (leurs « falsificateurs ») :

• Si quelqu'un trouve un moyen d'entraîner un Transformer pour combler l'écart avec le cerveau ConvNeXt.
• S'ils utilisent un type de pré-entraînement complètement différent qui maintient les cerveaux distincts.
• S'ils essaient cela sur un ensemble de données beaucoup plus petit où le cerveau unique n'est pas encore « saturé ».

Mais pour l'instant, le message est clair : arrêtez de construire des équipes désordonnées d'experts. Au lieu de cela, trouvez un génie, enseignez-lui bien, et laissez-le faire le travail. C'est plus rapide, moins cher et tout aussi intelligent.