💻 computer science

PRiSM: Prototype Regularization for Few-Shot VLMs

L'article introduit PRiSM, une méthode de régularisation par prototypes sans entraînement dotée d'une nouvelle perte multi-termes et d'un optimiseur Majorize-Minimize efficace, qui améliore considérablement la robustesse des modèles vision-langage en apprentissage à quelques exemples face à des défis réalistes tels que le déséquilibre des classes et la variation du nombre de classes là où les méthodes de l'état de l'art actuel échouent.

Auteurs originaux : Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent à reconnaître les animaux. Vous ne voulez pas passer des années à lui montrer des millions d'images pour un nouvel être, comme un « fluff-puff », mais plutôt lui montrer seulement quelques exemples de cette nouvelle créature et le laisser comprendre le reste. C'est le monde des Modèles Vision-Langage (VLM). Considérez ces modèles comme une immense bibliothèque où les images et les mots sont déjà triés dans un système de classement partagé. Le robot sait que le mot « chien » et l'image d'un chien habitent le même quartier de cette bibliothèque.

Habituellement, pour apprendre un nouveau tour au robot, les scientifiques utilisent une méthode appelée apprentissage à partir de peu d'exemples (few-shot learning). Ils donnent au robot un petit « ensemble de support » — juste une poignée d'exemples étiquetés (disons, 4 ou 16 photos d'un animal spécifique) — et lui demandent d'ajuster sa carte interne pour reconnaître cet animal dans de nouvelles photos inédites. Pendant longtemps, les scientifiques ont testé ces méthodes en utilisant une configuration très propre et ordonnée : ils s'assuraient que chaque animal dans le test avait exactement le même nombre d'exemples. C'était comme une salle de classe où chaque élève levait la main exactement une fois. Mais dans le monde réel, la vie est désordonnée. Certains animaux sont partout (comme les pigeons), tandis que d'autres sont rares (comme les léopards des neiges). Cet article pose une question simple mais cruciale : qu'arrive-t-il au cerveau de notre robot lorsque nous arrêtons de prétendre que le monde est parfaitement équilibré et que nous commençons à le nourrir avec la réalité désordonnée et inégale du monde réel ?

Le Problème : Le Piège du « Vote à la Majorité »

Les chercheurs, une équipe de l'ÉTS Montréal, ont découvert que nos professeurs de robots actuels sont étonnamment fragiles. Ils ont découvert que lorsque vous testez ces modèles sur des données réalistes où certaines classes sont communes et d'autres rares, les modèles commencent à échouer de manière spectaculaire. En fait, ils ont trouvé un paradoxo étrange : donner plus d'exemples au robot le rendait souvent moins performant.

Imaginez que vous essayiez d'apprendre les noms de tous les élèves d'une école. Si vous ne rencontrez que 4 élèves et que 3 d'entre eux font partie du même groupe de populaires, vous pourriez commencer à penser que tout le monde dans l'école ressemble à ce groupe. Si vous rencontrez ensuite 16 élèves et que 15 d'entre eux font toujours partie de ce même groupe, votre confusion s'aggrave encore. Vous avez si bien appris à reconnaître la « majorité » que vous avez complètement oublié comment repérer la « minorité ».

L'article montre que les méthodes actuelles « sans entraînement » (qui sont censées être intelligentes et efficaces) tombent dans ce pièux. Elles reposent sur un « prototype » — une moyenne mentale de ce à quoi ressemble une classe. Lorsque les données sont déséquilibrées, la moyenne mentale est entraînée vers la classe majoritaire, brouillant les lignes entre les différents animaux. Plus vous ajoutez de données, plus ce « tirage » devient fort, provoquant l'identification erronée d'animaux rares comme étant des animaux communs.

La Solution : PRiSM (Le « Coach de l'Équité »)

Pour corriger cela, les auteurs introduisent un nouvel outil appelé PRiSM (Prototype Regularization for Few-Shot VLMs). Considérez PRiSM comme un coach strict mais juste qui intervient après que le robot a fait une première tentative.

Voici comment fonctionne PRiSM, en utilisant une analogie de cour de récréation :

Le Désordre Initial : Le robot regarde les quelques images qu'il possède et dessine une « carte mentale » de l'endroit où chaque animal appartient. Comme il y a trop d'images des animaux communs, la carte est écrasée et désordonnée ; les animaux rares sont poussés sur le bord.
L'Intervention du Coach : PRiSM ne jette pas le travail du robot. Au lieu de cela, il applique un ensemble de règles (un « régularisateur ») pour ranger la carte.
- Règle 1 (Rester Fidèle) : « Ne t'éloigne pas trop de ce que tu as vu. » Il garde les nouvelles suppositions du robot proches des images réelles qui lui ont été montrées.
- Règle 2 (Respecter l'Original) : « N'oublie pas ce que tu savais déjà. » Il s'assure que le robot n'oublie pas complètement ses connaissances pré-entraînées originales.
- Règle 3 (Garder ses distances) : « Assure-toi que les groupes ne se chevauchent pas. » C'est la partie la plus importante. PRiSM repousse activement les « clusters mentaux » des différents animaux les uns des autres. Si le robot confond un « chat » avec un « chien » parce qu'il y avait trop de chiens dans l'ensemble d'entraînement, PRiSM pousse physiquement le cluster du « chat » loin du cluster du « chien » pour créer un espace clair entre eux.

L'équipe a également inventé une astuce mathématique spéciale et super rapide (appelée un optimiseur block Majorize-Minimize) pour effectuer ce travail de nettoyage. C'est comme avoir un GPS qui calcule instantanément la vitesse parfaite pour conduire sans avoir besoin de tester différentes vitesses au préalable. Cela rend tout le processus incroyablement rapide et efficace, ne nécessant aucune donnée de « test » supplémentaire pour ajuster les paramètres.

Ce Qu'Ils Ont Découvert

Les résultats ont été surprenants et puissants. Les auteurs ont testé PRiSM sur 10 ensembles de données différents, allant de la reconnaissance des fleurs et des voitures à la détection de textures et de scènes.

Le Paradoxe du « Plus de Données » Confirmé : Dans leurs tests déséquilibrés et réalistes, ils ont constaté que les méthodes standards (comme Tip-Adapter et APE) devenaient en fait moins performantes à mesure qu'elles augmentaient le nombre de clichés d'entraînement de 2 à 16. Par exemple, sur certains ensembles de données, l'ajout de plus d'images a fait chuter la précision de plus de 30 %.
La Solution Magique : Lorsqu'ils ont ajouté PRiSM par-dessus ces méthodes défaillantes, la précision a grimpé en flèche. Dans les cas les plus extrêmes de déséquilibre, PRiSM a transformé un système défaillant en un système de premier plan. Par exemple, sur un ensemble de données présentant un déséquilibre sévère, PRiSM a augmenté la précision d'une méthode de plus de 40 points de pourcentage (passant d'environ 21 % à plus de 60 %).
Cela Fonctionne Partout : PRiSM n'était pas seulement un pansement pour les modèles faibles. Il a même aidé les méthodes existantes les plus fortes (comme ProKeR) à être légèrement plus performantes, prouvant que le problème n'était pas le cerveau du robot, mais la façon désordonnée dont les classes étaient organisées.

Les auteurs suggèrent que la raison principale pour laquelle ces modèles échouent dans le monde réel n'est pas qu'ils ne sont pas assez intelligents, mais que la façon dont nous les testons (en supposant un équilibre parfait) cache une faille critique : le biais de prototype. Lorsque les données sont inégales, la « moyenne mentale » du robot est biaisée, et PRiSM est l'outil qui la redresse.

Pourquoi Cela Importe

Cet article suggère que pour que l'IA soit véritablement utile dans le monde réel, nous devons arrêter de la tester dans la « salle de classe parfaite » et commencer à la tester dans la « cour de récréation désordonnée ». En introduisant un benchmark qui imite le déséquilibre du monde réel et un outil (PRiSM) qui corrige la confusion qui en résulte, les auteurs montrent que nous pouvons construire une IA suffisamment robuste pour gérer la distribution inégale des données que nous rencontrons réellement chaque jour. Ils n'ont pas seulement trouvé une meilleure façon de régler un robot ; ils ont trouvé un moyen de rendre le robot plus équitable, garantissant qu'il prête attention tant aux rares qu'aux communs.

Résumé Technique : PRiSM - Régularisation de Prototypes pour les VLM Few-Shot

Énoncé du Problème

L'article identifie deux limitations critiques des méthodes actuelles d'adaptation few-shot sans entraînement (training-free) pour les modèles de vision-langage (VLM) :

Protocoles d'Évaluation Irréalistes : Les benchmarks standards reposent sur des ensembles de support et de requête équilibrés par classe. Cette hypothèse masque un sévère biais de prototype qui se produit dans des scénarios réels où les distributions de données sont naturellement asymétriques (déséquilibre des classes) et où l'ensemble des classes observées peut être incomplet.
Dégradation avec l'Augmentation des Données : Contrairement aux hypothèses classiques du few-shot, les auteurs observent que sous un régime de déséquilibre de classes réaliste, l'augmentation du nombre de shots (échantillons étiquetés) dégrade souvent la performance des méthodes de pointe sans entraînement. Au lieu d'affiner les frontières de décision, des échantillons supplémentaires provenant de distributions déséquilibrées amplifient le biais vers les classes majoritaires, entraînant une distorsion des prototypes et une augmentation de la confusion inter-classes.

Les méthodes existantes (ex. : Tip-Adapter, APE, GDA, ProKeR) nécessitent souvent un réglage d'hyperparamètres spécifique à la tâche via des ensembles de validation — une pratique qui viole l'hypothèse du few-shot lorsque de tels ensembles sont indisponibles ou coûteux à annoter. De plus, ces méthodes manquent de mécanismes pour corriger le biais inhérent à l'estimation des prototypes causé par des distributions de support asymétriques.

Méthodologie : PRiSM

Les auteurs proposent PRiSM (Prototype Regularization for Few-Shot VLMs), un cadre plug-and-play conçu pour rectifier les prototypes de classes biaisés sans nécessiter d'ensemble de validation.

1. Fonction d'Objectif

PRiSM optimise une nouvelle fonction de perte multi-termes pour apprendre des prototypes régularisés $w$ à partir des prototypes $a$ d'un classificateur de base. L'objectif $L(w, \phi)$ combine trois termes :
$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$
Où :

Alignement des Caractéristiques de Support ( $\beta$ ) : Encourage le prototype rectifié $w_c$ à s'aligner avec la moyenne des caractéristiques visuelles $\mu_c(\phi)$ de l'ensemble de support, assurant la cohérence avec la distribution de données observée.
Fidélité au Modèle de Base ( $\gamma$ ) : Ancre le prototype rectifié au prototype de base original $a_c$ , empêchant un écart substantiel par rapport à la connaissance zero-shot pré-entraînée.
Séparation Inter-Classes ( $\lambda$ ) : Un régularisateur par paire qui maximise la distance entre les différents prototypes de classes, réduisant l'interférence et améliorant la séparabilité sous des conditions de déséquilibre.

L'optimisation implique deux blocs de variables : les prototypes corrigés $w$ et les paramètres de l'encodeur de vision $\phi$ .

2. Stratégie d'Optimisation : Block Majorize-Minimize (MM)

Pour résoudre l'objectif non convexe de manière efficace, les auteurs introduisent un optimiseur Block Majorize-Minimize (MM) qui alterne entre :

Rectification de Prototype : Mise à jour de $w$ tout en maintenant $\phi$ fixe. Puisque l'objectif est quadratique par rapport à $w$ , les auteurs dérivent une constante de Lipschitz par bloc $\rho$ valide (une borne sur la norme spectrale de la Hessienne). Cela permet un pas de taille implicite de $1/\rho$ , éliminant le besoin de recherches par grille coûteuses pour les taux d'apprentissage. La borne est calculée efficacement en utilisant le théorème des cercles de Gershgorin.
Adaptation de Caractéristiques : Mise à jour de $\phi$ tout en maintenant $w$ fixe. Cela est effectué via une rétropropagation standard en utilisant LoRA (Low-Rank Adaptation) pour garantir l'efficacité des paramètres, ne mettant à jour qu'un petit sous-ensemble des couches de l'encodeur de vision.

Principales Contributions

Benchmarking Réaliste : Les auteurs exposent les limites des protocoles few-shot standards en introduisant un benchmark qui fait varier le déséquilibre des classes et le nombre effectif de classes en utilisant l'échantillonnage de Dirichlet. Ils démontrent que les méthodes standards se dégradent à mesure que le nombre de shots augmente sous un déséquilibre sévère.
Cadre PRiSM : Un module de régularisation de prototype plug-and-play et sans validation, qui peut être déployé sur n'importe quel modèle de base sans entraînement. Il atténue efficacement la dominance des classes majoritaires tout en préservant la structure discriminante de l'espace d'encodage du VLM.
Optimisation Efficace : La dérivation d'une constante de Lipschitz par bloc pour la mise à jour du prototype, permettant une sélection de pas de taille fondée sur la théorie et sans validation, ce qui est efficace en termes de calcul.
Validation Empirique : Expérimentations étendues montrant que PRiSM améliore significativement les performances de diverses méthodes de base (Tip-Adapter, APE, GDA, ProKeR), particulièrement dans les scénarios de déséquilibre de classes sévère et de grand nombre de classes.

Résultats Expérimentaux

Les expériences ont été menées sur 10 jeux de données de classification d'images divers (ex. : Oxford-Pets, EuroSAT, Food-101) en utilisant CLIP avec un backbone ViT-B/16.

Déséquilibre Sévère (Nombre Élevé de Classes Effectives) : Sous un déséquilibre sévère, les méthodes de base voient souvent leur performance décliner à mesure que le nombre de shots augmente (ex. : Tip-Adapter est passé d'environ 63 % à 33 % de précision en passant de 2 à 16 shots). PRiSM a inversé cette tendance, améliorant la précision moyenne de Tip-Adapter de +35,05 % dans le cas de 16 shots et de +23,22 % dans le cas de 4 shots.
Configurations Proches de l'Équilibre : Même dans des conditions quasi-équilibrées, PRiSM a apporté des gains constants, Tip-Adapter s'améliorant de +29,79 % dans le cas de 16 shots.
Faible Nombre de Classes Effectives : Dans les régimes avec moins de classes effectives, PRiSE a tout de même apporté des améliorations significatives, particulièrement pour les bases les plus faibles, confirmant que le biais de prototype persiste même avec des espaces d'étiquettes réduits.
Comparaison : PRiSM a permis à des méthodes plus simples (comme Tip-Adapter) d'atteindre des niveaux de performance comparables ou supérieurs à des méthodes plus complexes de l'état de l'art (comme ProKeR) une fois les prototypes régularisés.
Analyse du Taux d'Apprentissage : Le pas de taille basé sur la constante de Lipschitz proposé s'est avéré correspondre à la région de performance optimale à travers les jeux de données sans nécessiter de réglage exhaustif des hyperparamètres, validant ainsi la dérivation théorique.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement de l'adaptation few-shot des VLM n'est pas nécessairement le mécanisme d'adaptation lui-même, mais la qualité des prototypes de classes utilisés pour la prédiction, qui sont souvent biaisés par des données déséquilibrées.

Les auteurs soutiennent que :

Le Biais de Prototype est un Mode d'Échec Commun : Le biais induit par le déséquilibre agit comme un mode d'échec systématique à travers diverses méthodes d'adaptation. Rectifier ce biais peut systématiquement élever la performance de diverses approches.
L'Adaptation Sans Validation est Réalisable : En dérivant un pas de taille fondé sur la théorie et en utilisant une perte multi-termes qui équilibre alignement, fidélité et séparation, PRiSM atteint des performances compétitives sans l'hypothèse irréaliste d'avoir accès à un ensemble de validation étiqueté.
Réalisme dans l'Évaluation : Le benchmark proposé souligne que les affirmations actuelles de l'état de l'art peuvent être gonflées par des hypothèses de classes équilibrées irréalistes. Les auteurs préconisent des protocoles d'évaluation reflétant les distributions asymétriques du monde réel pour favoriser le développement de techniques d'adaptation plus robustes.

L'article conclut que PRiSM offre une correction simple mais efficace qui régularise la géométrie des prototypes, préservant la fidélité sémantique tout en empêvant l'effondrement vers les classes dominantes, améliorant ainsi la robustesse dans les régimes few-shot difficiles.