Hidden Clones: Exposing and Fixing Family Bias in Vision-Language Model Ensembles

1. Problématique : Le Biais de Famille dans les Ensembles de VLM

L'assemblage (ensembling) de modèles de vision-langage (VLM) provenant de différents fournisseurs est une stratégie standard pour maximiser la précision dans les tâches de réponse aux questions visuelles (VQA). La théorie (théorème du jury de Condorcet) suggère que le vote majoritaire améliore la performance tant que les erreurs des modèles sont indépendantes.

Cependant, l'article identifie un problème structurel majeur :

• Corrélation des erreurs : Les modèles appartenant à la même famille architecturale (ex: variantes de Qwen2.5-VL, InternVL, LLaVA) partagent des données d'entraînement, des architectures et des méthodologies de pré-entraînement. Cela entraîne des erreurs fortement corrélées au sein d'une même famille.
• Illusion de diversité : Les méthodes d'assemblage standard traitent tous les modèles comme des électeurs indépendants. En réalité, une famille dominante (ex: 5 modèles sur 17) peut imposer un consensus erroné, annulant les avantages de l'assemblage.
• Conséquence critique : Cette corrélation réduit la dimensionnalité effective de l'ensemble de 17 modèles à seulement 2,5 à 3,6 électeurs indépendants.
• Le "Palier Trompeur" (Misleading Tier) : L'étude identifie une catégorie de questions (1,5 % à 6,5 % du total) où le meilleur modèle individuel a la bonne réponse, mais où le vote majoritaire (calibré ou non) échoue à 0 % car les modèles de la même famille se trompent de manière synchronisée.

2. Méthodologie et Approches Proposées

Les auteurs analysent 17 VLMs appartenant à 8 familles architecturales sur trois benchmarks : VQAv2, TextVQA et GQA. Ils proposent trois méthodes pour corriger ce biais :

A. Vote Hiérarchique Familial (HFV - Hierarchical Family Voting)

• Principe : Une méthode sans entraînement (training-free) qui agrège les prédictions en deux étapes.
  1. Agrégation intra-famille : Chaque famille vote d'abord pour produire un seul vote familial (en utilisant un vote calibré interne).
  2. Vote inter-familles : Les votes des familles sont ensuite combinés, chaque famille ayant un poids égal (ou pondéré par sa précision globale).
• Objectif : Décorréler le pool de votes en réduisant l'influence disproportionnée des familles nombreuses.
• HFV-sharp : Une variante qui applique un exposant $\alpha > 1$ aux poids des familles pour pénaliser les familles faibles (dont la précision est proche du hasard) et éviter la dilution de la qualité.

B. Vote Calibré Corrigé par la Redondance et Pondéré par la Qualité (QualRCCV)

• Principe : Une méthode sans entraînement qui ajuste les poids de chaque modèle individuellement dans un vote unique.
• Formule : Le poids d'un modèle $m$ est pondéré par :
  $$w_m \cdot \frac{q_{F(m)}^\gamma}{|F(m)|^\rho}$$
  Où $q_{F(m)}$ est la précision du meilleur membre de la famille, $|F(m)|$ la taille de la famille, et $\rho, \gamma$ des hyperparamètres.
• Avantage : Réduit le poids des familles nombreuses (correction de redondance) tout en préservant l'influence des familles contenant des modèles de haute qualité.

C. Notation Apprise des Candidats (LCS - Learned Candidate Scoring)

• Principe : Une méthode apprise (supervisée) qui ne choisit pas simplement une méthode d'agrégation, mais réévalue chaque réponse candidate individuellement.
• Mécanisme :
  1. Génération des $K$ meilleures réponses candidates via QualRCCV.
  2. Extraction de caractéristiques par réponse : nombre de modèles soutenant la réponse, diversité familiale des soutiens, qualité moyenne des soutiens, marge de consensus, etc.
  3. Un classifieur (LightGBM) entraîné par validation croisée prédit la probabilité que la réponse soit correcte.
• Innovation : Contrairement aux méthodes de routage qui choisissent une méthode globale, LCS sélectionne la meilleure réponse parmi toutes les options, exploitant la diversité des signaux.

3. Résultats Clés

Les résultats sont présentés sur les trois benchmarks avec des intervalles de confiance bootstrap (95 %) et des tests de significativité statistique.

• Analyse de la structure familiale :

  • La corrélation des erreurs intra-famille est de 0,67 contre 0,53 inter-famille.
  • L'analyse spectrale confirme que les familles architecturales peuvent être découvertes automatiquement à partir des erreurs, sans étiquettes.
  • Sur le "Palier Trompeur", le vote calibré standard tombe à 0 %, tandis que HFV récupère +18 à +26 points de pourcentage (pp).

• Performances des méthodes :

  • QualRCCV : Première méthode sans entraînement à surpasser le vote calibré sur les trois benchmarks simultanément :
    • VQAv2 : +0,17 % (p=0,003)
    • TextVQA : +0,21 % (p=0,034)
    • GQA : +0,31 % (p=0,003)
  • LCS (Meilleure performance globale) :
    • VQAv2 : +0,68 % (p<0,0001)
    • TextVQA : +0,61 % (p<0,0001)
    • GQA : +2,45 % (p<0,0001).
    • Note importante : Sur GQA, le vote calibré standard (64,02 %) est inférieur au meilleur modèle individuel (64,25 %) à cause des erreurs corrélées. LCS remonte à 66,47 %, surpassant le meilleur modèle individuel de plus de 2,2 points.
  • HFV-sharp : Obtient les meilleurs résultats sans entraînement sur VQAv2 (87,19 %, +0,49 %), mais dégrade légèrement TextVQA car il égalise trop l'influence de familles faibles (ex: InternVL3) dans un contexte où la diversité intra-famille est cruciale pour l'OCR.

• Généralisation :

  • LCS entraîné sur l'ensemble de validation de VQAv2 atteint 87,83 % sur le test standard (EvalAI) avec seulement 12 modèles (5 familles), confirmant sa capacité de généralisation.

4. Signification et Contributions

1. Preuve empirique du biais familial : L'article démontre que l'hétérogénéité des architectures est plus importante que le nombre de modèles. Un ensemble équilibré (1 modèle par famille) surperforme souvent un ensemble déséquilibré de 17 modèles, car la redondance intra-famille est nuisible.
2. Identification d'une pathologie structurelle : La découverte du "Misleading tier" révèle que les méthodes d'assemblage standards échouent catastrophiquement sur un sous-ensemble spécifique de questions, non pas par manque de capacité, mais à cause d'un biais de consensus.
3. Solutions pratiques et robustes :
   • QualRCCV offre une solution "sans entraînement" universellement sûre pour corriger le biais de redondance et de qualité.
   • LCS établit un nouvel état de l'art en apprenant à pondérer les réponses au niveau de la candidate, démontrant que la diversité des signaux (famille, marge, qualité) peut être exploitée dynamiquement.
4. Implications pour la recherche : L'étude suggère que pour les compétitions VQA et les déploiements réels, il faut privilégier la diversité architecturale plutôt que la quantité brute de modèles, et utiliser des mécanismes d'agrégation conscients de la structure familiale pour éviter les erreurs de consensus corrélées.

En conclusion, ce travail fournit une analyse approfondie des limites des ensembles de VLM actuels et propose des méthodes concrètes pour débloquer les performances en traitant la corrélation des erreurs comme une variable centrale plutôt que comme un bruit négligeable.