Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

1. Énoncé du problème

Les Modèles Multimodaux Unifiés (uMM) visent à réaliser à la fois la compréhension visuelle (perception) et la génération visuelle (synthèse) au sein d'un espace architectural et représentatif partagé. Bien que les benchmarks actuels évaluent ces capacités indépendamment (par exemple, VQA pour la compréhension, scores FID/CLIP pour la génération), ils échouent à évaluer la cohérence sémantique entre les deux tâches.

Le problème central : Un modèle peut exceller dans la réponse à des questions sur une image (compréhension) mais échouer à générer ces mêmes détails lorsqu'il est sollicité (génération), ou inversement. Cela indique une asymétrie structurelle dans la représentation interne du modèle. Des scores élevés sur des tâches isolées peuvent masquer un manque fondamental d'alignement sémantique unifié, où le modèle apprend à « halluciner » de manière cohérente à travers les tâches plutôt qu'à ancrer les deux dans une réalité partagée.

2. Méthodologie : XTC-Bench

Les auteurs introduisent XTC-Bench, un cadre d'évaluation ancré sur les graphes de scène, conçu pour mesurer la cohérence sémantique visuelle inter-tâches.

A. Pipeline de construction des données

• Source : 2 000 images soigneusement sélectionnées manuellement issues de COCO 2017 et Visual Genome.
• Extraction de graphe de scène : Un pipeline en deux étapes est utilisé pour créer un « Graphe de scène de référence » ($G$) pour chaque image :
  1. Détection d'objets et segmentation : Utilisation de kMaX-DeepLab pour la segmentation panoptique.
  2. Prédiction de relations : Utilisation de Fair-PSG pour prédire les relations par paires.
  3. Raffinement :
     • Filtrage : Des seuils de haute confiance sont appliqués pour éliminer les relations erronées.
     • Vérification par MVL : Un grand Modèle Vision-Langage (Qwen3-VL-235B) vérifie les relations et les attributs en utilisant les annotations de boîtes englobantes.
     • Génération d'attributs : Utilisation d'une approche « Double Vue » (Projecteur Sémantique + Recadrage Détaillé) pour assurer une reconnaissance précise des attributs d'objets spécifiques.
• Génération de prompts et de requêtes :
  • Prompts de génération : Le graphe de scène est linéarisé en un prompt en langage naturel pour la génération d'images.
  • Requêtes de compréhension : Des questions VQA alignées sur les faits sont générées pour chaque fait atomique (objet, attribut, relation) présent dans le graphe de scène.

B. Protocole d'évaluation

Pour un modèle donné $M$ :

1. Génération : Le modèle génère une image ($\hat{I}$) à partir du prompt. Cette image est analysée pour en extraire un graphe de scène prédit ($\hat{G}$) en utilisant le même pipeline d'extraction.
2. Compréhension : Le modèle répond aux questions VQA en se basant sur l'image originale.
3. Appariement : Un algorithme d'appariement de graphes sémantiques en deux étapes (utilisant l'algorithme hongrois) aligne les nœuds et les arêtes entre le graphe de vérité terrain $G$ et le graphe prédit $\hat{G}$.

C. Métriques

Le cadre introduit trois métriques clés :

1. Score de Génération ($G$) et Score de Compréhension ($U$) : Évalués à l'aide d'un LLM-comme-Juge (Qwen3-235B) qui note l'équivalence sémantique (échelle 0–5) entre la sortie du modèle et la vérité terrain, plutôt qu'un appariement exact de chaînes de caractères.
2. Accord Inter-tâches Continu (CCTA) :
   • Mesure la cohérence entre les réponses de génération et de compréhension pour les mêmes faits atomiques.
   • Formule : $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$.
   • Limitation : Un modèle qui est systématiquement faux (hallucinant la même erreur dans les deux tâches) obtiendra un score élevé en CCTA.
3. CCTA Pondéré par la Précision (AW-CCTA) :
   • Corrige le défaut d'« hallucination cohérente » en pondérant le terme de cohérence par la précision conjointe moyenne.
   • Formule : $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$.
   • Cette métrique pénalise les modèles qui sont incorrects de manière symétrique, récompensant uniquement ceux qui sont corrects de manière symétrique.

3. Contributions principales

1. Formalisation de la cohérence inter-tâches : Définition de la cohérence comme une propriété mesurable distincte de la précision autonome, introduisant CCTA et AW-CCTA pour quantifier la symétrie représentative.
2. Cadre XTC-Bench : Un benchmark entièrement automatisé, ancré sur les graphes de scène, qui évalue conjointement la génération, la compréhension et leur alignement sous une représentation structurée partagée.
3. Découverte empirique : Démonstration que les uMM actuels présentent une asymétrie structurelle systématique. Une haute performance dans une tâche ne garantit pas un alignement dans l'autre, et l'unification architecturale seule ne suffit pas à assurer la cohérence sémantique.

4. Résultats expérimentaux

Les auteurs ont évalué 8 modèles open-source (par exemple, BAGEL, OmniGen, Show-o, Janus-Pro) et 2 modèles commerciaux (Gemini, GPT-5).

• Corrélation faible : Il existe une relation prédictive faible entre la performance des tâches isolées ($G$ ou $U$) et la cohérence inter-tâches (AW-CCTA). Un modèle peut avoir des scores de génération élevés mais un faible alignement.
• Mode de défaillance « Hallucination cohérente » :
  • Des modèles comme MMaDA-8B ont affiché un CCTA brut élevé (0,630) mais un AW-CCTA proche de zéro (0,144). Cela indique que le modèle génère et comprend les mêmes faits incorrects, un mode de défaillance invisible pour les métriques standards.
  • BAGEL-7B et Gemini-2.5 Flash ont obtenu les AW-CCTA les plus élevés, indiquant une meilleure performance équilibrée.
• Insights architecturaux :
  • Les modèles purement autorégressifs (AR) (par exemple, OmniGen, Janus-Pro) ont montré le AW-CCTA moyen le plus élevé, suggérant qu'un objectif unifié de prédiction du token suivant couple naturellement les tâches de manière plus efficace.
  • Les modèles AR + Diffusion ont présenté l'écart le plus important entre génération et compréhension, indiquant une sensibilité au calibrage entre les deux composants.
  • Les modèles purement par diffusion ont montré une cohérence brute élevée mais une cohérence pondérée par la précision faible.
• Compréhension > Génération : La plupart des modèles ont obtenu des scores plus élevés en compréhension qu'en génération, suggérant que les objectifs d'entraînement actuels favorisent l'ancrage perceptuel par rapport à la fidélité générative.

5. Signification et perspectives futures

• Au-delà des métriques isolées : XTC-Bench prouve que l'évaluation des uMM nécessite de dépasser la précision isolée pour mesurer la cohérence de la représentation interne.
• Outil de diagnostic : La divergence entre CCTA et AW-CCTA sert de diagnostic critique pour les « hallucinations cohérentes », un mode de défaillance dangereux dans les applications critiques pour la sécurité.
• Orientation pour l'entraînement : Les résultats suggèrent que l'unification simple des architectures est insuffisante ; les recherches futures doivent se concentrer sur le couplage des objectifs d'apprentissage à travers les modalités pour garantir que la perception et la synthèse partagent le même fondement sémantique.
• Limites : Le cadre repose actuellement sur des modèles enseignants automatisés (qui peuvent hériter de biais) et des images statiques. Les travaux futurs devraient explorer le sondage en boîte blanche pour localiser les points de divergence dans l'architecture et étendre le cadre à la vidéo et à l'audio.

En conclusion, XTC-Bench fournit une méthode rigoureuse et reproductible pour exposer le « fossé sémantique » dans les modèles multimodaux unifiés, offrant une voie concrète vers le développement de modèles qui comprennent et génèrent véritablement une réalité cohérente.