Towards Annotation-Free Validation of MLLMs: A Vision-Language Logical Consistency Metric

Résumé technique : Vers une validation sans annotation des MLLM : Une métrique de cohérence logique vision-langage

Énoncé du problème
L'évaluation actuelle des grands modèles de langage multimodaux (MLLM) repose fortement sur des métriques basées sur la précision, dérivées d'annotations de vérité terrain (gt). Les auteurs soutiennent que cette approche présente deux limitations critiques :

1. Récompense d'hypothèses injustifiées : Les métriques de précision peuvent involontairement récompenser des modèles qui devinent correctement sans véritable compréhension, un phénomène exacerbé par le « raisonnement mirage » où les modèles prennent des décisions sans exploiter les entrées visuelles.
2. Inapplicabilité aux tâches nouvelles : Dans des domaines à haut risque ou des tâches nouvelles où les annotations de vérité terrain sont indisponibles, les métriques de précision traditionnelles ne peuvent pas être appliquées pour la validation ou la sélection de modèles.

De plus, les méthodes d'auto-cohérence existantes nécessitent souvent la construction de nouveaux jeux de données avec des annotations de vérité terrain spécifiques ou se concentrent principalement sur la suffisance logique (si $p$, alors $q$), négligeant la nécessité logique.

Méthodologie : Métrique de cohérence logique vision-langage (VL-LCM)
L'article propose un cadre novateur basé sur des principes logiques fondamentaux pour évaluer les MLLM sur les relations de cause à effet suffisantes et nécessaires sans nécessiter d'annotations de vérité terrain. La métrique centrale, VL-LCM, est formulée pour deux formats de référence distincts :

1. Format MC-VQA (par exemple, MMMU, NegBench) :

   • Concept : Une question à choix multiples (MC) standard est décomposée en un ensemble de tests Oui/Non (YN).
   • Formulation logique :
     • Condition suffisante : $V, T, A_k \rightarrow a_k$ (Si l'image $V$, la question $T$ et le choix $A_k$ sont présents, la réponse est « Oui »).
     • Condition nécessaire : $V, T, \neg A_k \rightarrow \neg a_k$ (Si l'image $V$ et la question $T$ sont présentes mais que le choix $A_k$ est absent, la réponse est « Non »).
   • Calcul : La métrique calcule la probabilité conjointe que le modèle identifie correctement le bon choix via une prédiction MC ($P_{MC}$) et la probabilité conjointe que le modèle valide correctement le choix via des tests YN ($P_{JYN}$). Le score VL-LCM est la moyenne géométrique de ces probabilités, maximisée sur tous les choix.

2. Format NaturalBench :

   • Concept : Ce format implique des paires d'images visuellement similaires et de questions sémantiquement proches avec des réponses alternées.
   • Formulation logique : Le cadre teste la cohérence à travers quatre tests MC dérivés et les tests YN correspondants, garantissant que le modèle respecte la suffisance et la nécessité logiques à travers les paires image-question.
   • Calcul : Le VL-LCM est calculé comme la moyenne du score de cohérence à travers les quatre sous-tests au sein d'une unité d'échantillon.

Contributions clés

1. Un cadre général : Les auteurs introduisent un cadre d'évaluation de la cohérence logique applicable aux conditions suffisantes et nécessaires, dépassant les vérifications d'auto-cohérence traditionnelles.
2. La métrique VL-LCM : Une métrique spécifique définie pour les formats typiques MC-VQA et NaturalBench, fonctionnant sans annotations de vérité terrain.
3. Évaluation systématique : Des expériences complètes ont été menées sur cinq benchmarks exigeants (NegBench, ConBench, MMMU, NaturalBench et un nouveau jeu de données NatConBench) utilisant 11 MLLM open-source récents issus de quatre familles de pointe (InternVL, Qwen, LLaVA, Gemma).
4. Nouvelles découvertes sur la fiabilité : L'étude démontre que le VL-LCM corrèle fortement avec les scores F1 dérivés de données de vérité terrain, validant son utilité comme proxy sans annotation pour la précision et la fiabilité.

Résultats expérimentaux

• Écart entre précision et cohérence : Bien que les MLLM récents montrent des améliorations significatives en précision (par exemple, InternVL-3.0 atteignant ~93 % sur NegBench), leurs scores VL-LCM sont nettement en retrait (souvent 20 à 40 % inférieurs). Cela indique qu'une haute précision ne garantit pas la cohérence logique.
• Corrélation avec la vérité terrain : Le VL-LCM présente des corrélations de Pearson et de Spearman fortes avec les scores F1 basés sur la vérité terrain et la Précision Conjointe (J-Acc), confirmant sa validité pour le classement et la sélection de modèles sans annotations.
• Analyse de la distribution des réponses : L'article observe une corrélation entre les scores VL-LCM et les comportements de réponse des modèles. Des scores VL-LCM plus élevés sont associés à une réduction de la « surconfiance » (hallucinations) et à une augmentation de la « confiance » dans les réponses correctes, suggérant que le VL-LCM peut servir d'indicateur de fiabilité.
• Capacité prédictive : La métrique a démontré sa capacité à prédire les performances sur des ensembles de test (où la vérité terrain est cachée) avec une précision raisonnable, maintenant des ordres de classement similaires à ceux des ensembles de validation.

Importance et affirmations
L'article affirme que la cohérence logique, mesurée par le VL-LCM, offre un aperçu plus profond des performances des modèles que la précision seule. Plus précisément :

• Validation sans annotation : Le VL-LCM permet le classement, la sélection et la validation des MLLM dans des tâches nouvelles et réelles où les données de vérité terrain sont indisponibles.
• Justification de la fiabilité : Au-delà de la sélection de modèles, la nature par-échantillon du VL-LCM permet la justification en ligne des réponses. Si un modèle produit un score VL-LCM élevé, la réponse peut être considérée comme plus fiable, même sans connaître la vérité terrain.
• Limites : Les auteurs reconnaissent modestement des limites, notamment l'hypothèse que les relations en langage naturel sont strictement binaires (Oui/Non), le coût computationnel accru de la génération de tests YN/MC supplémentaires, et la nécessité de travaux futurs pour étendre la métrique aux réponses en langage naturel ouvertes.

En conclusion, l'article postule que le VL-LCM est un complément nécessaire aux métriques de précision, offrant une méthode robuste et sans annotation pour évaluer la validité logique et la fiabilité des modèles vision-langage.