Résumé Technique : MM-Eval – Un Cadre Unifié pour l'Évaluation de la Résumé Multimodal

1. Énoncé du Problème

La Résumé Multimodal avec Sortie Multimodale (MSMO) vise à générer des résumés textuels concis accompagnés d'éléments visuels saillants à partir de sources multimodales. Bien que les Grands Modèles de Langage Multimodaux (MLLM) aient fait progresser la capacité à générer de telles sorties, l'évaluation de la MSMO reste fragmentée. Les protocoles actuels souffrent d'un « Effet Silo », où la qualité du texte, l'alignement image-texte et la diversité visuelle sont évalués de manière isolée à l'aide de métriques unimodales.

Les limitations clés des approches existantes incluent :

• Métriques Textuelles : Les métriques traditionnelles comme ROUGE reposent sur le chevauchement lexicale, échouant à capturer l'équivalence sémantique ou la cohérence factuelle. Des résumés contenant des faits hallucinés peuvent toujours obtenir des scores élevés s'ils correspondent superficiellement aux textes de référence.
• Métriques d'Image : La Précision des Images (IP) pénalise les images alternatives sémantiquement valides qui ne correspondent pas exactement aux références annotées par des humains et ne prend pas en compte l'alignement avec le texte généré.
• Écart Intermodal : Aucune métrique existante n'évalue efficacement l'interaction entre les modalités. Un système peut obtenir de bons scores sur le texte et la sélection d'images indépendamment, tout en produisant des sorties multimodales déconnectées et désalignées. De plus, les métriques actuelles ne pénalisent pas la redondance visuelle (par exemple, la sélection d'images quasi-dupliquées).

2. Méthodologie : Le Cadre MM-Eval

Pour combler ces lacunes, les auteurs introduisent MM-Eval, un cadre d'évaluation unifié et modulaire qui intègre trois dimensions fondamentales : Qualité du Texte, Alignement Intermodal et Diversité Visuelle. Le cadre est conçu pour être faiblement dépendant des références (s'appuyant minimalement sur des résumés de référence) et portable entre les domaines.

2.1 Pilier 1 : Qualité du Texte ($S_{text}$)

Ce pilier évalue le texte généré ($T_{gen}$) par rapport au document source ($T_{source}$) en utilisant une approche « décomposer puis vérifier » :

• Cohérence Factuelle ($S_{fact}$) : En utilisant OpenFActScore, le système décompose le résumé en faits atomiques et valide chacun d'eux par rapport à la source à l'aide d'un LLM. Le score est la précision moyenne des faits étayés, robuste aux paraphrases.
• Attributs Qualitatifs : En utilisant G-Eval, le système évalue la cohérence, la fluidité et la pertinence via un protocole de prompt structuré de Chaîne de Pensée (CoT) pour réduire la variance.
• Agrégation : $S_{text}$ est une somme pondérée de ces quatre composantes ($S_{fact}$, pertinence, cohérence, fluidité).

2.2 Pilier 2 : Alignement Intermodal ($S_{relevance}$)

Ce pilier mesure si les images sélectionnées ($V_{sel}$) soutiennent sémantiquement le texte généré ($T_{gen}$).

• MLLM en tant que Juge : Un MLLM est instruit d'effectuer un raisonnement CoT pour évaluer la pertinence pragmatique et la complémentarité de l'ensemble d'images par rapport au texte. Cette approche capture mieux la qualité intégrée du résumé qu'une simple similarité cosinus.

2.3 Pilier 3 : Diversité Visuelle ($S_{diversity}$)

Ce pilier pénalise la redondance visuelle pour garantir que l'ensemble d'images apporte une valeur informationnelle distincte.

• Entropie CLIP Tronquée (TCE) : Le système génère des plongements CLIP pour les images sélectionnées, calcule leur matrice de covariance empirique et détermine l'entropie de Von Neumann des valeurs propres normalisées. Cela mesure le « volume sémantique » balisé par les images dans l'espace latent, pénalisant les ensembles où les images véhiculent un contenu sémantique fortement redondant.

2.4 Agrégation Apprise

Le score final n'est pas une simple moyenne mais une combinaison linéaire apprise des trois piliers :
$$\text{MM-Eval} = \beta_0 + \beta_1 S_{text} + \beta_2 S_{relevance} + \beta_3 S_{diversity}$$
Les poids ($\beta$) sont appris via Régression Ridge (régularisation L2) sur le benchmark mLLM-EVAL news, qui contient environ 1 500 annotations d'experts sur la « Qualité Globale ». Cela permet au cadre d'aligner les contributions des composantes sur les préférences humaines spécifiques au domaine.

3. Résultats Clés et Analyse

Les auteurs ont analysé le jeu de données mLLM-EVAL et les performances de MM-Eval pour dériver plusieurs enseignements :

3.1 Hiérarchie Dominée par le Texte

L'analyse des poids appris révèle une structure de préférence dominée par le texte dans le domaine des actualités :

• La Qualité du Texte ($S_{text}$) représente environ 79 % du poids agrégé total.
• Au sein de la qualité du texte, la Cohérence Factuelle est le principal moteur, contribuant environ 43,5 % du score total.
• La Pertinence Image-vers-Texte et la Diversité Visuelle contribuent pour des parts complémentaires plus faibles (environ 15 % et 6 %, respectivement).

3.2 L'Effet « Gardien de la Porte » de la Cohérence Factuelle

L'analyse statistique des annotations humaines révèle une distribution bimodale pour la cohérence factuelle. Les données suggèrent que la cohérence factuelle agit comme un « gardien de la porte » :

• Si un résumé contient des hallucinations significatives (faible cohérence), le score de qualité globale chute brutalement, indépendamment de la fluidité ou de la qualité des images.
• Inversement, une haute intégrité factuelle est une condition préalable à des notes globales élevées.
• Les poids appris reflètent cette réponse humaine non linéaire, pénalisant sévèrement les échecs factuels plutôt que de les lisser par une moyenne uniforme.

3.3 Valeur Conditionnelle des Visuels

Bien que les composantes visuelles montrent des corrélations marginales faibles, voire négatives, avec les classements humains lorsqu'elles sont considérées isolément, des études d'ablation démontrent que leur suppression dégrade considérablement l'accord du modèle avec les classements humains (par exemple, supprimer $S_{relevance}$ fait chuter le $\tau$ de Kendall de 54 %).

• Cela indique que la pertinence et la diversité visuelles fournissent des signaux conditionnels : elles affinent les distinctions de qualité lorsque la fidélité textuelle est déjà adéquate, mais peuvent varier conjointement avec des sorties de moindre qualité lorsqu'elles sont considérées isolément.

3.4 Validation Humaine

Une évaluation humaine complémentaire sur 200 échantillons a confirmé que les annotateurs accordent une grande importance à la pertinence et à la diversité des images (scores moyens comparables à ceux du texte). Cela valide que le poids dominant du texte dans MM-Eval reflète la contribution marginale de chaque composante dans le résumé d'actualités (où le texte porte la charge informationnelle principale), plutôt qu'une indifférence humaine à la qualité visuelle.

4. Signification et Contributions

L'article revendique les significations suivantes pour le domaine :

1. Évaluation Unifiée : MM-Eval est le premier cadre à évaluer conjointement la qualité du texte, l'alignement intermodal et la diversité visuelle dans une métrique unique et interprétable, dépassant l'« Effet Silo » de l'évaluation unimodale.
2. Faiblement Dépendant des Références et Modulaire : Contrairement aux métriques nécessitant des résumés de référence (par exemple, ROUGE, IP), les composantes de MM-Eval fonctionnent uniquement sur le document source et la sortie du système. Sa conception modulaire permet de mettre à niveau ou de remplacer des notateurs individuels (par exemple, le juge MLLM ou TCE) à mesure que de meilleurs modèles deviennent disponibles, sans altérer le cadre.
3. Pondération Pilotée par les Données : En apprenant les poids d'agrégation à partir des préférences humaines, MM-Eval capture les compromis implicites que les humains font (par exemple, prioriser les faits par rapport à la fluidité) plutôt que de supposer une importance uniforme à travers les dimensions.
4. Conseils Pratiques pour la Conception de Systèmes : Les résultats suggèrent une hiérarchie d'optimisation claire pour les systèmes MSMO : prioriser d'abord l'ancrage factuel, puis la structure textuelle, et enfin affiner l'alignement et la diversité visuels. Cela est particulièrement pertinent pour les domaines dominés par le texte comme les actualités.
5. Interprétabilité : Le cadre fournit une décomposition interprétable des scores, permettant aux développeurs de diagnostiquer des échecs spécifiques (par exemple, une mauvaise diversité versus une hallucination) plutôt que de s'appuyer sur des jugements de modèles « boîte noire » opaques.

5. Limites et Portée

Les auteurs adoptent une stance modeste concernant la portée du cadre :

• Spécificité du Domaine : La hiérarchie des poids appris est façonnée par le domaine des actualités. Dans les domaines dominés par l'image (par exemple, les avis sur produits), la priorisation des modalités peut différer, nécessitant un recalibrage des poids d'agrégation.
• Bruit des Proxies : Les proxies automatiques pour la pertinence et la diversité visuelles (juge MLLM, TCE) peuvent ne pas capturer pleinement la perception humaine, comme en témoignent des corrélations automatiques plus faibles par rapport à l'accord humain.
• Utilité Comparative : Avec une corrélation de rang modérée ($\tau \approx 0,37$) par rapport aux jugements humains, MM-Eval convient mieux aux comparaisons de systèmes grossières à moyennes. Pour des comparaisons de systèmes extrêmement proches, une évaluation humaine ciblée reste nécessaire.
• Coût Computationsnel : La dépendance à plusieurs LLM et MLLM augmente le coût computationnel par rapport aux métriques lexicales, bien que cela soit jugé acceptable pour une évaluation hors ligne.