Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

Résumé Technique : Évaluation des combinaisons d'entrées multimodales pour la résuméation zero-shot à travers les langues indiennes

Énoncé du problème
La prolifération rapide des informations numériques dans les langues régionales indiennes a créé une demande pour des systèmes de résumé automatisés capables de gérer des contenus hétérogènes. Les pipelines de résumé traditionnels reposent généralement uniquement sur le texte de l'article (titres et corps), échouant ainsi à exploiter les riches informations contextuelles disponibles dans les articles de presse multimodaux, spécifiquement les images d'accompagnement et les commentaires des lecteurs. Bien que la résuméation multimodale ait progressé pour l'anglais et les langues à hautes ressources, le traitement du langage naturel (NLP) pour les langues indiennes reste sous-exploré en raison d'un manque de jeux de données multimodaux sensibles aux commentaires et de cadres open-source reproductibles. Les évaluations existantes reposent souvent sur des grands modèles de langage (LLM) propriétaires avec une transparence limitée concernant les combinaisons de modalités d'entrée. Cette étude comble la lacune dans la compréhension de la manière dont les modèles séquence-à-séquence légers et open-source se comportent dans un contexte zero-shot à travers neuf langues indiennes lorsqu'ils sont exposés à diverses combinaisons de titres, de contenu, d'URL d'images et de commentaires de lecteurs.

Méthodologie
La recherche propose un pipeline Python entièrement automatisé de bout en bout, implémenté dans un environnement Google Colab, pour évaluer cinq modèles transformer séquence-à-séquence pré-entraînés : mT5, T5, BART, mBART et PEGASUS.

• Jeu de données : L'étude utilise le jeu de données COSMMIC (Comment sensitive multimodal multilingual Indian corpus) qui contient 4 959 paires article-image et 24 484 commentaires de lecteurs à travers neuf langues (bengali, hindi, tamoul, télougou, marathi, gujarati, kannada, malayalam et उड़ia). Les données incluent des résumés de référence rédigés par des humains.
• Conception expérimentale : L'évaluation est menée de manière zero-shot, ce qui signifie qu'aucun des modèles n'est affiné (fine-tuned) sur le jeu de données COSMMIC. Cela permet d'isoler les capacités intrinsèques de pré-entraînement des modèles.
• Modalités d'entrée : Le système teste systématiquement 15 combinaisons d'entrées distinctes formées à partir de quatre modalités : Titre (H), Contenu (C), URL d'Image (I) et Commentaires (Co). Ces combinaisons vont de l'entrée à modalité unique à la combinaison quadrimodale complète (H+C+I+Co). Notamment, les URL d'images sont traitées comme des chaînes de caractères brutes plutôt que comme des caractéristiques visuelles.
• Métriques d'évaluation : Les résumés générés sont évalués par rapport aux résumés de référence en utilisant sept métriques : ROUGE-1, ROUGE-2, ROUGE-L, METEOR, BERTScore Precision, BERTScore Recall, BERTScore F1, et CIDEr.
• Classification de la qualité : Un classificateur basé sur une matrice de confusion étiquette les résumés générés comme "BON" (ROUGE-L $\ge$ 0,50) ou "MAUVAIS" (< 0,50) pour fournir une évaluation binaire de la qualité au-delà des statistiques agrégées.
• Étude de cas : Une analyse détaillée est réalisée sur le sous-ensemble hindi, le plus important du corpus, afin d'étudier l'impact de types de commentaires spécifiques ("Bon" vs "Mauvais") et l'utilité marginale des URL d'images.

Contributions clés

1. Pipeline Open-Source Reproductible : L'auteur introduit le premier pipeline open-source entièrement automatisé pour la résuméation multimodale sur le jeu de données COSMMIC. Il automatise l'acquisition des données, la division, le chargement des modèles, la génération et l'évaluation multi-métrique sans nécessiter d'annotation manuelle ou d'accès à des API propriétaires.
2. Benchmark Zero-Shot Complet : L'étude fournit le premier benchmark systématique de cinq modèles séquence-à-séquence distincts (mT5, PEGASUS, BART, mBART, T5) à travers les 15 combinaisons possibles d'entrées pour neuf langues indiennes.
3. Analyse de la Contribution des Modalités : En testant tous les sous-ensembles de modalités d'entrée, ce travail quantifie la contribution spécifique des titres, des commentaires et des URL d'images à la qualité de la résuméation, offrant ainsi des orientations aux architectes de systèmes pour l'allocation des ressources.
4. Cadre de Classification de la Qualité : L'intégration d'un classificateur de qualité basé sur une matrice de confusion permet de visualiser les distributions de résumés "BON" vs "MAUVAIS", offrant une mesure de la fiabilité du modèle plus intuitive que les scores bruts seuls.

Résultats et Analyse

• Performance des Modèles : Parmi les modèles évalués, mBART a démontré la performance la plus robuste dans le cadre zero-shot, particulièrement pour la langue hindi. Cela est attribué à son pré-entraînement explicite sur les données hindi au sein du corpus CC25. À l'inverse, T5 et mT5 ont montré des performances moindres, probablement en raison de leur pré-entraînement centré sur l'anglais ou moins spécifique à ces langues.
• Impact de la Modalité d'Entrée :
  • Le Contenu (C) seul a fourni la performance de base la plus forte.
  • L'ajout de Commentaires de Lecteurs a généralement amélioré les métriques, mais la qualité des commentaires importait : les commentaires "Bons" ont amélioré la qualité du résumé, tandis que les commentaires non filtrés ou "Mauvais" ont introduit du bruit qui a dégradé la performance.
  • Les URL d'Images, lorsqu'elles sont incluses en tant que chaînes de caractères, ont apporté des améliorations marginales mais constantes des scores ROUGE-L dans la plupart des langues, suggérant que les métadonnées d'URL peuvent servir de signaux de supervision faibles.
  • La combinaison complète des quatre modalités (H+C+I+Co) n'a pas toujours surpassé la base de référence "Contenu seul", indiquant que les entrées multimodales non filtrées peuvent introduire du bruit dans un contexte zero-shot.
• Variance Inter-langues : La performance a varié de manière significative selon les langues. L'hindi a produit les meilleurs résultats, tandis que les langues dotées de scripts complexes ou de morphologie agglutinante (ex: malayalam, tamoul) ont affiché des scores plus bas, soulignant les défis liés à l'effet de la taille des données et à la complexité des scripts.
• Limites du Zero-Shot : L'étude a observé des scores ROUGE-2 extrêmement bas (proches de 0,00) pour la plupart des modèles et des langues. Cela souligne que la résuméation abstractive zero-shot pour les langues indiennes reste un défi majeur et que le déploiement pratique nécessite probablement au moins un affinement (fine-tuning) minimal spécifique à la tâche.
• Identification d'Artéfacts : L'analyse des sorties de mBART a révélé la génération de jetons spéciaux (ex: <extra_id_0>) dus à l'objectif de pré-entraînement par masquage de segments du modèle, nécessitant un post-traitement ou du prompt engineering (ex: ajouter "résumer") pour un résultat optimal.

Signification
L'article établit un cadre reproductible et fondamental pour évaluer la résuméation multimodale dans les langues indiennes à faibles ressources. En démontant que mBART est actuellement l'architecture la plus adaptée pour les tâches zero-shot dans ce domaine et que la qualité des commentaires est une variable critique, l'étude fournit des informations exploitables pour les chercheurs et les développeurs. Ce travail souligne que, bien que les entrées multimodales soient prometteuses, leur intégration nécessite un filtrage minutieux pour éviter le bruit. Enfin, l'étude soutient que si les bases zero-shot sont précieuses pour établir des limites, le chemin vers des systèmes de résumé de haute qualité et pratiques pour les langues indiennes nécessite de dépasser l'inférence zero-shot pour tendre vers des adaptations spécifiques à la langue par affinement (fine-tuning).