arXiv👁️ cs.CV

UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark

Ce papier présente UniM, le premier benchmark unifié de 31 000 instances couvrant sept modalités pour évaluer les capacités des grands modèles multimodaux à comprendre et générer des entrées et sorties multimodales entrelacées de manière arbitraire, accompagné d'une suite d'évaluation et d'un modèle de référence nommé UniMA.

Yanlin Li, Minghui Guo, Kaiwen Zhang, Shize Zhang, Yiran Zhao, Haodong Li, Congyue Zhou, Weijie Zheng, Yushen Yan, Shengqiong Wu, Wei Ji, Lei Cui, Furu Wei, Hao Fei, Mong-Li Lee, Wynne Hsu

Publié 2026-03-06
📖 5 min de lecture🧠 Analyse approfondie
Voir sur arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous parlez à un assistant très intelligent, mais que vous lui donnez des instructions un peu chaotiques : vous lui montrez une photo, lui faites écouter un enregistrement audio, lui donnez un document PDF et un bout de code, tout en lui parlant en même temps. Et vous attendez qu'il vous réponde avec un mélange tout aussi complexe : un texte, une nouvelle vidéo, un schéma 3D et une chanson.

C'est exactement le défi que pose le papier UNIM. Voici une explication simple, imagée et en français de ce travail révolutionnaire.

1. Le Problème : Les assistants actuels sont comme des musiciens qui ne jouent que du piano

Aujourd'hui, les intelligences artificielles (les MLLM) sont devenues très douces pour comprendre le texte et les images. C'est comme si elles étaient devenues des virtuoses du piano. Mais dans la vraie vie, la vie n'est pas un solo de piano ! C'est un orchestre complet.

Parfois, un architecte envoie un croquis, un audio, un plan 3D et un code informatique en même temps. Les modèles actuels sont souvent perdus : ils ne savent pas bien mélanger tous ces éléments, ou ils oublient de répondre avec le bon format (par exemple, ils répondent avec du texte alors qu'on leur demandait une vidéo). Ils sont comme un chef d'orchestre qui ne connaît que la partition de piano et qui panique quand les violons et les cuivres entrent en jeu.

2. La Solution : Le "UNIM" (Le Grand Buffet Multimodal)

Les chercheurs ont créé UNIM (Unified Any-to-Any Interleaved Multimodal Benchmark).

  • L'analogie du buffet : Imaginez un buffet géant où vous pouvez prendre n'importe quel aliment (texte, image, son, vidéo, code, 3D) dans n'importe quel ordre, et le mélanger sur votre assiette.
  • Le défi : La plupart des robots ne savent manger que des sandwichs (texte + image). UNIM est un buffet où l'on vous demande de préparer un plat complexe avec des ingrédients très différents, mélangés de manière aléatoire.
  • La taille : Ils ont créé 31 000 de ces "plats" (des exemples de questions et réponses) couvrant 30 domaines différents (de la médecine à l'architecture, en passant par la musique). C'est la première fois qu'on teste les IA sur une telle variété de mélanges "Any-to-Any" (n'importe quoi vers n'importe quoi).

3. Le Juge : Le "UNIM Evaluation Suite" (Le Critique Culinaire)

Comment savoir si un robot a bien cuisiné ce plat complexe ? Les anciennes méthodes de notation (comme compter le nombre de mots justes) ne suffisent pas.

Les auteurs ont créé un nouveau système de notation en trois dimensions :

  1. Le Goût (Sémantique) : Est-ce que le robot a compris ce qu'on lui demandait ? (Si on demande un plan de maison, est-ce qu'il ne donne pas une recette de gâteau ?)
  2. La Présentation (Structure) : Est-ce qu'il a respecté la consigne ? Si on lui a demandé "donne-moi 3 images et 1 audio", est-ce qu'il a bien donné exactement ça, ni plus ni moins ?
  3. L'Harmonie (Cohérence) : Est-ce que tout s'enchaîne bien ? Si le texte dit "regardez cette vidéo" et que la vidéo est là, c'est bien. Mais si le texte parle de pluie et que la vidéo montre un désert ensoleillé, c'est une catastrophe. C'est comme si un chanteur chantait une chanson triste sur une musique joyeuse.

4. Le Héros : UNIMA (Le Chef d'Orchestre Agentic)

Pour tester ce nouveau buffet, les chercheurs ont construit un nouveau robot appelé UNIMA.

  • L'analogie du chef d'orchestre : Contrairement aux autres robots qui essaient de tout faire d'un coup (et qui échouent souvent), UNIMA agit comme un chef d'orchestre méthodique.
  • Son secret : Il ne se lance pas aveuglément. Il suit une méthode en plusieurs étapes :
    1. Il écoute et note : Il transforme chaque ingrédient (image, son, code) en une "note" textuelle précise.
    2. Il réfléchit (Traceable Reasoning) : Il écrit un plan de bataille. "D'abord, je vais analyser le code, ensuite je vais regarder la vidéo, puis je vais générer l'image". Il vérifie ses propres étapes comme un détective.
    3. Il corrige : S'il se rend compte qu'il a oublié un ingrédient ou qu'il a mal compris, il revient en arrière et se corrige avant de servir le plat final.
    4. Il sert : Il génère la réponse finale, mélangeant parfaitement les différents médias.

5. Les Résultats : Qui gagne ?

Les tests ont été sans pitié.

  • Les anciens modèles (AnyGPT, NExT-GPT, etc.) : Ils ont eu de très mauvaises notes. Ils étaient souvent incapables de suivre les instructions complexes. C'était comme demander à un pianiste de diriger un orchestre de 50 musiciens : il s'est perdu, a oublié des instruments, et a joué faux.
  • UNIMA : Il a largement gagné. Grâce à sa méthode de "réflexion étape par étape" et de vérification, il a réussi à comprendre les mélanges complexes et à produire des réponses structurées et cohérentes.

En résumé

Ce papier nous dit que pour que l'IA devienne vraiment utile dans la vie réelle (comme un assistant personnel capable de gérer un projet d'ingénierie complet), elle ne doit plus seulement "lire" ou "voir", mais elle doit savoir mélanger n'importe quel type d'information et répondre avec n'importe quel type de média, le tout de manière cohérente.

UNIM est la nouvelle épreuve de conduite pour les voitures autonomes de l'IA, et UNIMA est le premier conducteur qui a réussi à traverser le brouillard sans accident !

Articles similaires

From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

Cette étude présente le jeu de données M2AD, qui aligne les manuels d'instructions avec des vidéos d'assemblage de meubles, afin d'évaluer les capacités actuelles des modèles de langage multimodaux à servir d'assistants en temps réel pour des tâches procédurales et de mettre en évidence leurs limites actuelles en matière de raisonnement visuel et textuel.

Federico Toschi, Nicolò Brunello, Andrea Sassella, Vincenzo Scotti, Mark James Carman2026-03-25💻 cs

Graphs RAG at Scale: Beyond Retrieval-Augmented Generation With Labeled Property Graphs and Resource Description Framework for Complex and Unknown Search Spaces

Ce papier présente un cadre Graph RAG novateur combinant les graphes de propriétés étiquetés et le framework de description de ressources pour surmonter les limites des méthodes RAG traditionnelles dans les espaces de recherche complexes et semi-structurés, en permettant une récupération dynamique de documents et une génération de requêtes Cypher précise sans nécessiter de reranking.

Manie Tadayon, Mayank Gupta2026-03-25💻 cs

T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search

Le papier présente T-MAP, une méthode de recherche évolutive consciente des trajectoires conçue pour découvrir des vulnérabilités spécifiques aux agents LLM en générant automatiquement des attaques qui contournent les garde-fous de sécurité et réalisent des objectifs nuisibles via des interactions réelles avec des outils, surpassant ainsi les approches de red-teaming traditionnelles.

Hyomin Lee, Sangwoo Park, Yumin Choi, Sohyun An, Seanie Lee, Sung Ju Hwang2026-03-25💻 cs