HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

Cet article présente HSSBench, un benchmark multilingue de plus de 13 000 échantillons conçu pour évaluer et stimuler les capacités de raisonnement interdisciplinaire des modèles de langage multimodaux dans le domaine des sciences humaines et sociales, comblant ainsi une lacune majeure des évaluations actuelles axées sur les STEM.

L'essentiel

🌍 HSSBench : Le Grand Défi des "Sciences Humaines" pour les Robots

Imaginez que vous avez un super-robot (un modèle d'intelligence artificielle) qui est un génie en mathématiques. Il peut résoudre des équations complexes, calculer la trajectoire d'une fusée ou écrire du code informatique sans se tromper. C'est impressionnant, n'est-ce pas ?

Mais posez-lui une question différente : "Regarde cette vieille photo de danseurs africains. Que signifient leurs costumes ?" ou "En regardant cette carte géologique, pourquoi la terre est-elle fissurée ici ?".

Soudain, le robot devient perdu. Il ne sait pas faire le lien entre l'image et l'histoire, la culture ou la société. C'est exactement ce que les auteurs de cet article ont voulu dire : nos intelligences artificielles sont des champions des sciences dures (STEM), mais elles sont encore des débutants en sciences humaines et sociales.

1. Le Problème : La Différence entre "Vertical" et "Horizontal"

Pour comprendre le défi, faisons une petite analogie :

• Les sciences dures (Maths, Physique) sont comme un toboggan. Il y a un point de départ, une seule voie droite, et un point d'arrivée précis. Si vous suivez les règles logiques, vous arrivez à la bonne réponse. C'est ce qu'on appelle le "raisonnement vertical".
• Les sciences humaines (Histoire, Art, Économie) sont comme une grande toile d'araignée ou un labyrinthe. Pour trouver la réponse, il faut tisser des liens entre l'image, le contexte historique, la culture, la psychologie et l'économie. Il n'y a pas toujours une seule réponse "mathématique", mais plusieurs interprétations possibles. C'est le "raisonnement horizontal".

Les robots actuels sont excellents pour glisser sur le toboggan, mais ils se perdent dans le labyrinthe car ils ne savent pas connecter les points entre eux.

2. La Solution : HSSBench, le Nouveau Terrain de Jeu

Les chercheurs ont créé HSSBench (Humanities and Social Sciences Benchmark). Imaginez-le comme un nouveau stade olympique spécialement construit pour tester les robots sur des sujets humains.

• Ce n'est pas juste un quiz : Ce n'est pas seulement lire du texte. Le robot doit regarder une image (une carte, une peinture, un graphique économique) et répondre à une question sur ce qu'il voit.
• La diversité : Le test couvre 6 grands mondes : la Géographie, l'Art, la Culture, les Sciences Sociales, l'Histoire et l'Économie.
• Le multilingue : Le test est disponible dans les 6 langues officielles de l'ONU (anglais, chinois, français, russe, espagnol, arabe). C'est comme si le robot devait passer l'examen dans différentes cultures du monde.

3. Comment ont-ils construit ce test ? (La Recette de Cuisine)

Créer ce test n'était pas facile. Ils ne pouvaient pas juste demander à un robot de générer des questions, car il aurait pu inventer des fausses réponses.

Ils ont utilisé une cuisine collaborative :

1. Les Chefs (Les Experts Humains) : Des professeurs d'université et des spécialistes ont apporté les ingrédients de base (des livres, des photos, des cartes).
2. Les Apprentis Robots (Agents IA) : Des intelligences artificielles ont aidé à préparer les plats en créant des questions à partir de ces ingrédients.
3. Le Dégustateur (La Validation) : À la fin, les experts humains ont goûté chaque plat pour s'assurer qu'il était bon, qu'il n'y avait pas d'erreur, et qu'il ne pouvait pas être résolu sans regarder l'image.

Au total, ils ont créé plus de 13 000 questions ultra-précises.

4. Les Résultats : Les Robots Trébuchent !

Quand ils ont mis les robots à l'épreuve, le résultat a été sans appel :

• Les humains (les experts) ont eu une moyenne de 94 %. Ils comprennent le contexte, l'humour, l'histoire et les symboles.
• Les meilleurs robots (comme GPT-4 ou les modèles Qwen) ont eu des scores bien plus bas, souvent autour de 40 à 50 %.

C'est comme si un élève de terminale prenait un examen de philosophie et ne comprenait pas les sous-entendus culturels. Même les robots les plus intelligents ont du mal à dire : "Ah, ce costume dans la peinture signifie le pouvoir royal, pas juste un joli vêtement."

5. Pourquoi c'est important ?

Si nous voulons que l'intelligence artificielle nous aide vraiment dans la vie réelle, elle ne doit pas seulement savoir calculer des impôts ou prédire la météo. Elle doit aussi comprendre :

• L'histoire des peuples.
• Les nuances culturelles.
• Les enjeux éthiques.
• L'art et la beauté.

HSSBench est donc une boussole. Il montre aux chercheurs : "Hé, vos robots sont forts en maths, mais ils sont un peu aveugles à la richesse de l'expérience humaine. Il faut travailler là-dessus !".

En résumé

Imaginez que l'IA est un étudiant brillant qui a lu tous les livres de mathématiques du monde, mais qui n'a jamais voyagé, jamais visité un musée et jamais discuté avec des gens de différentes cultures. HSSBench est le voyage scolaire obligatoire pour l'obliger à ouvrir les yeux sur le monde humain, à comprendre les couleurs, les histoires et les sentiments, et non plus seulement les chiffres.

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) ont démontré des performances exceptionnelles dans de nombreux domaines, mais les benchmarks existants se concentrent principalement sur les connaissances générales et le raisonnement séquentiel "vertical" typique des disciplines STEM (Sciences, Technologie, Ingénierie, Mathématiques).

Le papier identifie un manque critique dans l'évaluation des Sciences Humaines et Sociales (HSS). Contrairement aux STEM qui reposent souvent sur une logique déductive vers une réponse unique, les HSS exigent un raisonnement "horizontal" :

• Une pensée interdisciplinaire reliant différents contextes.
• Une interprétation profonde des symboles, de l'histoire et de la culture.
• La capacité à associer des concepts abstraits à des représentations visuelles spécifiques (ex: identifier un style de calligraphie ou le contexte historique d'une image).

Les modèles actuels échouent souvent à effectuer ce transfert de connaissances intermodale : ils peuvent reconnaître un concept textuel isolé mais échouent à le relier à l'image correspondante, menant à des hallucinations ou à une incompréhension des nuances culturelles.

2. Méthodologie : HSSBench et Pipeline de Génération

Pour combler ce vide, les auteurs proposent HSSBench, un benchmark à grande échelle conçu spécifiquement pour évaluer les capacités des MLLM dans les HSS.

A. Caractéristiques du Dataset

• Volume : 13 152 échantillons soigneusement conçus.
• Langues : Couverture des 6 langues officielles de l'ONU (Anglais, Chinois, Français, Russe, Espagnol, Arabe).
• Catégories : Le dataset est divisé en 6 catégories principales couvrant 45 sous-types spécialisés :
  1. Géographie (Physique, Régionale, etc.)
  2. Économie (Microéconomie, Finance internationale, etc.)
  3. Culture (Culture matérielle, Indigène, etc.)
  4. Sciences Sociales (Sociologie, Psychologie, Droit, etc.)
  5. Histoire (Ancienne, Moderne, par région)
  6. Art (Art occidental, oriental, spirituel, etc.)
• Format : Questions à choix multiples (QCM) et questions ouvertes, conçues pour nécessiter une analyse conjointe du texte et de l'image.

B. Pipeline de Construction des Données (VGP)

Les auteurs ont développé un pipeline de génération de questions visuelles (Visual Question Generation Pipeline - VGP) en trois étapes, combinant l'expertise humaine et l'automatisation par agents :

1. Préparation du Dataset (Stage I) : Collecte de données brutes (textes et images) par des experts de divers domaines et un agent d'agrégation d'informations en réseau. Les experts utilisent des ressources académiques et des images privées ou sous licence pour éviter les fuites de données.
2. Construction du Dataset (Stage II) :
   • Construction par Experts : Révision des questions existantes et création de nouvelles questions basées sur des matériaux de haute qualité.
   • Construction par Agents Multi-Agents : Un cadre automatisé utilisant des agents spécialisés (résumé, extraction, générateur de questions, appariement d'images) pour générer des données à grande échelle. Les agents utilisent des stratégies de Chain-of-Thought (CoT) pour assurer la qualité.
3. Validation (Stage III) :
   • Validation par Agent : Filtrage des doublons et vérification de la dépendance multimodale (une question ne doit pas être résoluble uniquement par le texte ou uniquement par l'image).
   • Validation par Experts : Vérification humaine pour garantir l'exactitude, l'absence d'ambiguïté et l'absence de biais sensibles ou culturels.

3. Contributions Clés

1. HSSBench : Le premier benchmark multilingue et multimodal exhaustif dédié aux Sciences Humaines et Sociales, couvrant 6 catégories et 45 sous-types.
2. Pipeline de Construction Innovant : Une méthode pratique utilisant un cadre multi-agents collaborant avec des experts humains pour générer des données de haute qualité, réduisant la charge de travail humaine tout en maintenant la rigueur académique.
3. Évaluation Multilingue et Comparative : Une évaluation approfondie de plus de 20 modèles MLLM (open-source et propriétaires) à travers six langues, fournissant une base de référence pour la recherche future.

4. Résultats Expérimentaux

Les auteurs ont évalué plus de 20 modèles (incluant la série Qwen2.5-VL, InternVL, GPT-4o/4.1, LLaVA, etc.) sur HSSBench.

• Performance Globale Faible : Même les modèles les plus avancés (SOTA) peinent sur ce benchmark. La précision globale de nombreux modèles reste inférieure à 60 %, et souvent bien en deçà des experts humains (qui obtiennent ~94 %).
• Difficultés par Catégorie :
  • Économie : C'est la catégorie la plus difficile pour tous les modèles, nécessitant une compréhension théorique profonde et un raisonnement complexe.
  • Géographie : C'est la catégorie la plus facile, probablement en raison de la nature plus factuelle et visuelle des données.
• Impact du Prompting : L'utilisation de Chain-of-Thought (CoT) n'améliore pas systématiquement les performances. Pour certains modèles, le raisonnement étape par étape aggrave les hallucinations et les erreurs d'interprétation visuelle.
• Questions Ouvertes vs QCM : La performance chute drastiquement (souvent < 15 %) lorsque les options de réponse sont retirées, indiquant que les modèles s'appuient sur des indices superficiels plutôt que sur un raisonnement profond.
• Limites du RAG : L'intégration de la Génération Augmentée par Récupération (RAG) avec des corpus généraux (Wikipedia) n'améliore pas significativement les performances, suggérant que les connaissances HSS nécessitent des corpus spécialisés et des techniques d'intégration plus avancées.
• Biais Linguistique : Des performances variables sont observées selon la langue, avec certains modèles open-source (comme Qwen) montrant des avantages dans des tâches liées à la culture chinoise, soulignant l'importance de la diversité des données d'entraînement.

5. Signification et Impact

Ce travail met en lumière une lacune fondamentale dans le développement actuel des MLLM : leur incapacité à maîtriser le raisonnement interdisciplinaire et contextuel propre aux sciences humaines.

• Défi pour l'IA : HSSBench démontre que la simple augmentation de la taille des modèles ne suffit pas pour résoudre les problèmes complexes de compréhension culturelle et historique.
• Nécessité de nouvelles approches : Les résultats appellent à des recherches sur l'intégration profonde des connaissances visuelles et textuelles, la réduction des hallucinations dans des contextes subjectifs, et le développement de mécanismes de raisonnement adaptés aux ambiguïtés des HSS.
• Ressource pour la Communauté : En rendant HSSBench public, les auteurs fournissent un outil essentiel pour mesurer les progrès réels des modèles vers une intelligence artificielle plus complète, capable de comprendre non seulement les mathématiques, mais aussi l'histoire, l'art et la société humaine.

En résumé, HSSBench établit un nouveau standard pour l'évaluation des MLLM, prouvant que les sciences humaines et sociales représentent un défi majeur et non résolu pour l'intelligence artificielle multimodale actuelle.