EduArt: An educational-level benchmark for evaluating art history knowledge in large language models
Cet article présente EduArt, un banc d'essai de niveau éducatif et psychométriquement robuste comprenant 871 questions rédigées par des humains dans plusieurs langues et formats, lequel révèle que si les grands modèles de langage excellent dans la reconnaissance de l'histoire de l'art sous forme de questions à choix multiples, leurs performances chutent radicalement sur les tâches à réponse ouverte et d'identification d'erreurs, mettant en évidence un écart critique entre la reconnaissance et la capacité à déployer de manière fiable des connaissances en histoire de l'art.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez de tester l'intelligence d'un groupe de nouveaux étudiants en histoire de l'art. Pendant longtemps, le test standard a été un questionnaire à choix multiples. Vous montrez une image d'un tableau et demandez : « Qui a peint ceci ? » avec quatre options : A, B, C ou D.
L'article « EduArt » soutient que cette méthode revient à tester les compétences culinaires d'un chef en lui demandant seulement de pointer du doigt la photo d'un burger en disant : « Oui, c'est un burger. » C'est trop facile. Les modèles d'IA les plus intelligents (les « étudiants ») obtiennent maintenant presque 100 % à ces questions à choix multiples. Ils ne comprennent pas nécessairement l'art ; ils sont simplement devenus très doués pour deviner la bonne lettre dans une liste.
Le Nouveau Test : EduArt
Les auteurs ont créé un nouvel examen plus difficile appelé EduArt. Au lieu de se contenter du choix multiple, ils ont utilisé de vraies questions provenant de manuels scolaires de lycées italiens et d'examens d'entrée à l'université américains. Ils n'ont pas fabriqué ces questions à l'aide d'un ordinateur ; de véritables enseignants les ont écrites.
Considérez EduArt comme un « parcours d'obstacles multi-compétences » pour l'IA. Au lieu de simplement choisir une lettre, l'IA doit :
- Remplir les blancs : « L'artiste a utilisé la technique [______]. »
- Repérer l'erreur : « Trouvez le mot incorrect dans cette phrase concernant la peinture. »
- Glisser-déposer : « Placez le mot correct au bon endroit dans le texte. »
- Expliquer son travail : « Pourquoi avez-vous choisi cette réponse ? »
Ce qu'ils ont découvert
Les chercheurs ont testé 12 modèles d'IA différents (comme les cerveaux de différentes entreprises) sur ce nouveau parcours. Voici ce qui s'est passé, en utilisant des métaphores simples :
Le piège de la « Reconnaissance » : Lorsque l'IA était simplement interrogée pour choisir une réponse dans une liste (choix multiple), les meilleurs modèles obtenaient plus de 94 %. Ils ressemblaient à des génies de l'histoire de l'art. Mais quand le test changeait pour demander de rédiger la réponse ou de trouver l'erreur, leurs scores s'effondraient. Un modèle qui était bon à 94 % pour choisir des réponses est tombé à 6 % lorsqu'on lui a demandé de trouver des erreurs.
- La métaphore : C'est comme un étudiant qui peut gagner un jeu télévisé de culture générale en buzzant rapidement, mais qui échoue complètement lorsqu'on lui demande d'écrire une dissertation sur le même sujet. Il sait reconnaître la réponse, mais il ne sait pas comment utiliser le savoir.
Le paradoxe de l'« Image » : On pourrait penser que montrer la peinture à l'IA faciliterait la tâche. Étonnamment, l'IA a fait pire lorsque l'image était incluse.
- La métaphore : C'est comme donner une carte et une boussole à un étudiant, mais celui-ci est tellement distrait par la carte qu'il en oublie comment marcher. L'IA semblait s'appuyer davantage sur sa mémoire textuelle que sur le fait de réellement « voir » l'image. Quand l'image était présente, elle était confuse ; quand il n'y avait que du texte, elle réussissait mieux.
L'effet « Expliquez-vous » : Les chercheurs ont demandé à l'IA d'écrire une courte raison pour sa réponse.
- La métaphore : Imaginez un étudiant qui réussit habituellement à deviner la bonne réponse lors d'un test. Quand le professeur dit : « D'accord, maintenant dites-moi pourquoi vous avez choisi cela », certains étudiants se figent et donnent une mauvaise réponse. D'autres deviennent plus confiants et réussissent.
- Le résultat : Cela dépendait entièrement de la « famille » dont l'IA était issue. Certaines familles d'IA (comme Claude) ont réellement mieux réussi lorsqu'elles devaient expliquer leur raisonnement. D'autres (comme Gemini de Google et GPT d'OpenAI) ont fait pire. Il semble que les forcer à réfléchir à voix haute les ennuie parfois.
La conclusion principale
Le point principal de l'article est que connaître la réponse et être capable d'utiliser la réponse sont deux compétences différentes.
Si vous ne testez l'IA qu'avec des questions à choix multiples, vous obtenez un score trompeur. C'est comme juger la performance d'une voiture uniquement sur sa capacité à se garer en ligne droite, en ignorant si elle peut monter une montagne ou prendre un virage.
Pour les experts en histoire de l'art qui souhaitent utiliser l'IA pour analyser des peintures ou rédiger des descriptions, cet article lance un avertissement : « Ne faites pas confiance aux scores des questionnaires à choix multiples. » Le fait qu'une IA puisse choisir le nom correct d'un tableau ne signifie pas qu'elle peut écrire un paragraphe correct à son sujet ou repérer un faux. Pour savoir ce qu'une IA peut réellement faire, il faut la tester avec les tâches complexes et ouvertes auxquelles les véritables chercheurs sont confrontés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.