CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models
Cet article présente CommonWhy, un ensemble de données de 15 000 questions « pourquoi » basées sur des entités qui évalue les capacités de raisonnement causal de bon sens et d'explication abductive des grands modèles de langage, révélant des lacunes significatives dans les modèles actuels malgré la disponibilité de connaissances de soutien dans Wikidata.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un assistant robot très intelligent et bien informé. Vous lui avez posé des milliers de questions comme : « Est-il vrai que Harry Potter peut voler ? » ou « Aristote possédait-il un ordinateur portable ? ». Le robot est devenu très doué pour répondre à ces questions par « Oui » ou « Non », car il peut parcourir sa vaste bibliothèque de faits et trouver la réponse.
Mais maintenant, imaginez que vous demandiez au robot quelque chose de beaucoup plus difficile : « Pourquoi Katarina Barley n'avait-elle pas besoin de visa pour assister à la finale de la Ligue des champions 2024 ? »
C'est là que le robot commence à trébucher. C'est le problème que l'article CommonWhy tente de résoudre.
Le problème : le robot ne peut pas « relier les points »
Les auteurs soutiennent que, si les robots sont excellents pour la recherche de faits (trouver un fait spécifique dans un livre), ils sont terribles dans le raisonnement causal (comprendre pourquoi quelque chose s'est produit en reliant différents faits avec du bon sens).
Pensez-y ainsi :
- La recherche de faits est comme chercher un numéro de téléphone dans un annuaire.
- Le raisonnement causal est comme être un détective. Vous devez examiner le numéro de téléphone, réaliser que la personne habite dans un pays différent, vous souvenir que ce pays a un accord de visa sans visa avec le pays d'origine de la personne, puis conclure : « Ah, c'est pour ça qu'elle n'avait pas besoin de visa ! »
Les robots actuels échouent souvent dans ce travail de détective. Ils peuvent deviner la réponse, inventer des faits (hallucinations) ou simplement rester bloqués parce que la réponse n'est pas écrite dans une seule phrase de leurs données d'entraînement.
La solution : un nouvel « examen de détective »
Les chercheurs ont créé un nouvel ensemble de données appelé CommonWhy. Imaginez cela comme un gigantesque « examen de détective » de 15 000 questions, conçu spécifiquement pour tester la capacité de ces robots à comprendre pourquoi les choses se produisent.
Voici comment ils ont construit cet examen :
- Les règles (axiomes) : D'abord, ils ont donné à l'IA des règles de base du monde, comme « Si vous êtes citoyen du pays A, et que le pays B permet aux citoyens du pays A de visiter sans visa, alors vous n'avez pas besoin de visa ».
- Les personnages (entités) : Ils ont pris de vraies personnes, lieux et événements d'une gigantesque base de données appelée Wikidata (comme une Wikipédia pour les données structurées).
- Les questions : Ils ont mélangé les règles avec les personnages pour créer des questions. Par exemple : « Pourquoi Personne X n'avait-elle pas besoin de visa pour se rendre à Événement Y ? »
- Les réponses : Crucialement, ils ne cherchaient pas une seule bonne réponse. Dans le monde réel, il existe souvent plusieurs raisons. Peut-être que Personne X n'avait pas besoin de visa parce qu'elle est citoyenne du pays hôte, ou peut-être parce qu'elle est diplomate. L'ensemble de données inclut toutes ces possibilités valides.
Les résultats : les robots ont échoué à l'examen
Les chercheurs ont testé les modèles d'IA les plus intelligents disponibles aujourd'hui (y compris les derniers modèles de « raisonnement ») sur cet examen. Les résultats étaient surprenants et un peu inquiétants :
- Ils sont restés bloqués : Même les meilleurs modèles n'ont obtenu que 68 % de bonnes réponses. C'est une note d'échec pour un système que nous attendons super-intelligent.
- Ils ont inventé des choses : Lorsque les modèles ont trouvé la bonne réponse, ils ont souvent inclus des faits faux pour y parvenir. C'est comme un élève qui obtient la bonne réponse en mathématiques mais utilise une formule inventée pour y arriver.
- Le problème de la « longue traîne » : Les robots ont encore moins bien performé lorsque les questions portaient sur des personnes ou des lieux obscurs et moins connus (la « longue traîne »). Ils semblaient reposer sur la mémorisation de faits célèbres plutôt que sur un véritable raisonnement logique.
- Les anciens outils ne fonctionnent pas : Ils ont essayé d'utiliser des outils standard conçus pour les questions de bases de données (KGQA), mais ces outils ont échoué lamentablement. Ils sont conçus pour trouver des faits, pas pour expliquer pourquoi les choses se produisent.
La grande image
L'article conclut que nous avons un nouveau défi très difficile pour l'IA. Nous ne pouvons pas continuer à demander aux robots de mémoriser des faits ou de répondre à de simples questions « Vrai/Faux ». Si nous voulons qu'ils interagissent efficacement avec le monde réel, nous devons leur apprendre à être des détectives – comment combiner des faits concrets avec du bon sens pour expliquer pourquoi le monde fonctionne comme il le fait.
CommonWhy est le premier outil dont nous disposons pour mesurer si les robots s'améliorent réellement dans ce type de réflexion, ou s'ils s'améliorent simplement dans la devinette. Pour l'instant, selon l'article, ils ne font essentiellement que deviner.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.