Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI

Cette étude propose un cadre interprétable pour l'extraction des relations entre entités mathématiques en utilisant des modèles BERT atteignant 99,39 % de précision, renforcés par des techniques d'intelligence artificielle explicable (SHAP) pour garantir la transparence des prédictions.

L'essentiel

Voici une explication de cette recherche scientifique, traduite en français simple, avec des images pour rendre le tout plus clair.

🧠 Le Grand Défi : Faire parler les Maths à l'ordinateur

Imaginez que vous essayez d'enseigner à un robot comment résoudre des problèmes de mathématiques écrits dans un livre. Le problème, c'est que les humains sont très doués pour comprendre le contexte. Si on dit : "J'ai acheté 10 mangues et je les ai partagées équitablement entre 5 enfants", nous savons instinctivement qu'il faut faire une division. Mais pour un ordinateur, c'est comme lire un code secret : il voit des mots, des chiffres, mais ne comprend pas toujours pourquoi on utilise telle ou telle opération.

C'est exactement ce que cette équipe de chercheurs a voulu résoudre. Ils ont créé un système capable de lire un problème de maths, d'identifier les "pièces" (les nombres) et de comprendre le "lien" entre elles (l'opération : addition, soustraction, etc.).

🕵️‍♂️ L'Enquêteur Super-Puissant : BERT

Pour y arriver, ils ont utilisé un détective numérique très célèbre appelé BERT.

• L'analogie : Imaginez BERT comme un bibliothécaire qui a lu tous les livres d'anglais du monde. Il connaît le sens des mots et comment ils s'assemblent.
• Son travail : Au lieu de simplement chercher des mots-clés, BERT lit la phrase entière pour comprendre l'histoire. Il identifie les "entités" (les nombres comme "dix" ou "cinq") et devine la "relation" (est-ce qu'on les ajoute ? on les multiplie ?).

Dans cette étude, BERT a été formé spécifiquement pour devenir un expert en mathématiques. Le résultat est bluffant : il a réussi à comprendre et à extraire les bonnes relations dans 99,39 % des cas. C'est comme si un étudiant avait 19,88/20 à un examen de maths !

🕵️‍♀️ Le Détective de la Transparence : SHAP (L'Explicateur)

Voici le vrai génie de cette recherche. Souvent, les intelligences artificielles sont des "boîtes noires". On leur donne un problème, elles donnent une réponse, mais on ne sait pas comment elles ont trouvé la solution. C'est un peu comme si un magicien vous disait "Abracadabra" et que le lapin sortait du chapeau, sans que vous sachiez comment.

Pour éviter cela, les chercheurs ont ajouté un outil appelé SHAP.

• L'analogie : Imaginez que SHAP est un traducteur de pensées ou un chef d'orchestre. Quand le modèle dit "C'est une division !", SHAP intervient et pointe du doigt les mots exacts qui ont convaincu le modèle.
  • Il dit : "Attendez, c'est parce que le mot 'divisé' (divided) et le mot 'équitablement' (equally) sont apparus ensemble que le modèle a choisi la division."
  • Il montre aussi les mots qui n'ont pas aidé (en bleu), comme s'ils disaient : "Non, ce mot-là ne sert pas ici."

Cela rend le système transparent. On ne fait plus confiance à la "magie", on comprend la logique. C'est crucial pour que les enseignants ou les ingénieurs puissent faire confiance à l'ordinateur.

🛠️ Comment ça marche concrètement ?

1. La Préparation (La Cuisine) : Les chercheurs ont pris des milliers de problèmes de maths (comme des recettes de cuisine) et les ont nettoyés. Ils ont retiré les mots inutiles (comme "le", "un", "et") pour ne garder que l'essentiel.
2. L'Entraînement (L'École) : Ils ont donné ces problèmes propres à BERT pour qu'il apprenne. Ils ont ajusté les réglages (comme le volume sur une radio) pour qu'il soit parfait.
3. Le Test (L'Examen) : Ils ont donné de nouveaux problèmes à BERT. Il a réussi presque à chaque fois.
4. L'Explication (Le Rapport) : Grâce à SHAP, ils ont pu montrer pourquoi BERT avait raison. Par exemple, pour le mot "racine carrée", le modèle se fie presque uniquement aux mots "racine" et "carré", ce qui est très logique.

🚀 Pourquoi c'est important ?

Cette recherche ouvre la porte à de superbes applications futures :

• Des tuteurs intelligents : Imaginez un chatbot qui peut non seulement vous donner la réponse à un problème de maths, mais aussi vous expliquer étape par étape comment il a trouvé la solution, comme un vrai professeur.
• Des bases de connaissances : Créer des cartes géantes qui relient tous les concepts mathématiques entre eux, aidant les chercheurs à faire de nouvelles découvertes.
• La confiance : Parce que le système est "transparent" (grâce à SHAP), on sait qu'il ne fait pas d'erreurs au hasard. On sait pourquoi il pense ce qu'il pense.

En résumé

Cette équipe a créé un super-lecteur de maths (BERT) qui comprend les problèmes écrits avec une précision incroyable, et ils ont ajouté un traducteur de logique (SHAP) pour nous expliquer comment il fonctionne. C'est une étape majeure pour rendre l'intelligence artificielle non seulement intelligente, mais aussi honnête et compréhensible pour nous tous.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI », rédigé en français.

1. Problématique et Contexte

La compréhension automatique des textes mathématiques représente un défi majeur en Traitement du Langage Naturel (TLP) en raison de la présence d'entités spécialisées et de relations complexes entre elles. Les systèmes actuels peinent souvent à interpréter correctement les problèmes mathématiques formulés en langage naturel, où les opérandes (entités) et les opérateurs (relations) doivent être identifiés et liés avec précision.

L'objectif principal de cette étude est de formuler l'interprétation des problèmes mathématiques comme une tâche d'Extraction de Relations d'Entités Mathématiques (MERE - Mathematical Entity Relation Extraction). Dans ce cadre, les opérandes sont traités comme des entités et les opérateurs comme les relations les reliant. Le but est de combler le fossé entre le langage naturel et la notation mathématique pour permettre aux systèmes d'extraire des relations sémantiques significatives à partir de documents tels que des manuels scolaires ou des articles de recherche.

2. Méthodologie Proposée

L'approche proposée repose sur un pipeline intégré combinant l'apprentissage profond, la création de données spécifiques et l'intelligence artificielle explicable (XAI).

A. Collecte et Prétraitement des Données

• Sources de données : Le jeu de données a été construit en fusionnant deux sources : le dataset Bangla MER (extrait des textes anglais) et le dataset Somikoron.
• Structure : Le dataset final contient 3 284 énoncés mathématiques uniques. Chaque entrée comprend un texte, deux entités (opérandes) et la relation entre elles.
• Classes de relations : Six opérations de base sont couvertes : Addition, Soustraction, Multiplication, Division, Racine Carrée et Factorielle.
• Prétraitement : Un nettoyage rigoureux a été appliqué, incluant la suppression des caractères non alphanumériques, l'élimination des mots-stop, la lemmatisation et la racinisation (stemming) pour réduire la complexité du modèle. Les phrases numériques (ex: "cinq mille quarante") sont traitées comme des entités uniques.

B. Architecture du Modèle

• Modèle de base : L'étude utilise l'architecture BERT (Bidirectional Encoder Representations from Transformers), spécifiquement le checkpoint bert-base-uncased.
• Fonctionnement : Le texte mathématique prétraité est tokenisé, puis passé à travers les couches de transformateurs de BERT. Les embeddings de position, de segment et de tokens sont générés.
• Fine-tuning : Le modèle pré-entraîné est affiné (fine-tuned) sur la tâche de classification des relations. Une couche entièrement connectée (Fully Connected Layer) suivie d'une fonction d'activation Softmax est ajoutée pour prédire la classe de relation.
• Hyperparamètres : L'optimisation a été réalisée avec un taux d'apprentissage (learning rate) de 2e-04, une taille de lot (batch size) de 12, une longueur maximale de 50 tokens et 40 époques.

C. Explicabilité (XAI) avec SHAP

Pour répondre au problème de la "boîte noire" des modèles de deep learning, l'étude intègre SHAP (Shapley Additive Explanations) :

• Principe : SHAP attribue une valeur d'importance à chaque token (mot) en fonction de la théorie des jeux coopératifs, quantifiant sa contribution à la prédiction finale.
• Application : Cela permet d'identifier quels mots (ex: "divisé", "racine", "égal") influencent positivement ou négativement la prédiction d'une relation spécifique, offrant ainsi une transparence totale sur le processus décisionnel du modèle.

3. Résultats Expérimentaux

Les performances du modèle BERT ont été comparées à d'autres architectures de transformateurs (ELECTRA, RoBERTa, ALBERT, DistilBERT, XLNet) sur le dataset prétraité.

• Performance Globale : Le modèle BERT a surpassé tous les autres modèles, atteignant une précision (Accuracy) de 99,39 %.
  • F1-score Micro : 99,36 %
  • F1-score Macro : 99,27 %
• Analyse par classe :
  • Les classes Factorielle, Racine Carrée et Soustraction ont atteint des scores de précision et de rappel de 100 %.
  • La classe Addition a enregistré le plus grand nombre d'erreurs (8 mal classés), principalement confondus avec la soustraction, mais reste très performant (F1 = 96 %).
  • Le taux d'erreur global est extrêmement faible (environ 0,63 % sur l'ensemble de test).
• Analyse SHAP :
  • Les graphiques SHAP montrent que le modèle s'appuie fortement sur des mots-clés sémantiques spécifiques aux opérations (ex: "divisé", "également" pour la division ; "racine", "carré" pour la racine carrée) plutôt que sur les valeurs numériques seules.
  • Pour des opérations comme l'addition ou la soustraction, le modèle agrège des indices contextuels multiples, démontrant une compréhension linguistique robuste.

4. Contributions Clés

1. Cadre MERE : Proposition d'une approche novatrice traitant les problèmes mathématiques comme des problèmes d'extraction de relations entre entités, utilisant des opérandes et des opérateurs.
2. Dataset Spécialisé : Création et publication d'un jeu de données dédié aux relations d'entités mathématiques en anglais, comblant un vide dans les ressources disponibles pour cette tâche spécifique.
3. Transparence via XAI : Intégration réussie de SHAP pour expliquer les prédictions d'un modèle BERT dans un contexte mathématique, passant d'une approche "boîte noire" à un système interprétable et digne de confiance.
4. Performance SOTA : Démonstration qu'une architecture Transformer standard (BERT), correctement affinée, peut atteindre des niveaux de précision quasi parfaits (>99 %) sur la compréhension de problèmes mathématiques de base.

5. Signification et Perspectives

Cette recherche a une importance significative pour plusieurs domaines :

• Éducation Intelligente : Elle ouvre la voie à des systèmes tutoriels capables de comprendre et de résoudre des problèmes mathématiques formulés en langage naturel avec une grande fiabilité.
• Construction de Connaissances : Elle facilite l'extraction automatique de graphes de connaissances mathématiques à partir de textes académiques.
• Preuve de Théorèmes Automatisée : Elle pose les bases pour des systèmes capables de vérifier des preuves mathématiques complexes.

Limitations et Travail Futur :
L'étude reconnaît certaines limites, notamment la simplicité des problèmes traités (opérations de base) et la longueur limitée des textes. Les travaux futurs visent à étendre le modèle à des domaines mathématiques plus complexes (algèbre, géométrie, calcul) et à optimiser l'efficacité computationnelle de l'approche combinant BERT et SHAP.

En conclusion, ce travail établit un cadre robuste et interprétable pour l'analyse des relations d'entités mathématiques, démontrant que l'IA explicable peut non seulement atteindre des performances élevées mais aussi fournir des insights sur la manière dont les modèles "comprennent" les mathématiques.