Exploring Agentic Workflows for Generating High Quality Math Visual Aids
Cet article introduit un flux de travail agentique qui permet aux grands modèles de langage et aux modèles de langage visuels de générer et d'affiner de manière itérative des diagrammes mathématiques de haute qualité et pédagogiquement fondés pour l'enseignement primaire et secondaire en utilisant des questions d'assurance qualité auto-générées et un retour visuel afin de surmonter les limites actuelles en matière de raisonnement spatial et de précision.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot à dessiner une carte parfaite d'une île au trésor pour un cours de mathématiques de niveau collège. Vous donnez au robot une description détaillée : « Dessine une fleur faite d'hexagones jaunes, de trapèzes rouges et de triangles verts. » Mais quand le robot vous tend le dessin, les pétales sont écrasés, les couleurs sont fausses ou les formes manquent totalement. C'est comme commander un gâteau personnalisé et recevoir une brique bancale.
C'est exactement le problème que les chercheurs Rizwaan Malik, Ashna Khetan, Isabel Sieh et Samin Khan tentent de résoudre. Ils ont découvert que même les outils d'IA les plus intelligents (appelés modèles de langage étendus, ou LLM) sont encore assez maladroits pour dessiner ces diagrammes mathématiques. En fait, lors de tests sur des problèmes de mathématiques de niveau collège, la meilleure IA n'a réussi que 73,9 % du temps. C'est une note de passage, certes, mais ce n'est pas suffisant si vous voulez que chaque élève apprenne parfaitement.
Alors, l'équipe a tenté un nouveau tour : ils ont construit une « équipe de robots auto-améliorés ». Au lieu de simplement demander à l'IA de dessiner une fois en espérant que tout se passe bien, ils ont créé une boucle où l'IA joue à la fois le rôle d'un professeur d'art strict, d'un détective et d'un peintre.
Voici comment leur « flux de travail agentique » (un terme technique pour désigner une équipe d'agents d'IA travaillant ensemble) se déroule :
- Le Peintre : D'abord, une IA dessine le diagramme basé sur votre description.
- Le Maître du Quiz : Ensuite, une deuxième IA (le Générateur de QA) examine le dessin et rédige une série de quatre questions ouvertes pour le tester. Au lieu de poser des questions simples par « oui/non » comme « Est-ce rouge ? », elle pose des questions plus profondes comme : « Comment le code a-t-il permis de s'assurer que la barre de suspension est parfaitement horizontale ? »
- Le Détective : Ensuite, une IA vérifie le code informatique utilisé pour dessiner l'image par rapport à ces questions. Les chercheurs ont découvert que les IA de « vision » standard sont en fait assez mauvaises pour analyser des diagrammes complexes (elles comptent souvent mal les objets ou se trompent dans l'espace), ils ont donc décidé de faire en sorte que l'IA lise plutôt les instructions du code, ce qui est beaucoup plus fiable pour repérer les erreurs.
- Le Réparateur : Si le dessin échoue au quiz, l'IA reçoit le feedback et essaie de le redessiner. Elle continue de boucler ce processus jusqu'à ce que le dessin réussisse tous les tests ou qu'elle épuise ses tentatives.
Les chercheurs ont testé cette idée et ont découvert des choses intéressantes. Lorsqu'ils ont laissé le « Détective » examiner à la fois l'image finale et le code informatique utilisé pour la dessiner, les experts humains étaient d'accord avec la notation de l'IA 97 % du temps. C'est un bond énorme par rapport à l'examen de la seule image (68 %) ou du seul code (81 %). Il s'avère que voir le plan aide à mieux repérer les erreurs.
Ils ont également constaté que poser des questions ouvertes fonctionnait beaucoup mieux que les questions simples par oui/non. C'est comme demander à un élève d'« expliquer son raisonnement » plutôt que de lui demander simplement « est-ce que tu l'as fait ? ».
Cependant, l'équipe prend garde à dire que ce n'est pas une baguette magique qui a tout résolu. Dans leurs expériences, même après que l'IA a tenté de corriger le dessin une fois, 70 % des diagrammes avaient encore besoin d'un tour de correction. Et même après deux cycles de corrections, le score humain moyen pour les dessins n'est passé que de 3,4 à 3,7 sur une échelle de 5.
L'équipe s'est heurtée à quelques obstacles spécifiques. Par exemple, lorsqu'il s'agissait de dessiner un « cintre équilibré » (un outil mathématique classique), l'IA continuait d'espacer les boîtes suspendues de manière inégale, même après avoir été instruite de corriger cela. L'IA pouvait voir l'erreur, mais ne parvenait pas à comprendre comment modifier le code pour rendre l'espacement parfait. De même, l'IA avait parfois du mal à compter le nombre exact de formes ou à vérifier si les mesures étaient correctes, car elle est encore un peu mauvaise en « raisonnement spatial » (comprendre comment les choses s'assemblent dans l'espace).
Les chercheurs suggèrent que, bien que ce « boucle d'auto-amélioration » soit un début prometteur, elle n'est pas encore prête à remplacer les enseignants humains. Ils soutiennent que les futurs systèmes auront besoin de meilleures façons de poser les bonnes questions et de meilleurs « yeux » pour comprendre les relations spatiales. Mais pour l'instant, cette approche montre que si l'on donne une chance à l'IA de vérifier son propre travail et de réessayer, elle peut devenir un peu meilleure pour dessiner les cartes dont les élèves ont besoin pour trouver leur chemin à travers les mathématiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.