Can We Improve Educational Diagram Generation with In-Context Examples? Not if a Hallucination Spoils the Bunch

Résumé Technique : Améliorer la génération de diagrammes éducatifs grâce aux exemples en contexte

Énoncé du problème
L'intelligence artificielle (IA) générative est de plus en plus utilisée dans l'enseignement de l'informatique pour produire des supports pédagogiques, notamment des diagrammes. Cependant, la qualité de ces résultats demeure une préoccupation majeure pour les éducateurs et les étudiants. Les méthodes existantes de génération de code de diagramme, telles que l'extraction d'entités/relations ou l'apprentissage en contexte (ICL) standard, souffrent souvent de verbosité, d'une mauvaise qualité de mise en page et, plus crucial encore, d'hallucinations. Les hallucinations dans les modèles de langage de grande taille (LLM) sont définies comme des désalignements avec le contexte d'entrée fourni ou les connaissances factuelles, classées en facticité (contradiction avec les connaissances du monde ou fabrication de faits invérifiables) et fidélité (écart par rapport aux instructions de l'utilisateur ou au contexte d'entrée). La recherche empirique indique que les taux d'hallucination peuvent varier de 3 % à 86 %, même pour les modèles les plus performants. Le défi central abordé est la génération de diagrammes éducatifs fiables et de haute qualité qui respectent strictement les contextes des textes sources sans introduire d'erreurs factuelles ou d'incohérences logiques.

Méthodologie
L'étude propose une nouvelle méthode d'ICL pour générer du code de diagramme (spécifiquement dans la syntaxe dot de Graphviz) qui exploite la Théorie de la Structure Rhétorique (RST) pour sélectionner des exemples pertinents en contexte. L'approche repose sur le postulat que la RST, qui analyse la cohérence textuelle via des relations hiérarchiques entre des « unités de discours élémentaires » (EDU), peut guider les LLM à visualiser des relations de cohérence conformes aux attentes de l'utilisateur.

Le pipeline proposé comprend deux variantes, RST1 et RST2, comparées à une base de référence en zero-shot (0-shot) :

1. Analyse RST (Étape 1) : Le LLM analyse le texte source pour identifier les EDU et leurs relations rhétoriques (noyaux et satellites) selon les directives d'annotation de Stede et al. Cette étape est ignorée dans la base de référence 0-shot.
2. Recherche de similitude (Étape 2) : Le système compare l'analyse RST générée à un dictionnaire préétabli de quatre triplets texte-analyse-diagramme. Le modèle sélectionne l'exemple dont la structure RST est la plus similaire à l'entrée.
3. Construction de l'exemple (Étape 3) :
   • RST1 : Utilise le texte source et le code de diagramme correspondant de l'exemple sélectionné.
   • RST2 : Utilise l'analyse RST et le code de diagramme correspondant de l'exemple sélectionné.
4. Génération ICL (Étape 4) : Le modèle génère le code de diagramme initial en utilisant l'exemple sélectionné comme démonstration.
5. Réparation et raffinement (Étapes 5–7) : Le code généré subit un processus de réparation itératif pour corriger les erreurs de syntaxe jusqu'à ce qu'il soit rendu. Une étape de raffinement ultérieure (Étape 6) incite le modèle à améliorer l'esthétique de la mise en page (ex: réduire les croisements de lignes, assurer la symétrie) sur la base d'une grille d'évaluation spécifique, suivie d'un cycle de réparation final.

L'étude a utilisé GPT-4o et les modèles o3, en les testant sur 25 textes sources classés par difficulté (basique, moyen, avancé). Un total de 150 diagrammes a été généré et évalué.

Principales contributions

1. Méthode ICL basée sur la RST : Les auteurs proposent et évaluent une nouvelle méthode de sélection de démonstrations en contexte pour la génération de code de diagramme basée sur l'analyse RST, visant à réduire les incohérences de contexte et les hallucinations par rapport à la génération zero-shot.
2. Grille d'évaluation : Une grille à cinq échelles a été développée pour évaluer la qualité des diagrammes selon trois dimensions :
   • Organisation logique (C1) : Flux, structure, clarté du langage et respect des conventions.
   • Connectivité (C2) : Uniformité et cohésion des connexions (ex: absence de nœuds orphelins).
   • Esthétique de la mise en page (C3) : Présence de problèmes tels que les croisements de lignes, l'obscurcissement d'éléments, l'asymétrie et le désalignement.
3. Analyse des hallucinations : Une investigation approfondie de la relation entre l'hallucination de l'IA (tant factuelle que de fidélité) et la qualité du diagramme, incluant la propagation des erreurs à travers les pipelines de génération multi-étapes.

Résultats

• Performance des modèles : Le modèle o3 a systématiquement surpassé GPT-4o sur l'ensemble des méthodes et métriques, suggérant que les modèles dotés de plus fortes capacités de raisonnement bénéficient davantage de cette approche.
• Efficacité de la méthode :
  • RST1 avec o3 a produit le taux le plus élevé de diagrammes de haute qualité (scores > 3) pour l'organisation logique (C1).
  • RST2 a généralement moins bien performé que RST1 et le 0-shot pour la connectivité (C2), probablement en raison de la complexité du traitement des analyses RST générées par le LLM en tant qu'entrée.
  • Les méthodes basées sur la RST ont généralement diminué le taux d'hallucinations factuelles et amélioré la fidélité au contexte d'entrée par rapport à la génération zero-shot.
• Constatations sur les hallucinations :
  • Malgré l'utilisation de textes sources vérifiés, jusqu'à 20 % des diagrammes générés par l'IA contenaient des hallucinations factuelles.
  • Complexité du contexte : Une complexité plus élevée dans les textes sources (niveau avancé) est corrélée à des taux d'hallucination plus élevés et à des scores de qualité de diagramme plus faibles.
  • Propagation d'erreurs : Dans le pipeline RST2, les hallucinations provenant de l'analyse RST initiale (Étape 1) ou de la recherche de similitude (Étape 2) étaient fréquemment héritées par le diagramme final.
  • Limites de l'auto-correction : Les LLM ont eu des difficultés à détecter et à réparer leurs propres erreurs de mise en page ; l'étape de raffinement (Étape 6) a souvent échoué à éliminer les hallucinations ou a introduit de nouveaux problèmes de mise en page.
• Évaluation automatisée : L'évaluation automatisée utilisant des LLM (méthodes E1, E2, E3) a montré un alignement modéré avec les évaluations humaines, la réflexion basée sur les instructions (E3) et la combinaison instruction/ICL (E2) offrant les meilleurs résultats, particulièrement avec le modèle o3.

Signification et affirmations
L'article affirme que sa méthode ICL basée sur la RST offre une voie prometteuse pour améliorer la fiabilité des diagrammes éducatifs générés automatiquement en alignant les sorties du modèle sur les attentes de l'utilisateur et en réduisant les incohérences de contexte. Cependant, les auteurs adoptent une position modeste, reconnaissant que la nature stochastique des LLM conduit à une qualité variable et que les pipelines multi-étapes introduisent des risques de propagation d'erreurs.

L'étude conclut que, bien que la méthode proposée diminue l'hallucination factuelle et améliore la fidélité, elle ne constitue pas une solution complète. Les auteurs soulignent qu'en raison du risque persistant d'hallucination, l'application de l'IA générative dans les contextes éducatifs nécessite des mesures de protection nécessaires pour protéger les parties prenantes clés (enseignants et étudiants). Ils déclarent explicitement qu'une investigation empirique supplémentaire est requise pour pleinement rendre compte de la stochasticité des LLM et que leur implémentation actuelle, utilisant un ensemble limité d'exemples, ne couvre pas toutes les relations de cohérence existantes.