NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance

Cet article présente NCTB-QA, un nouveau jeu de données à grande échelle en langue bengalie issu de manuels scolaires, qui intègre une distribution équilibrée de questions répondables et non répondables pour évaluer et améliorer les performances des modèles de compréhension de texte dans les contextes à ressources limitées.

L'essentiel

📚 Le Problème : Le Professeur qui "Invente" des Réponses

Imaginez un élève très intelligent, disons un robot nommé "Bert", qui a lu des millions de livres en anglais. Il est brillant ! Mais si vous lui posez une question en bangla (la langue parlée au Bangladesh) sur un sujet qu'il ne connaît pas, ou si la réponse n'est pas dans le texte que vous lui donnez, que fait-il ?

Souvent, il panique un peu et invente une réponse qui semble très logique et bien formulée, mais qui est totalement fausse. C'est ce qu'on appelle une "hallucination". Dans un contexte scolaire, c'est dangereux : si un élève demande "Qui a découvert l'Amérique ?" et que le texte parle de l'Inde, le robot ne doit pas dire "L'Amérique". Il doit savoir dire : "Je ne sais pas, l'information n'est pas ici."

Le problème actuel est que les robots parlant le bangla sont encore comme des bébés : ils n'ont pas assez de "livres" pour apprendre à distinguer les vraies questions des pièges.

🏗️ La Solution : Construire une "Gymnase" pour Robots (NCTB-QA)

Pour entraîner ces robots à être plus sérieux, les chercheurs de l'Université de Dhaka ont créé un nouvel outil appelé NCTB-QA.

Imaginez que vous voulez entraîner un athlète à courir. Vous ne pouvez pas juste le laisser courir dans la rue. Vous devez construire un stade d'entraînement spécifique. C'est exactement ce qu'ils ont fait avec le langage.

Voici comment ils ont construit ce stade :

1. La Matière Première : Ils ont pris 50 manuels scolaires officiels du Bangladesh (de la 1re à la 10e année). C'est comme si ils avaient vidé toute la bibliothèque nationale pour en faire un terrain de jeu.
2. Le Nombre de Questions : Ils ont généré 87 805 questions. C'est énorme ! C'est comme si un professeur posait une question à chaque seconde pendant plusieurs jours.
3. Le Secret de la Recette (L'équilibre) : C'est ici que c'est génial. Dans les anciens jeux, il y avait trop de questions faciles où la réponse était toujours là. Ici, les chercheurs ont créé un équilibre parfait :
   • 57% des questions ont une réponse dans le texte (comme un jeu de "trouver l'intrus").
   • 43% des questions sont des pièges (des questions "impossibles"). Par exemple, le texte parle de pommes, et on demande "Quelle est la couleur des bananes ?".
   • Le but ? Apprendre au robot à dire "Je ne sais pas" au lieu d'inventer une réponse sur les bananes.

🧪 L'Expérience : Entraîner les Robots

Les chercheurs ont pris trois modèles d'intelligence artificielle célèbres (appelés BERT, RoBERTa et ELECTRA) et les ont envoyés dans ce "stade" NCTB-QA pour s'entraîner.

• Avant l'entraînement : Les robots étaient comme des touristes perdus. Ils répondaient souvent n'importe quoi avec confiance. Leurs scores étaient très bas (comme un élève qui a 15/100).
• Après l'entraînement : C'est la magie !
  • Le robot BERT a fait un bond de géant. Son score a augmenté de 313% ! Il est passé d'un élève en difficulté à un excellent étudiant.
  • Les autres robots (RoBERTa et ELECTRA) ont aussi beaucoup progressé, apprenant à mieux comprendre le contexte et à éviter les hallucinations.

🎯 Pourquoi c'est important ?

Imaginez que vous construisez une maison. Si les fondations sont faibles, tout s'effondre. De la même manière, pour que l'intelligence artificielle aide les enfants bangladais à apprendre, elle doit d'abord apprendre à ne pas mentir.

Ce projet montre deux choses essentielles :

1. La puissance des données : Plus on donne de "livres" (données) spécifiques à un domaine (ici, l'éducation), plus le robot devient intelligent dans ce domaine.
2. L'importance de l'éducation locale : On ne peut pas simplement copier-coller les modèles anglais. Il faut créer des outils adaptés à la culture et à la langue locale pour qu'ils soient vraiment utiles.

En résumé

Les chercheurs ont construit une énorme bibliothèque d'entraînement en langue bangla, remplie de questions pièges et de vraies questions, pour apprendre aux robots à être honnêtes et précis. Grâce à cela, les futurs systèmes d'aide à l'éducation au Bangladesh pourront enfin répondre aux élèves sans inventer d'histoires, rendant l'apprentissage plus sûr et plus fiable.

C'est comme passer d'un perroquet qui répète n'importe quoi à un véritable professeur qui sait quand il ne connaît pas la réponse. 🦜➡️👨‍🏫

Résumé technique

Résumé Technique : NCTB-QA

1. Problématique

Les systèmes de compréhension de lecture (Reading Comprehension) pour les langues à ressources limitées, comme le bangla, font face à des défis majeurs, notamment la gestion des questions sans réponse (unanswerable questions).

• Hallucinations : Les modèles entraînés uniquement sur des questions répondables ont tendance à générer des réponses fluides mais incorrectes (hallucinations) lorsque l'information requise n'est pas présente dans le contexte. Ce comportement est particulièrement critique dans le domaine éducatif, où des réponses erronées peuvent désorienter les apprenants.
• Limites des jeux de données existants : Les datasets bangla actuels (ex: BanglaRQA, TigerLLM, NCTB) souffrent de plusieurs lacunes :
  • Taille insuffisante pour l'entraînement de modèles transformeurs robustes.
  • Absence ou sous-représentation des questions sans réponse.
  • Manque de diversité linguistique et de cas adversariaux (distracteurs plausibles).
  • Focus excessif sur des questions factuelles simples, limitant l'évaluation du raisonnement profond.

2. Méthodologie

A. Construction du Dataset NCTB-QA
L'équipe a créé un dataset à grande échelle spécifiquement conçu pour l'éducation, basé sur les manuels du National Curriculum and Textbook Board (NCTB) du Bangladesh.

• Sources : 50 manuels scolaires officiels couvrant les classes 1 à 10.
• Pipeline d'extraction :
  1. Collecte automatisée : Scraping web des fichiers Markdown officiels.
  2. Nettoyage : Suppression des artefacts (numéros de page, métadonnées, exercices) pour ne garder que le contenu pédagogique.
  3. Segmentation : Découpage en segments cohérents (max 2000 caractères, chevauchement de 500) avec vérification des frontières sémantiques.
  4. Génération de QA : Utilisation du modèle Gemini 2.5 Pro pour générer des paires Question-Réponse à partir des segments.
• Caractéristiques clés du dataset :
  • Taille : 87 805 paires Question-Réponse.
  • Équilibre : Distribution équilibrée entre questions répondables (57,25 %) et non répondables (42,75 %).
  • Adversarialité : Les questions non répondables sont conçues avec des distracteurs plausibles pour forcer le modèle à raisonner sur le contexte plutôt que de deviner.
  • Diversité : Couverture de 17 matières (Sciences, Histoire, Bangla, etc.) et de 6 types de questions (Factuelles, Causales, Comparatives, Négations, etc.).
  • Annotations : Inclut des annotations de raisonnement (Chain-of-Thought) pour un usage futur.

B. Expérimentation et Benchmarking
Trois architectures de transformeurs (encoder-only) ont été évaluées et affinées (fine-tuning) sur ce dataset :

1. BERT (bert-base-cased)
2. RoBERTa (roberta-base)
3. ELECTRA (google/electra-base-discriminator)

• Prétraitement : Correction des décalages de réponses, fenêtrage pour les contextes longs (stride de 300 tokens), et gestion des exemples négatifs (SQuAD 2.0 style).
• Métriques d'évaluation :
  • Exact Match (EM) : Correspondance exacte après normalisation.
  • F1 Score : Score F1 au niveau des tokens.
  • BERTScore : Mesure de similarité sémantique (spécifique au bangla).

3. Résultats Clés

Les résultats montrent que l'adaptation par fine-tuning est cruciale pour les modèles pré-entraînés sur l'anglais lorsqu'ils sont appliqués au bangla éducatif.

• Amélioration massive du BERT :
  • Le score F1 est passé de 0,150 (avant fine-tuning) à 0,620 (après), soit une amélioration relative de 313 %.
  • L'Exact Match est passé de 0,059 à 0,509.
  • Le BERTScore (qualité sémantique) a augmenté de 0,665 à 0,880.
• Performance des autres modèles :
  • RoBERTa a montré les meilleures performances en zero-shot (F1 initial de 0,428), mais ses gains après fine-tuning ont été plus modestes (+9,6 % en F1), suggérant que son pré-entraînement était déjà robuste mais moins plastique pour l'adaptation spécifique.
  • ELECTRA a atteint un F1 de 0,550 après fine-tuning (+35,5 %).
• Détection des questions sans réponse : Tous les modèles ont atteint des scores F1 très élevés (0,82 à 0,98) pour la détection des questions sans réponse, indiquant que l'apprentissage de l'abstention est plus simple que l'extraction précise de réponses.
• Analyse par type de question : Le fine-tuning a permis des gains significatifs sur tous les types de questions, en particulier pour les questions comparatives et causales, où le BERT a comblé son retard initial.

4. Contributions Principales

1. NCTB-QA : Introduction du premier dataset bangla à grande échelle (87k+ paires) spécifiquement conçu pour l'éducation, avec une distribution équilibrée de questions répondables et non répondables.
2. Benchmark de référence : Établissement d'une ligne de base (baseline) rigoureuse pour les modèles extractifs en bangla, démontrant l'importance du fine-tuning spécifique au domaine.
3. Qualité des données : Intégration de questions adversariales et de distracteurs plausibles, rendant le dataset plus difficile et plus représentatif des défis réels de la compréhension de lecture.
4. Ressource pour la recherche : Le dataset couvre un large spectre de matières scolaires, permettant d'évaluer la compréhension dans divers contextes éducatifs.

5. Signification et Impact

• Pour le NLP en bangla : Ce travail comble un vide critique dans les ressources pour les langues à faible ressources, offrant un standard pour évaluer la capacité des modèles à éviter les hallucinations.
• Pour l'éducation technologique : NCTB-QA ouvre la voie au développement de systèmes de tutorat intelligent, de génération automatique de quiz et d'outils d'évaluation personnalisés alignés sur le programme national du Bangladesh.
• Perspectives futures : Les auteurs suggèrent d'exploiter les annotations de Chain-of-Thought (CoT) avec des modèles génératifs (LLM) pour améliorer le raisonnement, ainsi que d'étendre le dataset vers le multimodal (diagrammes, tableaux) pour refléter la complexité des manuels scolaires.

En conclusion, l'étude démontre que bien que les modèles pré-entraînés sur l'anglais aient une capacité de transfert initiale, un fine-tuning spécifique au domaine et à la langue est indispensable pour obtenir des performances robustes et fiables dans les contextes éducatifs bangla.