NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance

Este estudio presenta NCTB-QA, un nuevo conjunto de datos a gran escala en bengalí para preguntas y respuestas educativas que incluye un equilibrio de preguntas con y sin respuesta, demostrando que el ajuste fino de modelos transformadores mejora significativamente el rendimiento en este contexto de recursos limitados.

Lo esencial

Imagina que tienes un libro de texto mágico en bengalí (el idioma de Bangladesh) y le pides a un robot inteligente que te responda preguntas sobre lo que lee.

El problema es que, hasta ahora, estos robots eran como niños que siempre quieren tener la última palabra, incluso cuando no saben la respuesta. Si les preguntas algo que no está en el libro, en lugar de decir "No lo sé", inventaban una respuesta falsa con mucha seguridad. Esto es peligroso en la escuela, porque confundiría a los estudiantes.

Los autores de este paper (un grupo de investigadores de la Universidad de Dhaka) decidieron construir un gimnasio de entrenamiento especial para estos robots. Lo llamaron NCTB-QA.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El "Gimnasio" (El Dataset)

Antes de este trabajo, los robots solo entrenaban con ejercicios donde la respuesta siempre existía. Era como si un entrenador de fútbol solo hiciera a los jugadores practicar tiros a puerta, pero nunca les enseñara a defenderse o a decir "no puedo marcar".

• Lo nuevo: NCTB-QA es un libro gigante con 87,805 preguntas sacadas de 50 libros de texto reales de Bangladesh (desde 1º hasta 10º grado).
• El truco clave: Este libro tiene un equilibrio perfecto. Casi la mitad de las preguntas tienen respuesta y la otra mitad no tienen respuesta (porque la información no está en el texto).
• El desafío: Además, incluyeron "trampas" o preguntas con respuestas falsas que parecen correctas. Es como ponerle al robot un examen donde algunas preguntas son imposibles de responder con lo que tiene en la mano. Esto obliga al robot a aprender a decir: "Espera, aquí no está la información, mejor no invento nada".

2. La Construcción (Cómo lo hicieron)

No lo hicieron a mano (sería eterno). Usaron una fábrica automatizada:

1. Bajaron los libros de texto oficiales de internet.
2. Limpian el "polo" (números de página, errores de formato) como quien limpia una casa antes de pintar.
3. Cortaron el texto en trozos manejables (como recortar un periódico en artículos).
4. Usaron una Inteligencia Artificial muy avanzada (Gemini) para que leyera esos trozos y creara las preguntas y respuestas, asegurándose de que algunas fueran imposibles de responder.

3. El Entrenamiento (Los Modelos)

Llevaron a tres "atletas" (modelos de IA llamados BERT, RoBERTa y ELECTRA) a este gimnasio para entrenar.

• Antes del entrenamiento: Los robots eran torpes. Si no sabían la respuesta, inventaban cosas. Por ejemplo, el modelo BERT tenía una puntuación de "fuerza" muy baja (0.150).
• Después del entrenamiento (Fine-tuning): ¡La transformación fue increíble!
  • El modelo BERT mejoró un 313%. Pasó de ser un novato a un experto. Ahora sabe cuándo responder y cuándo callarse.
  • Los otros dos también mejoraron mucho, aprendiendo a entender mejor el significado de las palabras en bengalí, no solo a copiar y pegar.

4. ¿Por qué es importante?

Imagina que quieres enseñar matemáticas a un niño en Bangladesh usando un chatbot.

• Sin este dataset: El chatbot podría inventar una fórmula falsa y el niño aprendería mal.
• Con este dataset: El chatbot sabe exactamente qué sabe y qué no sabe. Si el niño pregunta algo que no está en el libro, el chatbot dirá honestamente: "No tengo esa información en este capítulo".

En resumen

Este paper es como decir: "Para que una IA sea buena enseñando en un idioma con pocos recursos (como el bengalí), no basta con darle muchos libros; hay que darle un examen difícil que incluya preguntas trampa, para que aprenda a ser honesto y preciso."

Han creado la herramienta perfecta para que la tecnología educativa en Bangladesh sea más segura, confiable y útil para millones de estudiantes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance", estructurado según los puntos solicitados:

1. El Problema

Los sistemas de comprensión lectora para lenguas de bajos recursos, como el bengalí, enfrentan desafíos críticos que limitan su aplicación en entornos educativos reales:

• Falta de datos a gran escala: Los conjuntos de datos existentes son pequeños (entre 3.000 y 14.889 pares) y carecen de la diversidad necesaria para entrenar modelos transformadores robustos.
• Ausencia de preguntas no respondibles: La mayoría de los datasets bengalíes actuales solo contienen preguntas con respuestas en el contexto. Esto provoca que los modelos, al no aprender a abstenerse, alucinen respuestas incorrectas pero fluidas cuando la información no está presente.
• Desequilibrio y falta de adversidad: Los datos existentes suelen estar desequilibrados hacia preguntas factoides y carecen de instancias adversarias diseñadas para probar la capacidad de razonamiento contextual profundo y la detección de distracciones plausibles.
• Brecha en el dominio educativo: No existen benchmarks que cubran sistemáticamente el currículo nacional de Bangladesh (grados 1-10) con un enfoque en la detección de respuestas inviables.

2. Metodología

Los autores proponen la creación de NCTB-QA y la evaluación de modelos de estado del arte mediante el siguiente proceso:

Construcción del Dataset (NCTB-QA)

• Fuente de datos: Se extrajeron datos de 50 libros de texto oficiales publicados por la Junta Nacional de Currículo y Libros de Texto (NCTB) de Bangladesh, cubriendo los grados 1 a 10.
• Pipeline de Extracción:
  • Se utilizó un proceso automatizado de web scraping para obtener los libros en formato Markdown.
  • Se aplicó un pipeline de limpieza multi-etapa para eliminar artefactos (números de página, metadatos) y segmentar el texto en contextos coherentes (máximo 2000 caracteres, superposición de 500).
  • Se filtraron segmentos cortos (<150 caracteres) y se agruparon temáticamente.
• Generación de Pares Pregunta-Respuesta:
  • Se utilizó el modelo Gemini 2.5 Pro para generar preguntas basadas en los contextos limpios.
  • Estrategia de Balance: Se diseñó una distribución equilibrada entre preguntas respondibles (57.25%) y no respondibles (42.75%).
  • Diseño Adversarial: Las preguntas no respondibles se construyeron cuidadosamente para ser topológicamente relevantes pero sin contener la respuesta correcta en el contexto, evitando pistas triviales (como baja superposición léxica).
• Estadísticas: El dataset final contiene 87,805 pares de preguntas y respuestas derivados de 10,070 segmentos contextuales. Incluye anotaciones de Chain-of-Thought (CoT) y una distribución equilibrada en 17 materias académicas.

Evaluación y Modelos

• Modelos Evaluados: Se fine-tunearon tres arquitecturas basadas en transformadores: BERT, RoBERTa y ELECTRA (versiones base).
• Configuración: Entrenamiento con precisión mixta (FP16), optimizador AdamW, y manejo de ventanas de contexto superpuestas para respetar los límites de secuencia.
• Métricas: Se evaluó el rendimiento en un conjunto de prueba utilizando:
  • Exact Match (EM) y F1 Score (nivel de token).
  • BERTScore (para medir la similitud semántica, crucial para el bengalí debido a sus variaciones morfológicas).
  • Análisis separado para preguntas respondibles y no respondibles.

3. Contribuciones Clave

1. NCTB-QA: El primer dataset de preguntas y respuestas a gran escala (87k+ pares) específicamente diseñado para el dominio educativo bengalí.
2. Balance de No Respuestas: Una distribución casi equilibrada entre preguntas respondibles y no respondibles, lo que permite entrenar modelos para detectar cuándo no deben responder, reduciendo las alucinaciones.
3. Instancias Adversarias: Inclusión de preguntas con distractores plausibles que obligan al modelo a realizar un razonamiento contextual genuino en lugar de depender de coincidencias léxicas superficiales.
4. Benchmarking Exhaustivo: Establecimiento de líneas base sólidas para modelos extractivos en bengalí, demostrando la importancia del fine-tuning específico del dominio.
5. Anotaciones de Razonamiento: El dataset incluye anotaciones de CoT, aunque no se utilizaron en este estudio, abriendo la puerta a futuras investigaciones con modelos generativos.

4. Resultados

Los experimentos demostraron mejoras sustanciales tras el fine-tuning en comparación con el rendimiento zero-shot:

• Mejoras Generales:
  • BERT: Mostró la mayor mejora relativa. El puntaje F1 aumentó de 0.150 a 0.620 (una mejora del 313%). El EM pasó de 0.059 a 0.509.
  • RoBERTa: Tuvo el mejor rendimiento zero-shot (F1 0.428), pero las mejoras por fine-tuning fueron más modestas (F1 0.469), sugiriendo que sus representaciones pre-entrenadas ya eran robustas.
  • ELECTRA: Mejoró su F1 de 0.406 a 0.550 (35.5% de mejora).
• Calidad Semántica: El BERTScore aumentó significativamente en todos los modelos (de ~0.66 a ~0.88), indicando que los modelos aprendieron a generar respuestas semánticamente más precisas, no solo coincidencias exactas.
• Detección de No Respuestas: Todos los modelos alcanzaron un alto rendimiento en la detección de preguntas no respondibles (F1 entre 0.82 y 0.98), demostrando que la capacidad de "abstenerse" es más fácil de aprender que la extracción precisa de respuestas complejas.
• Análisis por Tipo de Pregunta: Los modelos mejoraron consistentemente en todos los tipos (factuales, causales, comparativos, etc.), aunque el razonamiento comparativo siguió siendo el más desafiante para los modelos con menor fine-tuning.

5. Significado e Impacto

• Avance en PLN de Bajos Recursos: NCTB-QA cierra una brecha significativa en los recursos para el bengalí, proporcionando un estándar de referencia riguroso que supera las limitaciones de datasets anteriores.
• Aplicabilidad Educativa: Al basarse en el currículo nacional oficial, el dataset es directamente aplicable para desarrollar sistemas de evaluación automatizada, tutores inteligentes y herramientas de aprendizaje personalizado en Bangladesh.
• Mitigación de Alucinaciones: La inclusión masiva de preguntas no respondibles es crucial para la seguridad de los sistemas educativos, evitando que los IA proporcionen información falsa a los estudiantes.
• Dirección Futura: El trabajo subraya que el fine-tuning específico del dominio es crítico para el rendimiento en lenguas de bajos recursos y sugiere que futuros trabajos deben explorar modelos generativos (LLMs) utilizando las anotaciones de CoT y extender el dataset a formatos multimodales (diagramas, tablas).

En conclusión, el estudio demuestra que, aunque los modelos pre-entrenados en inglés tienen capacidades iniciales limitadas en bengalí, el fine-tuning con datos educativos de alta calidad y balanceados puede lograr un rendimiento robusto, estableciendo NCTB-QA como un hito para la investigación en comprensión lectora en lenguas de bajos recursos.