💻 computer science

BengaliMCQ: Automatic Generation and Answer Prediction of Academic Multiple-Choice Questions in a Low-Resource Language

El artículo presenta un marco de generación aumentada por recuperación sensible a la estructura que modela los libros de texto en bengalí como grafos jerárquicos para mejorar significativamente la generación de preguntas de opción múltiple y la predicción de respuestas en este idioma de bajos recursos.

Autores originales: Abu Tarabin Surzo, A. K. M. Nihalul Kabir, Sm Azmain Faysal, Ariana Haque Ami, Lawrence Amlan Gomes, Farig Sadeque

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abu Tarabin Surzo, A. K. M. Nihalul Kabir, Sm Azmain Faysal, Ariana Haque Ami, Lawrence Amlan Gomes, Farig Sadeque

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los modelos de lenguaje extensos se han convertido en herramientas poderosas para leer, escribir y razonar. Estos sistemas pueden procesar vastas cantidades de texto, pero enfrentan un límite práctico: no pueden leer una biblioteca entera a la vez. Cuando se les pide generar un tipo específico de pregunta basada en un capítulo largo de un libro de texto, el modelo a menudo se pierde en el gran volumen de palabras, perdiendo de vista los detalles más importantes. Para resolver esto, los investigadores utilizan una técnica llamada generación aumentada por recuperación. Este enfoque actúa como un bibliotecario que primero encuentra las páginas exactas que un estudiante necesita antes de entregarle el libro al profesor. Sin embargo, los métodos estándar para encontrar estas páginas suelen tratar un libro de texto como una lista plana de oraciones, ignorando la forma en que los capítulos, los encabezados y los párrafos están organizados. Esto es particularmente difícil cuando se trabaja con idiomas como el bengalí, donde existen menos recursos digitales para entrenar estos sistemas, lo que conduce a resultados que son a menudo inexactos o irrelevantes.

Un equipo de investigadores de la Universidad BRAC en Bangladesh se propuso solucionar este problema enseñando a las computadoras a entender la estructura de un libro, no solo sus palabras. Desarrollaron un sistema llamado BengaliMCQ, diseñado para crear automáticamente preguntas de opción múltiple para estudiantes y para responder esas preguntas con alta precisión, todo ello utilizando el idioma bengalí. En lugar de alimentar a la inteligencia artificial con todo el libro de texto, su sistema primero construye un mapa del libro. Trata el libro de texto como una jerarquía, conectando capítulos con encabezados, encabezados con párrafos y párrafos con oraciones individuales. Este mapa permite a la computadora ver cómo fluyen las ideas de una sección a otra, de manera muy similar a como un árbol genealógico muestra las relaciones entre parientes.

Para que este mapa sea útil, los investigadores entrenaron un programa de computadora especializado para navegarlo. Crearon un conjunto de datos de miles de preguntas de muestra y los pasajes específicos de los libros que las responden. Utilizando este entrenamiento, el sistema aprendió a identificar qué partes de un libro eran más relevantes para un tema específico. Cuando un usuario pide al sistema generar una pregunta sobre un tema como la "fotosíntesis" o la "literatura bengalí", el sistema no escanea todo el libro. En su lugar, utiliza su mapa para recuperar solo los cinco pasajes más importantes. Estos fragmentos cortos y enfocados son enviados luego a un modelo de lenguaje extenso, el cual utiliza la información para escribir una pregunta de alta calidad o encontrar la respuesta correcta. Este proceso reduce drásticamente la cantidad de información que la computadora tiene que procesar, haciendo que la tarea sea más rápida y precisa.

Los resultados de este enfoque fueron sorprendentes. En pruebas comparando su método contra técnicas estándar, el nuevo sistema demostró ser mucho mejor para encontrar la información correcta. Mientras que otros métodos a menudo luchaban por localizar el pasaje correcto, el sistema de los investigadores identificaba consistentemente el texto más relevante. Cuando probaron la capacidad del sistema para generar preguntas, el resultado no solo fue más preciso, sino también más diverso y pedagógicamente sólido. Quizás lo más impresionante es que el sistema logró una precisión de predicción de respuestas del 91.41 por ciento. Esto significa que, cuando se le presenta una pregunta de un examen pasado, el sistema podía identificar correctamente la respuesta más de nueve de cada diez veces. En contraste, otros métodos que intentaban leer todo el libro a la vez o que utilizaban métodos de búsqueda menos estructurados funcionaban significativamente peor, perdiéndose a menudo en el ruido de texto irrelevante.

Los investigadores también descubrieron que la estructura del libro era el factor más crítico para su éxito. Cuando eliminaron las conexiones que representaban la jerarquía del texto —como el vínculo entre un capítulo y sus subencabezados— el rendimiento del sistema colapsó. Esto demostó que comprender la organización del material era mucho más importante que simplemente tener acceso a las palabras mismas. También encontraron que el sistema funcionaba mejor cuando se le entrenaba para buscar un número específico de oraciones relacionadas e ignorar conexiones que fueran demasiado débiles. Al ajustar estos parámetros, se aseguraron de que el sistema se enfocara solo en las relaciones más fuertes entre ideas.

Para asegurar que la calidad de su trabajo fuera más allá de las puntuaciones computacionales, el equipo reclutó a expertos humanos para revisar las preguntas generadas. Dos especialistas en literatura y ciencia evaluaron una muestra aleatoria de las preguntas creadas por el sistema. Los expertos calificaron la gran mayoría de las preguntas como relevantes y útiles, recibiendo las preguntas de biología las calificaciones más altas. Esta validación humana confirmó que el sistema no solo estaba imitando patrones, sino que realmente estaba produciendo contenido que cumplía con los estándares de un aula real. El estudio también destacó una ganancia de eficiencia significativa: al usar este enfoque estructurado, el sistema redujo la cantidad de texto que necesitaba procesar de más de 43,000 palabras a solo 1,651 palabras, sin perder nada del contexto necesario.

A pesar de estos éxitos, los investigadores reconocen que su trabajo no está exento de limitaciones. Los datos de entrenamiento utilizados para enseñar al sistema fueron creados por otros modelos de inteligencia artificial, lo que significa que existe una pequeña posibilidad de que se hayan incorporado errores o "alucinaciones" en la base. Además, la evaluación humana se limitó a un grupo pequeño de expertos y a un conjunto específico de temas. El equipo sugiere que el trabajo futuro debería involucrar conjuntos de datos más grandes curados enteramente por humanos para mejorar aún más la confiabilidad. No obstante, este estudio demuestra un camino claro hacia adelante para la tecnología educativa en lenguas de bajos recursos. Al respetar la estructura natural de los libros de texto y usarla para guiar a la inteligencia artificial, es posible crear herramientas que sean tanto altamente precisas como profundamente relevantes para el proceso de aprendizaje, cerrando la brecha entre la tecnología compleja y las necesidades cotidianas de estudiantes y profesores.

Resumen Técnico: BengaliMCQ – Generación Automática y Predicción de Respuestas de Preguntas de Opción Múltiple Académicas en un Idioma de Bajos Recursos

Planteamiento del Problema
La generación automática de preguntas de opción múltiple (MCQ, por sus siglas en inglés) es una aplicación derivada significativa de los Modelos de Lenguaje de Gran Escala (LLMs). Sin embargo, la eficacia de estos modelos está fuertmente limitada por la relevancia del contexto de entrada. Para la generación específica de temas, alimentar capítulos enteros de libros de texto suele ser impráctico debido a las limitaciones de la ventana de contexto e, incluso cuando se proporcionan, los LLMs pueden fallar al intentar atender consistentemente a los pasajes más relevantes. Los marcos de trabajo estándar de Generación Aumentada por Recuperación (RAG) emplean típicamente métodos de recuperación densa que ignoran la estructura jerárquica de los documentos. Esta limitación es particularmente perjudicial en idiomas de bajos recursos como el bengalí, donde la falta de datos estructurados exacerba las ineficiencias de recuperación y degrada el rendimiento tanto en la generación de preguntas como en la predicción de respuestas.

Metodología
Los autores proponen BengaliMCQ, un marco de RAG sensible a la estructura diseñado específicamente para libros de texto académicos en bengalí. La metodología avanza a través de cuatro etapas clave:

Procesamiento de Documentos y Construcción de Grafos:
El sistema procesa cuatro libros de texto de nivel secundario en bengalí (Literatura, Biología y Ciencias Sociales) mediante la extracción de texto vía OCR. El contenido se analiza en un multigrafo dirigido jerárquico ( $\mathcal{G} = (\mathcal{V}, \mathcal{E})$ ). Los nodos representan capítulos, encabezados, subencabezados, pasajes y oraciones. El grafo se enriquece con tres tipos de aristas:
- Aristas jerárquicas ( $\mathcal{E}_{hier}$ ): Conexiones bidireccionales entre nodos padre e hijo (ej. de capítulo a encabezado).
- Aristas secuenciales ( $\mathcal{E}_{seq}$ ): Conexiones bidireccionales que siguen el flujo lineal del texto.
- Aristas semánticas ( $\mathcal{E}_{sem}$ ): Aristas bidireccionales ponderadas que conectan una oración con sus $K_s$ vecinos más similares basados en umbrales de similitud de coseno ( $T$ ), utilizando embeddings de un bi-encoder multilingüe ajustado (BGE-M3).
Creación de Conjunto de Datos:
Debido a la ausencia de conjuntos de datos etiquetados para estos libros de texto específicos, se generó un conjunto de datos sintético de consulta-pasaje de aproximadamente 22,000 pares utilizando LLMs de última generación (Gemini 3.1 Pro y GPT-4). Las consultas consisten en oraciones temáticas y preguntas cortas mapeadas a pasajes relevantes.
Recuperación Basada en GNN:
Se entrena una Red de Atención de Grafos (GAT) para clasificar pasajes. La arquitectura emplea una capa de atención multicabezas personalizada que integra pesos de arista ( $w_{ij}$ ) y parámetros de sesgo específicos por tipo de arista. El modelo se entrena utilizando un objetivo de aprendizaje contrastivo (pérdida InfoNCE de múltiples positivos) para asignar puntuaciones altas a los pasajes positivos de verdad fundamental (ground-truth) mientras se suprimen los irrelevantes.
Recuperación y Generación en Dos Etapas:
Durante la inferencia, la GAT entrenada recupera los $K_c$ (10) pasajes candidatos para un tema o pregunta dada. Estos son reclasificados mediante un codificador cruzado (BGE-Reranker-V2-M3) para seleccionar los $K_f$ (5) pasajes más relevantes. Este contexto enfocado se introduce en un LLM (Gemini 3.1) mediante prompts estructurados para la generación de MCQ o la predicción de respuestas.

Contribuciones Clave

Marco Sensible a la Estructura: La implementación de un sistema de recuperación basado en GNN que modela las estructuras jerárquicas de los libros de texto, permitiendo la reducción de contexto sin sacrificar la cobertura de contenido.
Pipeline de Datos Sintéticos: La creación de un conjunto de datos sintético de consulta-pasaje a gran escala adaptado para textos académicos en bengalí para facilitar el entrenamiento de la GNN.
Evaluación Integral: Un marco de evaluación riguroso que combina métricas automáticas, estudios de ablación y validación de expertos para evaluar la calidad de la recuperación, la calidad de la pregunta y la precisión de la respuesta.

Resultados

Rendimiento de Recuperación: El pipeline propuesto de "GAT + Reranker" supera significativamente a los baselines, incluyendo BM25, el DPR de pasaje denso estándar y el DPR basado en traducción. Notablemente, alcanza un nDCG@5 de 0.828 con solo 5 pasajes, superando el nDCG@10 de un baseline de "BGE-M3 + Reranker" ajustado (0.826) que utiliza 10 pasajes.
Rendimiento de Tareas Downstream:
- Predicción de Respuestas: El sistema logró una precisión del 91.41% en un conjunto de datos de 1,000 MCQs de estándar de oro (gold-standard) retenido, superando a los baselines de zero-shot, few-shot y Chain-of-Thought (CoT).
- Generación de MCQ: El marco produjo preguntas de mayor calidad (medidas por Defectos de Redacción de Ítems, Calidad de la Pregunta y Relevancia Temática) en comparación con los baselines.
Eficiencia: El marco logró reducir la longitud promedio del contexto alimentado al LLM de 43,591 tokens (en baselines de contexto largo) a 1,651 tokens, reduciendo significativamente los costos computacionales mientras mejoraba la precisión.
Validación de Expertos: La evaluación humana por parte de expertos en el dominio confirmó que el 82.1% de las MCQs generadas fueron calificadas como relevantes (puntuación $\ge$ 3 en una escala de 4 puntos).

Significancia y Limitaciones
El artículo afirma que BengaliMCQ demuestra que modelar la estructura del documento como grafos jerárquicos puede cerrar eficazmente la brecha entre la recuperación sensible a la estructura y la tecnología educativa automatizada, particularmente para idiomas de bajos recursos. El sistema prueba que reducir la longitud del contexto mediante una recuperación inteligente puede mejorar, en lugar de obstaculizar, el rendimiento de los LLM en dominios académicos.

Los autores reconocen modestamente las limitaciones, señalando que el entrenamiento de la GNN depende de un conjunto de datos sintético que puede introducir ruido debido a las alucinaciones de los LLM. Además, las métricas de evaluación automática son aproximaciones, y la validación humana se limitó a un subconjunto estratificado pequeño de temas y dos expertos en el dominio. Se propone un trabajo futuro que incluya conjuntos de datos curados por humanos y estudios más amplios con múltiples anotadores.

Más como este