NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance

Este artigo apresenta o NCTB-QA, um grande conjunto de dados e benchmark em bengali para perguntas e respostas educacionais que inclui uma distribuição equilibrada de questões respondíveis e não respondíveis, demonstrando que o ajuste fino de modelos baseados em transformadores melhora significativamente o desempenho em cenários de baixo recurso.

O essencial

Imagine que você está tentando ensinar um robô a ler e entender livros didáticos em bengali (a língua falada no Bangladesh). O problema é que, até agora, os robôs eram ótimos em ler inglês, mas quando chegavam no bengali, eles tinham duas grandes dificuldades:

1. Faltavam livros de treino: Não havia muitos exercícios de leitura em bengali para eles praticarem.
2. Eles eram "confiantes demais": Se o robô não encontrava a resposta no texto, em vez de dizer "não sei", ele inventava uma resposta que parecia verdadeira, mas estava errada. É como um aluno que, na prova, chuta qualquer coisa com muita certeza, mesmo não sabendo a matéria.

Os autores deste artigo criaram uma solução chamada NCTB-QA. Vamos explicar como funciona usando analogias simples:

1. A "Biblioteca Mágica" (O Dataset)

Os pesquisadores pegaram 50 livros didáticos oficiais do governo do Bangladesh (que cobrem do 1º ao 10º ano) e transformaram tudo em um super-pacote de treino.

• O que tem lá? Mais de 87.000 perguntas e respostas.
• O grande truque: Eles não criaram apenas perguntas que têm resposta. Eles criaram um equilíbrio perfeito:
  • 57% das perguntas têm resposta no texto (como: "Qual a capital do Bangladesh?").
  • 43% das perguntas não têm resposta no texto (como: "Qual a cor do céu em Marte?" quando o texto só fala sobre o Bangladesh).
• Por que isso é importante? Isso força o robô a aprender uma habilidade crucial: saber quando parar. Ele aprende que, às vezes, a resposta certa é dizer "não tenho essa informação", em vez de alucinar (inventar) uma mentira.

2. O "Treinamento de Elite" (Os Modelos)

Para testar se esse novo material de estudo funcionava, eles pegaram três "atletas" de inteligência artificial (chamados BERT, RoBERTa e ELECTRA) e os colocaram para treinar com esses livros.

• Antes do treino: Os robôs eram como estudantes que nunca leram o livro. O BERT, por exemplo, acertava apenas 15% das vezes. Era muito ruim.
• Depois do treino (Fine-tuning): Após estudar o NCTB-QA, o BERT melhorou 313%, acertando 62% das vezes! Foi como se ele tivesse lido o livro inteiro e entendido a matéria.
• O resultado: Os robôs não só encontraram as respostas certas, mas também aprenderam a dizer "não sei" com muita precisão quando a pergunta era impossível de responder com o texto dado.

3. Por que isso é um marco?

Antes desse trabalho, os conjuntos de dados em bengali eram pequenos e desequilibrados (muitas perguntas fáceis, poucas perguntas difíceis ou sem resposta).

• A analogia do "Espelho": Imagine que você quer ensinar alguém a dirigir. Se você só der a ele um carro em uma pista vazia (apenas perguntas com resposta), ele nunca aprenderá a lidar com um acidente ou uma estrada fechada (perguntas sem resposta). O NCTB-QA é como colocar o aluno em uma pista real, com obstáculos e situações inesperadas.

Resumo da Ópera

Os pesquisadores criaram a maior e mais equilibrada "prova de leitura" em bengali já feita. Eles mostraram que, quando damos aos robôs materiais de estudo específicos e desafiadores (incluindo perguntas sem resposta), eles deixam de ser máquinas que inventam mentiras e se tornam assistentes educacionais confiáveis.

O futuro: Agora, outros pesquisadores podem usar essa "biblioteca" para criar sistemas de ensino mais inteligentes, tutores virtuais e ferramentas que realmente entendam a língua e a cultura do Bangladesh, sem alucinar respostas erradas.

Em suma: Eles deram aos robôs um livro de regras real e ensinaram a eles a humildade de admitir quando não sabem a resposta.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance", apresentado em português:

1. Problema e Motivação

Os sistemas de compreensão de leitura para idiomas de recursos limitados (low-resource languages), como o Bengali, enfrentam desafios significativos, especialmente na gestão de perguntas não respondíveis (unanswerable questions).

• Alucinação: Modelos treinados apenas em perguntas com respostas tendem a gerar respostas fluídas, mas incorretas, quando a informação necessária não está presente no contexto.
• Limitações dos Dados Existentes: Os conjuntos de dados (datasets) de QA em Bengali existentes são pequenos (geralmente entre 3.000 e 15.000 pares), focam excessivamente em perguntas factuais e carecem de um equilíbrio entre perguntas respondíveis e não respondíveis. Além disso, muitos não incluem exemplos adversariais (distratores plausíveis) que forcem o modelo a raciocinar sobre a ausência de resposta.
• Impacto Educacional: Em contextos educacionais, respostas incorretas podem confundir os alunos e minar a confiança em sistemas automatizados.

2. Metodologia

Construção do Dataset (NCTB-QA)

O authors introduzem o NCTB-QA, um dataset de grande escala focado em educação, extraído de materiais oficiais do Conselho Nacional de Currículo e Livro Didático (NCTB) de Bangladesh.

• Escala e Origem: O dataset contém 87.805 pares de pergunta-resposta extraídos de 50 livros didáticos (cobrindo do 1º ao 10º ano).
• Pipeline de Processamento:
  1. Coleta Automatizada: Web scraping automatizado dos livros em formato Markdown.
  2. Limpeza e Segmentação: Remoção de artefatos (números de página, metadados) e segmentação em blocos coerentes de até 2.000 caracteres com sobreposição de 500 caracteres para manter o contexto.
  3. Geração de QA: Utilização do modelo Gemini 2.5 Pro para gerar perguntas e respostas a partir dos segmentos.
     • Para perguntas respondíveis: A resposta é um trecho extraível do contexto.
     • Para perguntas não respondíveis: O modelo foi instruído a criar perguntas topicamente relevantes, mas cujas respostas não existam no texto, evitando pistas triviais (como baixa sobreposição lexical).
• Distribuição Balanceada: O dataset possui uma distribuição equilibrada: 57,25% de perguntas respondíveis e 42,75% de não respondíveis.
• Diversidade: Inclui 17 disciplinas (Ciências, História, Língua Bengali, etc.) e diversos tipos de perguntas (factuais, causais, comparativas, negativas).

Arquitetura e Treinamento

O estudo avaliou três modelos baseados em transformers (encoder-only) para tarefas de extração de respostas:

• Modelos: BERT-base-cased, RoBERTa-base e ELECTRA-base-discriminator.
• Configuração: Fine-tuning realizado com precisão mista (FP16), otimizador AdamW e janelas de contexto sobrepostas para lidar com textos longos.
• Métricas de Avaliação:
  • Exact Match (EM): Correspondência exata após normalização.
  • F1 Score: Média harmônica de precisão e recall em nível de token.
  • BERTScore: Medida de similaridade semântica entre a resposta prevista e a referência.

3. Contribuições Principais

1. Novo Dataset de Referência: O NCTB-QA é o maior dataset de QA educacional em Bengali até o momento, superando significativamente em escala e cobertura de domínio os conjuntos existentes (como BanglaRQA e TigerLLM).
2. Foco em Não Respondibilidade: É o primeiro dataset em Bengali com uma proporção significativa e balanceada de perguntas não respondíveis e exemplos adversariais, permitindo avaliar a capacidade do modelo de "abster-se" de responder (evitar alucinações).
3. Análise de Domínio Específico: Demonstra que o ajuste fino (fine-tuning) em dados específicos do domínio educacional é crucial para o desempenho robusto em idiomas de recursos limitados.
4. Anotações de Raciocínio: O dataset inclui anotações de Chain-of-Thought (CoT), embora não tenham sido exploradas neste trabalho inicial, abrindo caminho para futuras pesquisas com modelos generativos.

4. Resultados

Os resultados do benchmark mostram melhorias substanciais após o fine-tuning:

• Desempenho Geral:
  • BERT: Apresentou a maior melhoria relativa. O F1 Score saltou de 0,150 (zero-shot) para 0,620 (após fine-tuning), uma melhoria de 313%. O Exact Match subiu de 0,059 para 0,509.
  • RoBERTa: Já possuía um desempenho zero-shot superior (F1 de 0,428), mas teve ganhos mais modestos com o fine-tuning (F1 de 0,469), sugerindo que seu pré-treinamento já capturou bem certas características linguísticas.
  • ELECTRA: Melhorou de 0,406 para 0,550 no F1.
• Qualidade Semântica: O BERTScore aumentou significativamente para todos os modelos (ex: BERT de 0,665 para 0,880), indicando que as respostas geradas são semanticamente mais próximas das respostas corretas, mesmo quando não são uma correspondência exata de caracteres.
• Detecção de Não Respondibilidade: Todos os modelos alcançaram desempenho muito alto (F1 entre 0,82 e 0,98) na detecção de perguntas não respondíveis, demonstrando que aprender a "não responder" é uma tarefa mais simples do que a extração precisa de respostas complexas.
• Tipos de Pergunta: O fine-tuning foi particularmente eficaz para perguntas comparativas e factuais no BERT, enquanto o RoBERTa manteve uma base sólida em tarefas causais.

5. Significado e Conclusão

O estudo estabelece o NCTB-QA como um benchmark desafiador e essencial para a pesquisa de QA em Bengali.

• Importância: Preenche uma lacuna crítica em recursos para idiomas de recursos limitados, focando especificamente em aplicações educacionais onde a precisão e a honestidade do modelo (evitar alucinações) são vitais.
• Implicações Práticas: Demonstra que, embora modelos pré-treinados em inglês tenham alguma capacidade de transferência zero-shot, o fine-tuning em dados do domínio específico é indispensável para obter desempenho robusto.
• Futuro: Os autores sugerem que trabalhos futuros devem explorar modelos generativos com as anotações de CoT disponíveis e expandir o dataset para incluir multimodalidade (diagramas e tabelas dos livros didáticos).

Em resumo, o NCTB-QA não apenas fornece dados em larga escala, mas também define novos padrões para a avaliação de sistemas de QA em Bengali, priorizando a segurança e a precisão em contextos educacionais.