BengaliMCQ: Automatic Generation and Answer Prediction of Academic Multiple-Choice Questions in a Low-Resource Language

No mundo da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas para ler, escrever e raciocinar. Esses sistemas podem processar vastas quantidades de texto, mas enfrentam um limite prático: não conseguem ler uma biblioteca inteira de uma só vez. Quando solicitados a gerar um tipo específico de pergunta baseada em um longo capítulo de um livro didático, o modelo frequentemente se perde no volume imenso de palavras, perdendo os detalhes mais importantes. Para resolver isso, pesquisadores utilizam uma técnica chamada geração aumentada por recuperação. Essa abordagem atua como um bibliotecário que primeiro encontra as páginas exatas de que um aluno precisa antes de entregar o livro ao professor. No entanto, os métodos padrão para encontrar essas páginas costumam tratar um livro didático como uma lista plana de frases, ignorando a forma como capítulos, títulos e parágrafos são organizados. Isso é particularmente difícil ao trabalhar com línguas como o bengali, onde existem menos recursos digitais para treinar esses sistemas, levando a resultados que são frequentemente imprecisos ou irrelevantes.

Uma equipe de pesquisadores da Universidade BRAC, em Bangladesh, propôs-se a corrigir este problema ensinando os computadores a compreender a estrutura de um livro, não apenas suas palavras. Eles desenvolveram um sistema chamado BengaliMCQ, projetado para criar automaticamente questões de múltipla escolha para estudantes e responder a essas questões com alta precisão, tudo isso utilizando a língua bengali. Em vez de alimentar toda a parte de um livro didático à inteligência artificial, o sistema deles primeiro constrói um mapa do livro. Ele trata o livro didático como uma hierarquia, conectando capítulos a títulos, títulos a parágrafos e parágrafos a sentenças individuais. Esse mapa permite que o computador veja como as ideias fluem de uma seção para outra, muito mais como uma árvore genealógica mostra as relações entre parentes.

Para tornar esse mapa útil, os pesquisadores treinaram um programa de computador especializado para navegá-lo. Eles criaram um conjunto de dados de milhares de perguntas de amostra e as passagens específicas nos livros que as respondiam. Usando esse treinamento, o sistema aprendeu a identificar quais partes de um livro eram mais relevantes para um tópico específico. Quando um usuário pede ao sistema para gerar uma pergunta sobre um tópico como "fotossíntese" ou "literatura bengali", o sistema não faz uma varredura em todo o livro. Em vez disso, utiliza seu mapa para recuperar apenas as cinco passagens mais importantes. Esses excertos curtos e focados são então enviados a um grande modelo de linguagem, que os utiliza para escrever uma pergunta de alta qualidade ou encontrar a resposta correta. Esse processo reduz drasticamente a quantidade de informação que o computador precisa processar, tornando a tarefa mais rápida e precisa.

Os resultados desta abordagem foram impressionantes. Em testes comparando seu método com técnicas padrão, o novo sistema provou ser muito superior em encontrar a informação correta. Enquanto outros métodos frequentemente tinham dificuldade em localizar a passagem correta, o sistema dos pesquisadores identificava consistentemente o texto mais relevante. Quando testaram a capacidade do sistema de gerar perguntas, o resultado foi não apenas mais preciso, mas também mais diverso e pedagogicamente sólido. Talvez o mais impressionante seja que o sistema alcançou uma precisão de previsão de resposta de 91,41 por cento. Isso significa que, quando confrontado com uma questão de um exame passado, o sistema conseguia identificar a resposta corretamente em mais de nove de cada dez vezes. Em contraste, outros métodos que tentavam ler todo o livro de uma vez ou que utilizavam métodos de busca menos estruturados tiveram um desempenho significativamente inferior, muitas vezes perdendo-se no ruído de textos irrelevantes.

Os pesquisadores também descobriram que a estrutura do livro era o fator mais crítico para o seu sucesso. Quando removeram as conexões que representavam a hierarquia do texto — como o elo entre um capítulo e seus subtítulos — o desempenho do sistema colapsou. Isso provou que compreender a organização do material era muito mais importante do que simplesmente ter acesso às palavras em si. Eles também descobriram que o sistema funcionava melhor quando era treinado para procurar um número específico de sentenças relacionadas e para ignorar conexões que fossem muito fracas. Ao ajustar essas configurações, garantiram que o sistema focasse apenas nas relações mais fortes entre as ideias.

Para garantir que a qualidade do seu trabalho fosse além das pontuações de computador, a equipe contou com especialistas humanos para revisar as perguntas geradas. Dois especialistas em literatura e ciências avaliaram uma amostra aleatória das perguntas criadas pelo sistema. Os especialistas classificaram a vasta maioria das perguntas como relevantes e úteis, com as questões de biologia recebendo as notas mais altas. Essa validação humana confirmou que o sistema não estava apenas imitando padrões, mas produzindo de fato conteúdo que atendia aos padrões de uma sala de aula real. O estudo também destacou um ganho de eficiência significativo: ao utilizar essa abordagem estruturada, o sistema reduziu a quantidade de texto que precisava processar de mais de 43.000 palavras para apenas 1.651 palavras, sem perder nenhum do contexto necessário.

Apesar desses sucessos, os pesquisadores reconhecem que seu trabalho não está isento de limitações. Os dados de treinamento usados para ensinar o sistema foram criados por outros modelos de inteligência artificial, o que significa que há uma pequena chance de erros ou "alucinações" estarem incorporados na base. Além disso, a avaliação humana foi limitada a um pequeno grupo de especialistas e a um conjunto específico de tópicos. A equipe sugere que trabalhos futuros devam envolver conjuntos de dados maiores, totalmente curados por humanos, para melhorar ainda mais a confiabilidade. No entanto, este estudo demonstra um caminho claro para a tecnologia educacional em línguas de baixos recursos. Ao respeitar a estrutura natural dos livros didáticos e usá-la para guiar a inteligência artificial, é possível criar ferramentas que sejam tanto altamente precisas quanto profundamente relevantes para o processo de aprendizagem, preenchendo a lacuna entre a tecnologia complexa e as necessidades cotidianas de estudantes e professores.