Self-hosted Lecture-to-Quiz: Local LLM MCQ Generation with Deterministic Quality Control

Este artigo apresenta um pipeline autônomo e sem dependência de APIs externas que converte PDFs de aulas em bancos de questões de múltipla escolha usando modelos de linguagem locais, garantindo qualidade através de verificações determinísticas e promovendo privacidade, responsabilidade e sustentabilidade ambiental no contexto educacional.

O essencial

Imagine que você é um professor e tem uma pilha de anotações de aula (os PDFs) que precisa transformar em um teste de múltipla escolha para seus alunos. Antigamente, você teria que escrever cada pergunta manualmente, o que dá muito trabalho. Hoje, a Inteligência Artificial (IA) pode fazer isso por você em segundos.

Mas aqui está o problema: se você usar IAs públicas (como o ChatGPT ou outros serviços na nuvem), você está enviando suas anotações confidenciais para servidores de empresas estranhas. Além disso, a IA pode inventar respostas erradas, criar perguntas com duas respostas certas ou repetir as mesmas opções, o que transforma o teste em uma bagunça.

Este artigo apresenta uma solução chamada L2Q (Lecture-to-Quiz), que funciona como uma "Fábrica de Testes Segura e Local".

Aqui está como funciona, usando analogias simples:

1. A Fábrica na Sua Casa (Self-Hosted / API-free)

Em vez de enviar suas anotações para uma "fábrica gigante" na nuvem (onde você não tem controle), você instala a máquina de fazer perguntas diretamente no seu computador (ou em um servidor local da sua universidade).

• A Analogia: É como ter um chef de cozinha particular na sua própria cozinha, em vez de pedir comida para um restaurante que você não conhece. Você não precisa enviar seus ingredientes secretos (as anotações da aula) para fora. Tudo acontece dentro da sua casa.

2. O Chefe de Controle de Qualidade (Deterministic QC)

A IA é ótima para rascunhar ideias, mas ela é "preguiçosa" e às vezes comete erros bobos. O L2Q não confia cegamente na IA. Ele tem um inspetor de qualidade rigoroso que trabalha ao lado do chef.

• O que o inspetor faz?
  • Verifica a Receita: Garante que a pergunta está no formato certo (JSON), com exatamente 5 opções (A, B, C, D, E).
  • O Teste do Espelho: Se a IA escrever duas opções que significam a mesma coisa (ex: "2+2" e "4"), o inspetor grita: "Ei, isso é repetido! Troque uma!".
  • O Chefe da Resposta Certa: Garante que só existe uma resposta correta. Se a IA marcar duas como certas, o teste é refeito.
  • A Regra de Arredondamento: Se a resposta é um número com muitas casas decimais (ex: 0,881), o inspetor verifica se a pergunta disse "arredonde para 3 casas". Se não disse, ele avisa o professor para corrigir.

Se a IA errar, ela não é punida, mas é mandada de volta para a cozinha para tentar de novo (até 3 vezes), até que o inspetor fique feliz.

3. O Produto Final: Um Livro de Perguntas Estático

O grande truque deste sistema é que, no final, a IA some.

• A Analogia: Imagine que a IA é um esboçador de arquitetura. Ela desenha a planta da casa. Depois que o engenheiro (o inspetor) e o dono da casa (o professor) aprovam o desenho, a casa é construída em concreto.
• Por que isso importa? Quando o aluno for fazer o teste, ele não precisa de internet, nem de uma IA rodando. Ele apenas abre um arquivo de texto (como um PDF ou uma planilha) que foi importado para o Google Forms. A "caixa preta" da IA foi removida do momento da prova. O aluno vê apenas o resultado limpo e seguro.

4. O Que Eles Descobriram?

Os pesquisadores testaram isso com três aulas curtas sobre física e matemática.

• Resultado: De 120 perguntas geradas, todas passaram no teste de qualidade rigoroso.
• O "Quase Erro": O inspetor encontrou 8 problemas pequenos (como falta de instruções de arredondamento ou repetições sutis) e os corrigiu antes de liberar o teste final.
• Velocidade: O sistema foi rápido e barato, rodando em um computador comum (ou um servidor de nuvem gratuito, mas sem enviar os dados da aula para fora).

Por que isso é importante para o futuro?

O artigo conecta isso a um conceito chamado AI2L (IA para Aprender), que diz: "Use a IA para ajudar a criar, mas não deixe a IA controlar a aula final".

• Privacidade: Seus dados de aula nunca saem da sua rede.
• Responsabilidade: O professor sabe exatamente o que está sendo testado, porque o inspetor deixou um registro de tudo o que foi verificado.
• Sustentabilidade (Green AI): Não é necessário gastar energia e dinheiro chamando uma IA gigante toda vez que um aluno faz um teste. A IA só trabalha uma vez para criar o teste; depois, o teste vive sozinho.

Em resumo:
Este trabalho é como criar uma máquina de fazer testes à prova de falhas que você pode colocar na sua mesa. Ela usa a inteligência da IA para gerar ideias, mas usa regras matemáticas rígidas para garantir que o produto final seja perfeito, seguro e privado, sem depender de serviços externos nem de "magia" negra durante a prova dos alunos.

Resumo técnico

Resumo Técnico: Geração de Questões de Múltipla Escolha com LLMs Locais e Controle de Qualidade Determinístico

1. Problema e Motivação

O artigo aborda os desafios de utilizar Grandes Modelos de Linguagem (LLMs) para a criação de materiais de avaliação educacional (questões de múltipla escolha - MCQs) em ambientes acadêmicos. Os principais obstáculos identificados são:

• Privacidade e Propriedade Intelectual: O envio de materiais de aula proprietários (PDFs) para serviços de LLM em nuvem (APIs externas) viola políticas de confidencialidade e dados.
• Caixa-Preta e Auditabilidade: A dependência de modelos externos impede a verificação completa de como as questões foram geradas, dificultando a auditoria de correção e viés.
• Custos e Sustentabilidade: O uso contínuo de modelos grandes em nuvem é energeticamente custoso e financeiramente oneroso para instituições.
• Qualidade Estrutural: A geração automática frequentemente produz erros estruturais, como opções duplicadas, múltiplas respostas corretas ou distratores numericamente equivalentes, que quebram a validade da questão.

O objetivo é criar um pipeline auto-hospedado (API-free) que converta PDFs de aulas em bancos de questões utilizáveis, sem transmitir dados para serviços externos, garantindo ao mesmo tempo a qualidade através de verificações determinísticas.

2. Metodologia: Pipeline L2Q (Lecture-to-Quiz)

O autor propõe o L2Q, um pipeline de cinco estágios projetado para minimizar a dependência de "caixas-pretas" no momento da implantação (uso pelos alunos), embora o modelo de geração permaneça uma caixa-pretas durante a autoria.

Estágios do Pipeline:

1. Ingestão e Segmentação: Extração de texto de PDFs de aulas e divisão em blocos coerentes com referências de página.
2. Planejamento de Tópicos: Geração de um plano de tópicos (definições, propriedades) para garantir cobertura e reduzir redundância.
3. Rascunho de MCQs: O LLM local gera questões com 5 opções (A-E), uma única resposta correta e uma explicação, seguindo um esquema JSON estrito.
4. Controle de Qualidade (QC) Determinístico e Retentativas Limitadas:
   • Verificações "Hard" (Rejeição + Retentativa): Se falhar, o item é rejeitado e o modelo é re-promptado (até 3 tentativas).
     • Conformidade com o esquema JSON.
     • Estrutura de resposta única (apenas uma opção marcada como correta).
     • Desduplicação (exata e por similaridade de string $\ge$ 0.92).
     • Equivalência Numérica/Constante: Verifica se distratores são numericamente equivalentes à resposta correta ou entre si (usando tolerância de $10^{-9}$ e testes de equivalência paramétrica).
   • Verificações de "Aviso" (Aceitação + Log): Identificam riscos editoriais que exigem revisão humana, mas não rejeitam automaticamente.
     • Falta de instrução de arredondamento para respostas numéricas aproximadas.
     • Distratores constantes duplicados.
5. Exportação: Geração de arquivos estáticos (JSONL/CSV) prontos para importação em sistemas como Google Forms, eliminando a necessidade de LLMs durante a execução do teste.

Configuração Experimental:

• Modelo: Qwen2.5-14B-Instruct (formato GGUF, quantização Q4_K_M) rodando via llama.cpp.
• Ambiente: Google Colab Pro+ (NVIDIA A100) para reprodutibilidade, mas o pipeline é agnóstico à plataforma (pode rodar localmente).
• Dados: 3 "aulas fictícias" curtas sobre entropia (Teoria da Informação, Termodinâmica, Mecânica Estatística).
• Protocolo: Varredura de 15 execuções (3 aulas $\times$ 5 sementes aleatórias), visando 8 questões por execução.

3. Contribuições Principais

• Pipeline Auto-hospedado (API-free): Uma solução completa que converte PDFs em questões de múltipla escolha sem enviar dados para APIs externas, preservando a privacidade dos dados institucionais.
• Integração de QC Determinístico: Combinação de decodificação restrita (gramática) e verificações pós-geração (equivalência numérica, desduplicação) para reduzir falhas estruturais.
• Minimização de Caixa-Preta: O modelo LLM é usado apenas para o rascunho; o produto final é um artefato estático, auditável e editável, alinhado com os princípios de "Green AI" e transparência.
• Conjunto de Dados e Ferramentas: Disponibilização de um conjunto de 24 questões curadas, logs de QC, e scripts de reprodução (notebooks e prompts) como arquivos ancilares.

4. Resultados

O estudo de caso com 15 execuções (totalizando 120 questões candidatas) apresentou os seguintes resultados:

• Estabilidade e Custo: O pipeline foi estável. Apenas 2 tentativas extras foram necessárias além das 120 alvo (taxa de retentativa de 1,6%). O tempo médio de execução foi de ~58 segundos por execução (7,3 segundos por questão).
• Eficácia do QC:
  • Aceitação Hard: 100% (120/120) das questões passaram nas verificações estruturais obrigatórias.
  • Alertas de Qualidade: 8/120 questões (6,7%) dispararam alertas de "aviso" (principalmente falta de instruções de arredondamento ou distratores duplicados), permitindo uma revisão humana direcionada.
• Artefatos Deployáveis: Foi produzido um conjunto final de 24 questões (uma por aula, selecionadas sem alertas) em formatos JSONL/CSV, prontas para uso imediato em plataformas de ensino.
• Exemplo de Correção: O sistema identificou casos onde distratores como $C \log_2(0.25)$ e $E \cdot 2 \log_2(0.5)$ eram matematicamente iguais a -2, permitindo a substituição de um deles para garantir a unicidade das opções.

5. Significado e Posicionamento (AI2L)

O trabalho é posicionado através da lente do framework AI2L (AI to Learn), que busca limitar o uso de IA generativa a estágios de suporte à aprendizagem e eliminar componentes de caixa-preta nos entregáveis finais.

• Privacidade (Pilar 3): Atendida ao rodar localmente (ou em ambiente controlado sem envio de conteúdo da aula para APIs públicas).
• Prestação de Contas (Pilar 2): Atendida através de logs de QC e fluxos de trabalho que exigem aprovação humana final.
• Green AI (Pilar 4): Atendida ao exportar artefatos estáticos que não requerem chamadas repetidas a modelos grandes durante o aprendizado.
• Transparência (Pilar 1): Reconhece-se uma limitação: o modelo de rascunho ainda é uma caixa-preta. O trabalho não elimina totalmente a opacidade, mas minimiza seu impacto no produto final.

Limitações e Futuro:
O estudo foca em documentos curtos e sintéticos. Desafios futuros incluem o processamento de PDFs longos/heterogêneos (com figuras e tabelas complexas), a melhoria da verificação de equivalência simbólica (além de testes numéricos) e a validação pedagógica em larga escala em salas de aula reais.

Conclusão:
O L2Q demonstra que é possível criar pipelines de avaliação educacional robustos, privados e auditáveis utilizando LLMs locais e verificações determinísticas, oferecendo uma alternativa viável e ética ao uso indiscriminado de APIs de nuvem para geração de conteúdo educacional.