TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

Imagine que você é um professor tentando construir um questionário para sua aula de ciências. Você tem um livro didático oficial e grosso que contém todas as respostas, mas não tem tempo para folhear cada página para encontrar as perguntas perfeitas. Você recorre a um robô de computador superinteligente (uma Inteligência Artificial) para ajudar. Você pergunta a ele: "Faça-me um questionário sobre chuva ácida" e o robô começa a digitar. Mas aqui está o detalhe: às vezes esses robôs são como alunos ansiosos que memorizaram alguns fatos e depois começam a inventar coisas para parecerem espertos. Eles podem inventar uma regra científica falsa ou puxar um fato de um capítulo totalmente diferente. Isso é chamado de "alucinação". Para impedir isso, os cientistas usam um truque chamado Geração Aumentada de Recuperação (RAG). Pense no RAG como dar ao robô um cartão de biblioteca e uma regra estrita: "Você só pode escrever seu questionário se puder apontar para a página exata no livro didático onde encontrou a resposta".

No entanto, mesmo com um cartão de biblioteca, o robô ainda pode se confundir. Se o livro didático estiver organizado de uma forma complexa, ou se o robô pegar uma frase minúscula e isolada sem o contexto ao redor, ele ainda pode escrever uma pergunta ruim. A grande questão para os pesquisadores é: Como construímos um robô que não apenas pegue qualquer página, mas entenda a estrutura da lição, saiba quando não tem informações suficientes para responder e verifique seu próprio trabalho antes de mostrá-lo ao professor? Este é o problema que um novo estudo tenta resolver, especificamente para professores de ciências em Bangladesh que usam um livro didático nacional muito específico.

---

Conheça o TeachMateGPT: O Bibliotecário Robô com uma Rede de Segurança

O artigo apresenta um novo sistema chamado TeachMateGPT. Você pode pensar nele não como um único robô, mas como uma equipe de trabalhadores especializados em uma fábrica de alta tecnologia, todos trabalhando juntos para transformar o pedido de um professor em um questionário perfeito e fiel ao livro didático. O sistema foi projetado especificamente para o livro didático de ciências do 8º ano do Conselho Nacional de Currículo e Livros Didáticos (NCTB) de Bangladesh, um recurso que é crucial para os alunos, mas que muitas vezes é difícil para a IA navegar perfeitamente.

Veja como a fábrica funciona, passo a passo:

1. O Índice Inteligente (COPE)
Primeiro, o sistema precisa organizar o livro didático. Imagine que o livro é um sótão gigante e bagunçado. Um robô normal poderia apenas pegar uma caixa de coisas aleatórias. O TeachMateGPT usa uma ferramenta especial chamada COPE (Incorporação Pedagógica Orientada ao Currículo). Em vez de apenas cortar o texto em pedaços aleatórios, o COPE entende a "árvore genealógica" do livro. Ele sabe que um "Capítulo" contém "Lições", que contêm "Seções", que contêm "Definições". Ele constrói um mapa onde cada pedaço de informação está vinculado aos seus pais e vizinhos. Se o robô precisar saber sobre um animal específico, ele não apenas encontra a palavra "animal"; ele encontra todo o parágrafo sobre onde esse animal se encaixa na árvore genealógica da vida. Isso garante que o robô entenda o contexto, não apenas as palavras.

2. Os Guardiões (Os Agentes de Roteamento)
Antes que o robô sequer procure por respostas, uma equipe de agentes "Guardiões" verifica o pedido do professor.

• O Agente de Intenção pergunta: "Esta é uma pergunta de ciências real, ou o professor apenas disse 'Olá'?"
• O Agente de Ambiguidade pergunta: "A pergunta está clara? Se o professor disser 'Faça um questionário sobre animais', o agente para e pergunta: 'Qual capítulo? Qual tipo de animal?'"
• O Agente de Segurança garante que nenhum pedido prejudicial ou fora de tópico passe.
  Se o pedido for muito vago ou inseguro, o sistema para educadamente e pede mais detalhes. Ele se recusa a adivinhar.

3. A Equipe de Detetives (Recuperação Híbrida)
Uma vez que o pedido esteja claro, o sistema sai em busca de evidências. Ele usa dois tipos de busca ao mesmo tempo:

• O Detetive Semântico: Procura pelo significado das palavras (ex: encontrar "chuva ácida" mesmo que o texto diga "chuva com alta acidez").
• O Detetive Lexical: Procura por termos científicos exatos que possam ser perdidos apenas pelo significado.
  Se o sistema encontrar a evidência, ele usa uma regra de "Falha Fechada" (Fail-Closed). Isso é como um professor rigoroso que diz: "Se você não tiver provas suficientes, você tira zero". Se o sistema não conseguir encontrar páginas suficientes no livro didático para sustentar uma pergunta, ele simplesmente se recusa a gerar uma, em vez de inventar algo.

4. Os Escritores (Agentes Especialistas)
Depois que as evidências são coletadas, diferentes "escritores" assumem o controle.

• O Especialista em MCQ escreve perguntas de múltipla escolha (como "A, B, C ou D?").
• O Especialista em Questões Criativas escreve as perguntas mais longas, baseadas em cenários, comuns em exames de conselho (onde um aluno lê um cenário e responde a quatro partes).
  Esses escritores são forçados a usar apenas a evidência que os detetives encontraram. Eles não podem usar sua própria "memória" para inventar fatos.

5. O Inspetor (SAVER)
Antes que o questionário seja entregue ao professor, um inspetor final chamado SAVER (Verificação de Atribuição de Fonte e Classificação de Evidência) verifica o trabalho. Ele olha para cada pergunta e faz três perguntas:

1. Fidelidade: Você realmente encontrou este fato no livro didático?
2. Relevância: Isso corresponde ao que o professor pediu?
3. Risco de Alucinação: Você inventou alguma coisa?
   Se a pontuação for baixa, o sistema sinaliza a pergunta para o professor humano revisar. Ele não a deleta automaticamente; ele apenas diz: "Ei, verifique esta, não tenho 100% de certeza".

O Que Eles Descobriram?

Os pesquisadores testaram este sistema gerando 198 perguntas de ciências (143 de múltipla escolha e 55 questões criativas) cobrindo todos os 14 capítulos do livro didático do 8º ano. Eles então fizeram com que três professores de ciências reais avaliassem os resultados.

Os resultados foram bastante impressionantes. Comparado a um sistema de IA "comum" que apenas pega o texto e escreve:

• A Fidelidade (o quão verdadeiros são os fatos em relação à fonte) saltou de 0,68 para 0,96. Isso significa que o novo sistema é quase perfeitamente honesto sobre de onde obteve sua informação.
• A Relevância da Resposta (o quão bem a resposta se ajusta à pergunta) subiu de 0,60 para 0,89.
• A Utilidade para o Professor (o quão úteis os professores acharam as perguntas) disparou de uma pontuação de 2,00 para 4,80 em uma escala de 5 pontos.

O estudo também mostrou que, se você remover o "Índice Inteligente" (COPE), a qualidade cai significativamente. Se você remover o "Inspetor" (SAVER), o sistema começa a inventar fatos novamente. Isso prova que tanto entender a estrutura do livro quanto verificar o trabalho são essenciais.

Os Limites e O Futuro

Os autores são cuidadosos ao notar o que seu sistema ainda não consegue fazer.

• É Apenas Texto: O sistema lê as palavras do livro didático, mas tem dificuldade com imagens. Se uma pergunta exigir olhar para um diagrama de um circuito ou de uma célula, o sistema não consegue "ver" a imagem. Ele tem que confiar na descrição textual, o que pode perder o ponto da questão visual.
• Precisa de Olhos Humanos: O sistema foi projetado para ser um ajudante, não um substituto. Ele sinaliza perguntas para os professores verificarem, mas não toma a decisão final. Os professores ainda devem revisar o trabalho antes de entregá-lo aos alunos.
• Específico para um Livro: Este sistema foi construído especificamente para o livro didático de ciências do 8º ano de Bangladesh. Pode não funcionar perfeitamente para um outro ano, outra disciplina ou o currículo de outro país sem mudanças significativas.

Em resumo, o TeachMateGPT sugere que, ao dar à IA um melhor mapa do livro didático, uma regra estrita para parar de adivinhar e um inspetor integrado, podemos criar uma ferramenta que ajuda os professores a economizar tempo sem sacrificar a precisão. É um passo em direção a um futuro onde a IA é um copiloto confiável para a educação, em vez de um piloto automático arriscado.