AI Meets Mathematics Education: A Case Study on Supporting an Instructor in a Large Mathematics Class with Context-Aware AI

Resumo Técnico: IA na Educação Matemática – Um Estudo de Caso com IA Consciente do Contexto

1. Problema e Motivação

Cursos universitários de grande porte (com mais de 400 alunos) enfrentam desafios persistentes na prestação de suporte instrucional oportuno e escalável. Embora a Inteligência Artificial Generativa (IA) ofereça potencial para automatizar tarefas, seu uso eficaz na educação depende de confiabilidade e alinhamento pedagógico.

• Desafio Específico: Em um curso de Cálculo I com alta demanda, o volume de perguntas em fóruns de discussão (ex: 700 perguntas em três semanas de preparação para exames) sobrecarrega a equipe de ensino.
• Riscos: O uso de IAs genéricas pode levar a feedback impreciso, alucinações, viés e desalinhamento com os objetivos pedagógicos do curso.
• Objetivo: Desenvolver um sistema de IA que não apenas responda às perguntas, mas que emule o estilo instrucional da equipe do curso, fornecendo respostas precisas, contextualmente relevantes e pedagogicamente alinhadas, sem substituir o instrutor humano.

2. Metodologia

O estudo adotou uma abordagem centrada no ser humano, colaborando estreitamente com o instrutor do curso e especialistas em educação. O processo seguiu quatro etapas principais (ilustradas na Figura 1 do artigo):

A. Coleta e Curadoria de Dados

• Fonte: Um portal de curso de Cálculo I que integra notas de aula interativas com um fórum de Q&A.
• Dataset: Coletaram-se 3.000+ perguntas. Após filtragem (removendo logística e links simples) e tradução do francês para o inglês (usando GPT-4o), o dataset final continha 2.738 pares de pergunta-resposta.
• Augmentation (Aumento de Dados): Para evitar que o modelo aprendesse respostas excessivamente concisas (comuns em respostas humanas sob pressão), utilizou-se o modelo DeepSeek-R1-Distill-Qwen-32B para inserir passos de raciocínio intermediários entre perguntas e respostas. Isso expandiu o dataset para 5.176 pares para o fine-tuning.
• Contexto: Cada pergunta foi associada a um segmento de contexto (notas de aula ou exercícios).

B. Desenvolvimento e Ajuste Fino (Fine-Tuning)

• Modelos: Foram testados vários modelos de linguagem (LLMs) de médio porte (7B-14B parâmetros) para equilibrar desempenho e custo/privacidade (ex: Llama 3.1, Qwen 2.5, Gemma 3, DeepSeek R1).
• Seleção: O instrutor avaliou manualmente 40 perguntas representativas. O DeepSeek R1 (especificamente a versão Distill-Qwen-14B) foi selecionado como base.
• Estratégia: O modelo foi ajustado (fine-tuned) no dataset específico do curso. Modelos gerais foram primeiro adaptados em conjuntos de dados matemáticos (OpenR1-Math-220k) antes do ajuste fino no curso.
• Pipeline de Implantação: Incluiu conversão de imagem para texto (OCR) para perguntas enviadas como fotos e classificação automática do tipo de pergunta (explicação, dica, verificação, etc.) para ajustar os prompts.

C. Avaliação Humana e Automatizada

• Benchmarks: Um conjunto de teste de 150 perguntas representativas, curado pelo instrutor.
• Avaliadores: Um painel de 5 instrutores de Cálculo I (média de 9,6 anos de experiência).
• Critérios: Precisão (Correctness), Relevância, Completude, Alinhamento com a Intenção do Aluno e Comparação com a Resposta do Instrutor.
• Avaliação Automatizada: Uso do GPT-o4-mini para comparar a viabilidade da avaliação automática versus a humana.

D. Implantação e Feedback

• Período: Semestre de Outono de 2025.
• Fluxo Híbrido: O modelo respondia imediatamente aos alunos. O instrutor revisava cada resposta em até 24 horas, podendo: endossar, editar, adicionar comentários ou deletar a resposta.
• Pesquisa: Coleta de feedback quantitativo e qualitativo de 105 alunos que interagiram com o sistema.

3. Principais Contribuições

1. Validação de Modelos Leves Específicos de Curso: Demonstrou que modelos leves (7B-14B), ajustados em dados reais de um curso específico, podem atingir níveis de precisão pedagogicamente úteis, sendo significativamente mais baratos (56x mais barato que GPT-5) e mais privados que modelos grandes em nuvem.
2. Framework de Avaliação Pedagógica: Propôs critérios de avaliação que vão além da correção matemática, incluindo alinhamento com a intenção do aluno e estilo pedagógico (ex: dar dicas vs. dar a solução completa).
3. Fluxo de Trabalho Híbrido (Human-in-the-Loop): Evidenciou que a supervisão humana é crucial não apenas para corrigir erros, mas para calibrar a profundidade da resposta e manter a confiança do aluno.
4. Conjunto de Dados e Código: Disponibilização de um dataset curado de interações aluno-instrutor em Cálculo e o código do pipeline.

4. Resultados Chave

Desempenho do Modelo:

• Precisão: O modelo alcançou 75,3% de respostas totalmente corretas e 12% "majoritariamente corretas" no conjunto de teste de 150 perguntas.
• Comparação com Instrutores: Em 36% dos casos, a resposta do modelo foi avaliada como "igual ou melhor" que a do instrutor, especialmente em perguntas de "explicação" onde o detalhamento passo a passo foi valorizado.
• Desempenho por Dificuldade:
  • Médio: Melhor desempenho (ponto ideal).
  • Fácil: Tendência a super-explicar (excesso de detalhes).
  • Difícil: Identificava o tópico, mas falhava em profundidade conceitual, resultando em respostas parciais.

Avaliação Automatizada vs. Humana:

• A avaliação automatizada (GPT-o4-mini) concordou com humanos em 55,3% dos casos.
• Foi confiável para correção objetiva (acordo de 92% em métricas de precisão), mas falhou em dimensões subjetivas como relevância e completude pedagógica, onde o julgamento humano é insubstituível.

Implantação Real (Outono 2025):

• Uso: 154 alunos ativos, 569 perguntas. Picos de uso em dias de prazos de tarefas e fins de semana (quando instrutores estão menos disponíveis).
• Ações do Instrutor:
  • 26,3% endossadas sem alteração.
  • 27,6% endossadas com comentários adicionais (para esclarecer suposições).
  • 44,7% deletadas (geralmente por desalinhamento pedagógico ou complexidade excessiva, não necessariamente erros factuais).
  • Apenas 1,4% editadas (o instrutor preferia adicionar contexto a reescrever).

Percepção dos Alunos (N=105):

• Utilidade: 50,5% concordaram que as respostas foram úteis; 69,5% afirmaram que a resposta imediata economizou tempo.
• Alinhamento: 61% sentiram que a resposta alinhava-se bem com a intenção da pergunta.
• Confiança: A confiança foi dividida (39% confiavam o suficiente para não verificar sempre; 31,5% discordavam). Os alunos valorizavam a consistência com a notação do curso, mas muitos ainda dependiam da verificação humana para garantir a segurança.
• Feedback Qualitativo: Os alunos apreciaram a imediatidade e o uso de notação familiar, mas houve divergência sobre o nível de detalhe (alguns preferiam dicas sucintas, outros explicações completas).

5. Significado e Implicações

• Não Substituição, mas Expansão: A IA não deve substituir instrutores, mas expandir sua capacidade, permitindo que lidem com consultas rotineiras enquanto focam em casos complexos e nuances pedagógicas.
• Importância do Contexto: O alinhamento com materiais do curso (notas, exemplos, notação) é um fator crítico de sucesso e confiança, superando modelos genéricos.
• Necessidade de Personalização: Existe uma demanda por sistemas que adaptem o nível de detalhe (dica vs. solução completa) conforme a necessidade do aluno e o tipo de pergunta.
• Segurança e Transparência: A supervisão humana é essencial para mitigar riscos de erros sutis e para ensinar aos alunos a reconhecer as limitações da IA.
• Viabilidade Econômica: A abordagem de usar modelos leves e locais torna a IA educacional acessível para instituições com recursos limitados, reduzindo custos e riscos de privacidade de dados.

Em suma, o estudo demonstra que a integração de IA generativa em cursos de STEM de grande escala é viável e benéfica quando realizada através de uma abordagem centrada no ser humano, com dados específicos do curso e supervisão instrucional contínua.