ACE-TA: An Agentic Teaching Assistant for Grounded Q&A, Quiz Generation, and Code Tutoring

O artigo apresenta o ACE-TA, um assistente de ensino agêntico que utiliza modelos de linguagem pré-treinados para rotear autonomamente consultas de cursos de programação para sistemas de perguntas e respostas fundamentadas, geração de quizzes adaptativos e tutoria interativa de código com execução em ambiente controlado.

O essencial

Imagine que você está aprendendo a cozinhar em uma cozinha gigante e lotada. O professor (o chef) está ocupado demais para atender a todos, e os ajudantes de cozinha (os TAs) estão exaustos. Você tem dúvidas sobre uma receita, precisa de ajuda para não queimar o prato e quer testar se realmente aprendeu a técnica. É aí que entra o ACE-TA.

O ACE-TA não é apenas um robô que responde perguntas; é como um assistente de cozinha inteligente e superorganizado que trabalha 24 horas por dia para ajudar você a aprender programação (neste caso, Python).

Aqui está como ele funciona, usando analogias do dia a dia:

1. O "Receitário" Inteligente (Respostas Conceituais)

Às vezes, você só quer entender por que algo funciona, sem escrever código.

• O Problema: Se você perguntar ao Google, ele pode te dar uma resposta genérica ou confusa.
• A Solução ACE-TA: Imagine que o ACE-TA tem uma biblioteca gigante de livros didáticos na cabeça dele. Quando você pergunta algo, ele não "alucina" (inventar coisas). Ele vai até a estante, pega o livro exato, lê a página certa e te explica a resposta usando apenas o que está escrito ali.
• Como funciona: Ele usa uma técnica chamada "RAG" (Geração Aumentada por Recuperação). Pense nisso como um bibliotecário muito rápido que, antes de responder, consulta os livros de referência para garantir que a resposta é precisa e baseada na verdade, não em invenções.

2. O "Treinador de Quiz" Personalizado

Às vezes, você quer testar seu conhecimento, mas os testes de escola são sempre iguais e chatos.

• O Problema: Fazer 50 perguntas fáceis quando você já sabe o básico, ou 50 perguntas impossíveis quando você está começando.
• A Solução ACE-TA: Ele é como um treinador esportivo que cria um treino sob medida para você.
  • Se você pede um teste sobre "funções", ele não joga tudo de uma vez. Ele pergunta: "Você quer focar em funções simples, funções complexas ou erros comuns?".
  • Ele cria perguntas que vão do fácil ao difícil, adaptando-se ao seu desempenho. Se você acerta, ele aumenta o nível. Se erra, ele reforça o básico.
  • Ele garante que o teste cubra todos os tópicos importantes, sem pular nenhum capítulo importante do livro.

3. O "Mestre da Construção" (Tutor de Código Passo a Passo)

Esta é a parte mais mágica. Aprender a programar é como montar um móvel complexo com instruções confusas.

• O Problema: A maioria dos robôs te dá a solução pronta ou apenas diz "está errado". Isso não ajuda você a aprender como pensar.
• A Solução ACE-TA: Ele age como um mestre carpinteiro que trabalha com você, não por você.
  1. Planejamento: Antes de tocar no código, ele diz: "Vamos dividir isso em 3 passos simples".
  2. Passo a Passo: Ele pede para você escrever apenas a primeira linha.
  3. O "Laboratório de Testes" (Sandbox): Assim que você escreve, ele testa o código em um ambiente seguro (como uma caixa de areia onde você pode brincar sem sujar o chão da casa).
  4. Feedback Imediato: Se o código falhar, ele não apenas diz "erro". Ele explica: "Você esqueceu de fechar o parêntese aqui" ou "Sua lógica está certa, mas a sintaxe está errada".
  5. Iteração: Você corrige, ele testa de novo. Ele só deixa você ir para o próximo passo quando o atual estiver funcionando.

Por que isso é especial?

A maioria dos assistentes de IA hoje é como um oráculo: você pergunta, ele responde. O ACE-TA é um agente. Isso significa que ele tem um "cérebro" que decide qual ferramenta usar:

• Precisa de uma explicação teórica? -> Chama o Bibliotecário.
• Precisa de um teste? -> Chama o Treinador.
• Precisa escrever código? -> Chama o Mestre Carpinteiro.

Ele faz tudo isso sem precisar que um professor humano esteja olhando por cima do ombro, permitindo que você estude no seu ritmo, a qualquer hora da noite, sem medo de fazer perguntas "bobas".

Em resumo: O ACE-TA transforma o aprendizado de programação de uma montanha solitária e assustadora em uma trilha guiada, onde você tem um guia experiente ao seu lado, um mapa preciso e um campo de treinamento seguro para praticar até dominar a habilidade.

Resumo técnico

Título: ACE-TA: Um Assistente de Ensino Agente para Q&A Fundamentado, Geração de Quiz e Tutoria de Código

1. O Problema

O ensino superior enfrenta desafios crescentes devido ao aumento das matrículas pós-pandemia, resultando em turmas grandes e sobrecarga de trabalho para instrutores e Assistentes de Ensino (TAs). Os estudantes frequentemente não conseguem obter ajuda oportuna fora do horário de escritório, especialmente em cursos de STEM (Ciência, Tecnologia, Engenharia e Matemática) e programação.

As limitações atuais incluem:

• Sistemas de IA Educacional Tradicionais: Focam principalmente em Q&A de linguagem natural ou suporte administrativo, sem capacidade de raciocínio multi-etapa.
• Falta de Integração: Poucos sistemas unificam a compreensão conceitual, a construção guiada de código e a avaliação formativa.
• Dificuldade de Implementação: Estudantes iniciantes muitas vezes entendem conceitos abstratos, mas lutam para implementá-los em código, depurar erros ou raciocinar sobre o comportamento do programa.

2. Metodologia: Arquitetura do ACE-TA

O ACE-TA (Agentic Coding and Explanations Teaching Assistant) é um framework de IA Agente (AAI) local que integra RAG (Geração Aumentada por Recuperação), avaliação adaptativa e tutoria de código passo a passo. O sistema opera sob uma camada de orquestração que roteia as consultas do usuário para três módulos especializados, reutilizando recursos de LLMs (Large Language Models) para minimizar a latência.

A. Camada de Orquestração (Roteador de Consultas)

• Utiliza dois modelos locais via llama-cpp-python:
  • Roteador/Validador: Phi-3-Mini-128K-Instruct (compacto, para classificação determinística).
  • Gerador: GPT-OSS-20B (maior capacidade, para geração de conteúdo).
• Classifica a entrada do usuário em: Q&A Conceitual, Gerador de Quiz ou Tutor de Código.

B. Módulo de Q&A Conceitual (Grounded Q&A)

• Recuperação Híbrida: Combina busca densa (FAISS) e busca lexical (BM25) sobre um banco de dados vetorial híbrido.
• Reranking: Usa um cross-encoder (MS MARCO-MiniLM-L-6-v2) para reclassificar os resultados e selecionar os 5 melhores trechos de contexto.
• Geração: O LLM gera respostas baseadas estritamente na evidência recuperada, seguindo um prompt estruturado (estilo Harmony). Se o contexto for insuficiente, o sistema admite a falta de suporte, evitando alucinações.

C. Gerador de Quiz Adaptativo

• Decomposição de Tópicos: O validador decompõe pedidos amplos em subtemas para reduzir o desvio de tópico.
• Recuperação e Diversidade: Utiliza Maximum Marginal Relevance (MMR) para selecionar trechos diversos do banco de dados de quizzes, garantindo cobertura ampla.
• Geração de Questões: Cria MCQs (Questões de Múltipla Escolha) baseadas em cenários, com:
  • Racional para distratores.
  • Tags de nível de Bloom (Aplicar, Analisar, Avaliar, Criar).
  • Adaptação de dificuldade: Se o aluno acerta, a próxima questão é mais complexa; se erra, o sistema fornece feedback corretivo e reforço de nível inferior.

D. Tutor de Código Interativo (Stepwise Code Tutor)

• Planejamento: O sistema gera um plano lógico (sem código) decompondo o problema em unidades de raciocínio mínimas.
• Execução Iterativa:
  1. O aluno escreve apenas o snippet de código para o passo atual.
  2. O código passa por uma verificação de AST (Abstract Syntax Tree) para erros de sintaxe antes de ir para o sandbox.
  3. Execução no sandbox (ambiente isolado).
  4. Comparação: Um comparador baseado em LLM avalia se a lógica do passo está correta, aceitando alternativas equivalentes.
  5. Feedback: Se falhar, o sistema analisa a falha principal e fornece uma explicação sobre o erro de raciocínio, permitindo iterações até a solução completa.

3. Principais Contribuições

1. Framework Unificado: Primeiro assistente de ensino agente que integra Q&A fundamentado, geração de quizzes adaptativos e tutoria de código passo a passo em um único pipeline.
2. Novas Integrações Técnicas:
   • Uso de bancos de dados vetoriais duplos otimizados para tarefas específicas (recuperação tardia para Q&A, semântica pura para quizzes).
   • Tutoria de código incremental com execução em sandbox e feedback iterativo, evitando a geração de soluções completas prontas.
3. Validação Rigorosa: Avaliação combinando métricas quantitativas (RAGAS, BERTScore, CodeBLEU) e avaliação qualitativa por Especialistas no Assunto (SMEs).

4. Resultados e Avaliação

O sistema foi testado com dados do livro Learning Python (5ª edição), incluindo 100 pares Q&A, 108 MCQs e 150 problemas de codificação.

• Q&A Conceitual:
  • Fidelidade: Alta precisão de contexto (0.99) e relevância da resposta (0.94).
  • Qualidade: Os SMEs classificaram a profundidade das explicações do ACE-TA como 3.8/5, significativamente superior ao 1.3/5 do modelo Gemini 2.5 Pro, que tendia a incluir informações laterais irrelevantes.
• Gerador de Quiz:
  • Cobertura: Métricas de entropia de Shannon penalizada mostraram uma cobertura ampla de subtemas (média de 1.73).
  • Equilíbrio: O índice de uniformidade de Pielou foi alto (0.97), indicando que nenhum subtema domina os quizzes gerados.
  • Adequação: Média de 3.57/5 na adequação das explicações pelos SMEs.
• Tutor de Código:
  • Robustez: O modelo de maior capacidade (Gemma-3-27B) atingiu um DWPM (Medida de Desempenho Ponderada por Dificuldade) de 1.000.
  • Correlação: Houve uma forte correlação positiva (Spearman $\rho = 0.875$) entre a capacidade efetiva do modelo (parâmetros + precisão) e a robustez na resolução de problemas.
  • Qualidade da Solução: O sistema permitiu que modelos menores convergissem para código executável através de iterações, embora modelos maiores tenham desempenho superior.
  • Clareza dos Passos: Os SMEs avaliaram a clareza dos passos gerados em média 3.84/5, com uma leve queda apenas para problemas difíceis.

5. Significado e Conclusão

O ACE-TA demonstra que frameworks de IA Agente podem superar as limitações dos sistemas de LLM tradicionais em educação, oferecendo suporte que vai além da simples recuperação de informações.

• Impacto Educacional: O sistema atua como um assistente de ensino disponível 24/7, capaz de guiar o aluno através do raciocínio lógico e da depuração, em vez de apenas fornecer a resposta final.
• Escalabilidade: A arquitetura modular e o uso de modelos locais permitem a implantação em ambientes com restrições de hardware ou privacidade de dados.
• Futuro: Os autores planejam expandir o teste para outros cursos além de Python e realizar estudos de implantação em sala de aula para medir o impacto real na aprendizagem e identificar modos de falha específicos.

Em resumo, o ACE-TA representa um avanço significativo na personalização do ensino de programação, combinando fundamentação teórica rigorosa com prática guiada e avaliação adaptativa.