Resumo Técnico: Um Pipeline de Avaliação Baseado em Currículo para LLM-as-Judge na Educação

Declaração do Problema

A rápida adoção de IA Generativa e Modelos de Linguagem de Grande Escala (LLMs) na educação superou o desenvolvimento de sistemas robustos e verificáveis para avaliações de alto risco. Embora os LLMs mostrem promessa na correção automatizada, confiar apenas em engenharia de prompt corre o risco de produzir saídas que se desviam dos padrões curriculares autorizados, carecem de rastreabilidade em relação às diretrizes oficiais e falham em capturar o conhecimento tácito que professores experientes aplicam durante a avaliação. As abordagens atuais frequentemente tratam a avaliação como uma tarefa centrada no modelo, negligenciando a necessidade de pipelines de software que sistematicamente fundamentem o raciocínio do modelo em artefatos curriculares autorizados, descritores de bandas de desempenho e princípios de correção. Essa lacuna é crítica em contextos de alto risco (ex: exames de ingresso universitário), onde consistência, transparência e alinhamento com padrões jurisdicionais específicos são primordiais.

Metodologia: O Pipeline de Avaliação Baseado em Currículo

Os autores propõem um pipeline de LLM-as-Judge configurável e de múltiplos estágios, desenvolvido em conjunto com um parceiro industrial (Studitory) para apoiar a preparação para exames. Diferente dos sistemas padrão de RAG (Geração Aumentada por Recuperação), este pipeline trata os artefatos curriculares autorizados como entradas de "primeira classe", em vez de contexto auxiliar. A arquitetura é projetada para ser verificável, auditável e fundamentada no framework do HSC (Higher School Certificate) do Departamento de Educação de NSW.

O pipeline opera através dos seguintes estágios:

1. Correspondência e Verificação de Currículo

• Processamento de Entrada: O sistema ingere uma questão e recupera declarações relevantes de "Aprender Sobre" (conhecimento de conteúdo) e "Aprender A" (habilidades cognitivas) do currículo do HSC.
• Recuperação Semântica: Um banco de dados vetorial armazena embeddings de declarações do currículo. O sistema realiza a correspondência de similaridade semântica para vincular a questão aos tópicos e subtópicos relevantes.
• Seleção de Habilidades: O número de habilidades a serem avaliadas é determinado pela alocação máxima de pontos da questão (markmax), usando um mapeamento configurável derivado de análise histórica de exames.
• Verificação de Coerência: Uma etapa de verificação dedicada calcula o "recall de resultados" para garantir que as habilidades e conceitos selecionados cubram suficientemente os resultados de aprendizagem esperados. Mapeamentos incoerentes são descartados ou reclassificados.

2. Geração de Critérios de Avaliação

Este estágio traduz a intenção curricular em rubricas estruturadas e específicas para cada questão através de duas subetapas:

• Estruturação de Critérios: As habilidades e resultados correspondentes são agrupados em dimensões funcionais de avaliação (ex: compreensão conceitual, aplicação). O Glossário de Palavras-Chave do HSC é injetado para estabilizar o significado semântico dos verbos diretivos (ex: "explicar", "avaliar") de acordo com as definições oficiais. O valor de markmax restringe a granularidade e a distribuição das notas.
• Calibragem de Desempenho: Os critérios estruturados são mapeados para quatro níveis de qualidade (Abrangente, Consistente, Alguma Compreensão, Limitada) utilizando Descritores de Bandas de Desempenho autorizados. A granularidade desses níveis é ajustada dinamicamente com base no markmax (ex: subdividindo "Alguma Compreensão" para questões de pontuação alta).
• Restrições Normativas: Treze princípios oficiais de diretrizes de correção (ex: justiça, concessão de abordagens alternativas) são incorporados como regras não negociáveis para evitar normas alucinadas e garantir que o crédito parcial seja atribuído apropriadamente.

3. Ciclo de Avaliação Automatizada e Feedback

• Pontuação: Quando um aluno envia uma resposta, o sistema a avalia contra os critérios gerados por critério, suportando crédito parcial.
• Geração de Feedback: As justificativas são geradas referenciando as habilidades do currículo e as bandas de desempenho específicas utilizadas na decisão de correção, garantindo que o feedback seja rastreável aos objetivos de aprendizagem, em vez de comentários genéricos.
• Verificação de Proveniência: Todos os artefatos intermediários (habilidades correspondentes, rubricas geradas, lógica de pontuação) são registrados persistentemente com carimbos de data/hora e metadados, permitindo auditoria e reconstrução pós-hoc da decisão de correção.

Principais Contribuições

1. Operacionalização Arquitetural: O design e a implementação de um pipeline de LLM-as-Judge configurável e baseado em currículo que incorpora artefatos de avaliação autorizados como contexto estruturado, indo além da simples engenharia de prompt para um pipeline de software verificável.
2. Integração de Conhecimento Tácito: A identificação e operacionalização do julgamento humano tácito (ex: heurísticas de corretores, verificações de coerência) através de artefatos e restrições estruturadas, abordando uma lacuna crítica na avaliação educacional confiável.
3. Validação Empírica: Uma avaliação preliminar demonstrando que o pipeline alcança resultados de correção comparáveis aos de tutores humanos, ao mesmo tempo em que fornece justificativas explicitamente rastreáveis à intenção curricular e aos padrões oficiais.

Resultados da Avaliação Preliminar

O sistema foi avaliado em um conjunto de dados de 47 questões corrigidas por um tutor humano, utilizando métricas incluindo o Coeficiente de Correlação de Concordância (CCC) de Lin e o kappa de Cohen ponderado.

• Concordância de Correção: O pipeline alcançou um CCC de 0,81 e um kappa de 0,64 quando comparado com as notas humanas. Curiosamente, o prompting direto de LLM (sem o workflow estruturado do pipeline) mostrou concordância numérica comparável ou ligeiramente superior com as notas humanas, sugerindo que os LLMs podem imitar padrões de pontuação via conhecimento interno. No entanto, os autores argumentam que isso não garante o alinhamento com os padrões autorizados.
• Qualidade da Justificativa: Em comparações pareadas, as justificativas do pipeline superaram significativamente tanto as justificativas geradas por humanos quanto os prompts diretos de LLM.
  • Taxas de Vitória: O pipeline venceu 80,4% das comparações contra justificativas humanas e ~69,6% contra baselines diretas de LLM (gpt-5 e gpt-5-nano).
  • Rastreabilidade: A análise do score BLEU mostrou que as justificativas do pipeline tinham uma sobreposição lexical significativamente maior com o texto autorizado do currículo, definições de glossário e descritores de bandas de desempenho em comparação com outros métodos.
• Estudos de Caso: A análise de discordâncias específicas destacou que o pipeline aplica uma interpretação "baseada em critérios" tolerante à recuperação semântica parcial, enquanto corretores humanos podem aplicar cortes de legibilidade pragmática. Por outro lado, o pipeline pode ser excessivamente rígido em relação à semântica dos verbos diretivos (ex: "discutir" exigindo ambos os lados de um argumento) se não for guiado por uma prática profissional matizada.
• Implantação Operacional: Integrado à plataforma Studitory para mais de 5.700 alunos, o sistema processou mais de 3.000 respostas com uma taxa de sobreposição manual de apenas 2,91%, indicando usabilidade operacional. O sistema também demonstrou robustez contra tentativas de prompt-injection ao atribuir nota zero.

Significância e Alegações

O artigo alega que a arquitetura proposta demonstra como a engenharia de contexto pode operacionalizar a IA generativa responsável para avaliação. Ao tratar os artefatos curriculares autorizados e os princípios de correção como componentes de primeira classe, o pipeline incorpora o julgamento profissional no tempo de design, enquanto suporta uma correção escalável e consistente em tempo de execução.

Os autores afirmam que, embora LLMs não guiados possam aproximar-se numericamente das notas humanas, eles carecem de garantias de alinhamento com os artefatos curriculares autorizados e falham em produzir justificativas rastreáveis aos padrões oficiais. O estudo conclui que o embasamento curricular e a verificação são mecanismos arquiteturais críticos para construir sistemas de LLM-as-Judge confiáveis, oferecendo um caminho para uma avaliação automatizada consistente, transparente e auditável em contextos educacionais de alto risco. O trabalho posiciona o pipeline não como um substituto para a supervisão humana, mas como uma ferramenta que produz artefatos prontos para moderação e rastreáveis para apoiar a revisão e calibração humana.