Human-in-the-Loop Benchmarking of Heterogeneous LLMs for Automated Competency Assessment in Secondary Level Mathematics

1. Declaração do Problema

O artigo aborda o gargalo na transição da avaliação baseada em notas tradicional para a Educação Baseada em Competências (EBC) na matemática do ensino secundário.

• O Desafio: A EBC exige um mapeamento qualitativo das habilidades do aluno (por exemplo, compreensão, fluência operacional) em vez de simples pontuações numéricas. Este processo é intensivo em mão de obra, subjetivo e difícil de escalar manualmente.
• A Lacuna: Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa na correção automatizada, há uma falta de validação empírica comparando LLMs com especialistas humanos no nível de rubrica de competência, particularmente na matemática escolar. Estudos existentes frequentemente sofrem com o problema da "Caixa Preta" (falta de transparência), limitações de contexto e ausência de Ensaios Controlados Randomizados (ECRs) contra a verdade fundamental humana.
• Contexto Específico: O estudo foca no currículo de Matemática Opcional da 10ª série no Nepal, cobrindo tópicos complexos como Matrizes, Geometria Analítica, Trigonometria e Funções.

2. Metodologia

Os autores empregaram um framework de benchmarking Humano-no-Loop (HITL) para avaliar a eficácia de LLMs heterogêneos na automação da avaliação de competências.

A. Fonte de Dados e Construção da Verdade Fundamental

• Fonte de Dados: 33 scripts de respostas manuscritas de alunos da 10ª série no Nepal.
• Design de Avaliação: 16 perguntas de resposta aberta em quatro tópicos matemáticos. Formatos de resposta aberta foram escolhidos para capturar etapas de raciocínio e concepções errôneas parciais.
• Verdade Fundamental Humana: Dois docentes seniores de matemática realizaram correção cega dupla nos scripts.
  • Confiabilidade Interavaliador: Alcançou um Kappa de Cohen Quadrático Ponderado ($\kappa_w$) de 0,8652, indicando concordância "Quase Perfeita", estabelecendo uma verdade fundamental robusta.
  • Arbitragem: Um terceiro especialista sênior resolveu quaisquer conflitos para finalizar os rótulos da verdade fundamental.

B. Framework de Competências

O estudo utilizou uma rubrica multidimensional que avalia quatro Competências Transversais em quatro níveis de proficiência (Consciência, Aplicação, Domínio, Influência):

1. Compreensão: Entendimento da intenção do problema.
2. Conhecimento: Profundidade conceitual e conhecimento pré-requisito.
3. Fluência Operacional: Precisão procedural e aplicação de regras.
4. Comportamento e Correlação: Seleção estratégica de ferramentas e integração de conceitos.

C. Ensemble de LLM e Arquitetura

Um ensemble multi-modelo foi benchmarkado contra a verdade fundamental humana. Todos os modelos usaram uma temperatura uniforme (0,1) e um único Prompt de Avaliação Mestre (Instrução Baseada em Função: "Educador Matemático Especialista") para garantir consistência.

• OCR/Digitalização: Gemini 2.5 Flash (Multimodal) para transcrição de scripts manuscritos.
• EAGLE: Llama 3.1-8B (Densa) – Otimizada para velocidade/latência.
• ORION: Llama 3.3-70B (Densa) – Otimizada para raciocínio profundo.
• NOVA: Gemini 2.5 Flash (MoE Esparsa) – Controle de alta vazão.
• LYRA: Gemini 3 Pro (MoE Esparsa) – "Árbitro Judicial" usando Cadeia de Pensamento (CoT) para resolver inconsistências.

D. Métrica de Avaliação

A métrica primária foi o Kappa de Cohen Quadrático Ponderado ($\kappa_w$). Esta foi escolhida em vez da precisão simples porque leva em conta a natureza ordinal dos níveis de competência (por exemplo, penalizar um erro de "Domínio" vs. "Influência" menos severamente do que um erro de "Domínio" vs. "Consciência").

3. Principais Contribuições

1. Framework Alinhado a Competências: Desenvolvimento de uma rubrica específica para Matemática da 10ª série (Nepal) que mapeia 16 perguntas específicas de tópicos para quatro competências transversais globais.
2. Protocolo de Benchmarking Humano-LLM: Um protocolo rigoroso envolvendo correção humana cega dupla e avaliação de ensemble multi-modelo de LLM, estabelecendo um novo padrão para validação empírica em IA educacional.
3. Análise Arquitetural: Uma investigação empírica sobre como a escala do modelo (contagem de parâmetros) versus a arquitetura (Densa vs. MoE Esparsa) impacta o desempenho em tarefas restritas por rubrica.
4. Comparação Open-Source vs. Proprietária: Comparação direta de modelos de pesos abertos (série Llama) contra modelos proprietários de fronteira (série Gemini).

4. Principais Resultados

O estudo revelou uma significativa "Lacuna de Compatibilidade Arquitetural":

• Linha de Base Humana-Humana: $\kappa_w \approx 0,87$ (Quase Perfeito).
• Desempenho LLM vs. Humano:
  • NOVA (Gemini 2.5 Flash): Alcançou a maior concordância com humanos ($\kappa_w \approx 0,38$), classificada como "Concordância Justa".
  • LYRA (Gemini 3 Pro): Alinhamento moderado ($\kappa_w \approx 0,27$).
  • EAGLE (Llama 3.1-8B): Baixo alinhamento ($\kappa_w \approx 0,10$).
  • ORION (Llama 3.3-70B): Concordância Negativa ($\kappa_w = -0,0261$), indicando "Sem Concordância". O modelo de 70B contradisse sistematicamente o raciocínio humano.
• Consenso Inter-Modelo:
  • A concordância mais forte foi entre os dois modelos Gemini (Lyra e Nova, $\kappa \approx 0,56$), sugerindo uma lógica interna compartilhada na arquitetura MoE Esparsa.
  • Modelos Llama e Gemini mostraram concordância "Leve" a "Leve", indicando diferenças fundamentais na interpretação de dados matemáticos.

Descoberta Crítica: A conformidade do modelo com restrições de instrução e o ajuste arquitetural (MoE Esparsa) provaram ser mais críticos para tarefas baseadas em rubrica do que a escala bruta de parâmetros. O modelo denso maior (Orion) falhou em aderir à rubrica estrita, provavelmente devido a "desvio de instrução", enquanto os modelos menores e otimizados performaram melhor.

5. Significado e Conclusão

• Mudança de Paradigma: Os resultados desafiam a suposição de que "maior é melhor". Em tarefas educacionais especializadas e restritas por rubrica, a conformidade arquitetural e o seguimento de instruções superam a contagem bruta de parâmetros.
• Papel da IA: Os LLMs ainda não são adequados para certificação autônoma devido ao risco de alucinação e falta de raciocínio pedagógico profundo. No entanto, são altamente eficazes como Ferramentas Assistivas de "Primeira Passagem".
• Valor do Humano-no-Loop: O estudo valida um framework HITL onde LLMs extraem evidências preliminares e mapeiam competências, reduzindo significativamente a carga de trabalho para especialistas humanos enquanto mantêm o "escudo de credibilidade" da supervisão humana.
• Escalabilidade: Embora testado no Nepal, o framework de competências (Compreensão, Conhecimento, Fluência, Comportamento) é universal, sugerindo que a metodologia pode ser escalada para contextos internacionais para uma avaliação mais científica e eficiente.

Direções Futuras: Os autores recomendam "Auditorias de Raciocínio" para verificar a lógica da IA, expandir tamanhos de amostra e implementar um "Loop de Crítico" (sistema de duas IAs) para mitigar viés antes da implantação autônoma completa.