The Impact of LLM Self-Consistency and Reasoning Effort on Automated Scoring Accuracy and Cost

1. Declaração do Problema

A avaliação automatizada de questões de resposta construída (por exemplo, respostas curtas, conversas) é crítica para a avaliação educacional escalável, mas enfrenta desafios relacionados à consistência, custo e precisão. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado promessa na avaliação zero-shot ou few-shot, duas estratégias específicas de otimização permanecem pouco exploradas em contextos educacionais:

1. Autoconsistência (Ensemble): A hipótese de que agregar múltiplas saídas do modelo (votação majoritária) melhora a precisão ao suavizar ruídos.
2. Esforço de Raciocínio: O uso de modelos de "pensamento" que geram traços internos de Cadeia de Pensamento (CoT) antes de responder, com a suposição de que uma deliberação mais profunda resulta em maior precisão.

Pesquisas anteriores sugerem que esses métodos funcionam bem para tarefas de raciocínio objetivo (como problemas de matemática com uma única resposta correta), mas podem não se traduzir para avaliação baseada em rubricas, onde a correção envolve julgamento subjetivo. Além disso, a compensação custo-benefício dessas estratégias em implantações educacionais em grande escala é incerta.

2. Metodologia

Dados e Contexto

• Conjunto de Dados: 900 conversas de estudantes dos itens "Explique seu Pensamento" (EYT) da Khan Academy em matemática do ensino médio (Álgebra I e Geometria).
• Estrutura: Cada item envolve uma questão de resposta selecionada seguida por uma conversa guiada por IA.
• Rubrica de Avaliação: Listas de verificação dicotômicas (binárias) com 2–3 critérios por conversa.
• Verdade Terrena: Pontuações geradas por três avaliadores humanos treinados, com a votação majoritária servindo como verdade terrena (2.100 pontuações de critério no total).

Modelos Avaliados

O estudo comparou modelos de ponta e de baixo custo de dois provedores (OpenAI e Google):

• OpenAI: GPT-5.4 (Ponta), GPT-5.4 Mini, GPT-5.4 Nano.
• Google: Gemini 3.1 Pro Preview (Ponta), Gemini 3 Flash Preview.

Desenho Experimental

O estudo manipulou duas variáveis:

1. Autoconsistência (Tamanho do Ensemble, $j$): Testados tamanhos de ensemble de $j=1, 3, 5, 7$.
   • Restrição: Amostragem por temperatura ($temp=1$) foi usada para ensembles para induzir variância. Chamadas determinísticas ($temp=0$) serviram como linha de base.
   • Nota: Modelos de raciocínio (reasoning_effort da OpenAI e thinking_level do Google) foram restritos a "nenhum" ou "mínimo" para a análise de autoconsistência para evitar custos proibitivos.
2. Esforço de Raciocínio: Testados níveis variando de "nenhum/mínimo" para "baixo", "médio" e "alto".
   • Restrição: Analisado como chamadas únicas ($j=1$) em $temp=1$.

Métricas

• Precisão: Medida usando o $\kappa$ de Cohen (acordo com a verdade terrena humana) e Modelos Lineares Mistos Generalizados (GLMMs) para significância estatística.
• Custo: Estimado com base nos preços da API (taxas de março de 2026), calculando tokens de entrada/saída e tokens de raciocínio por 1.000 chamadas.
• Frente de Eficiência: Uma análise de Pareto ótima plotando Precisão ($\kappa$) vs. Custo para identificar configurações ótimas.

3. Resultados Principais

R1: Autoconsistência (Ensemble)

• Alta Consistência Intra-Modelo: Os modelos foram altamente consistentes consigo mesmos ($\kappa$ de Fleiss entre 0,88 e 0,97) mesmo em $temp=1$. Isso indica que os modelos produzem padrões de pontuação estáveis, independentemente da aleatoriedade, em vez de caminhos de raciocínio variáveis.
• Sem Ganhos de Precisão: Aumentar o tamanho do ensemble de $j=1$ para $j=7$ produziu nenhuma melhoria significativa na precisão da pontuação ($p = .379$).
• Efeito da Temperatura: Chamadas estocásticas ($temp=1$) foram significativamente mais precisas do que chamadas determinísticas ($temp=0$) para modelos específicos (GPT-5.4 Mini/Nano), mas o ensemble não adicionou valor além de uma única chamada estocástica.

R2: Esforço de Raciocínio

• Tendência Linear Positiva: No geral, maior esforço de raciocínio correlacionou-se com maior precisão ($b=0.145, p < .001$).
• Heterogeneidade do Modelo: O benefício variou significativamente por família de modelos:
  • Gemini 3.1 Pro Preview: Mantive a maior precisão ($\kappa \approx 0.794$) em todos os níveis de raciocínio, mostrando pouca sensibilidade ao parâmetro.
  • GPT-5.4 Nano/Mini: Desempenhou melhor com nenhum raciocínio do que com raciocínio baixo. A precisão caiu no esforço "baixo" antes de se recuperar em "médio/alto".
  • Gemini 3 Flash: Mostrou uma tendência clara de melhoria de raciocínio mínimo para médio, depois estagnou.
• Conclusão: Maior esforço de raciocínio não é uma solução universal; pode degradar o desempenho em modelos menores ou configurações específicas.

R3: Análise de Custo-Eficiência

• Variância de Custo: Custos variaram amplamente com base no tamanho do modelo e tokens de raciocínio.
  • Menor Custo: GPT-5.4 Nano (Sem raciocínio) a $0,27 por 1.000 chamadas.
  • Maior Custo: GPT-5.4 (Alto raciocínio) a $6,12 por 1.000 chamadas.
• Anomalias: O Gemini 3 Flash Preview mostrou um pico de custo contra-intuitivo em raciocínio "médio" devido à geração excessiva de tokens de pensamento (716 tokens) em comparação com raciocínio "alto" (417 tokens).
• Frente de Eficiência:
  • Melhor Valor: GPT-5.4 Nano e Mini (Sem raciocínio) ofereceram precisão próxima à frente ($\kappa \approx 0.75$) a uma fração do custo.
  • Melhor Precisão: Gemini 3.1 Pro Preview (Baixo raciocínio) ofereceu a maior precisão ($\kappa \approx 0.794$), mas a 4–15x o custo das opções mais eficientes.
  • Ineficiência: Aumentar o esforço de raciocínio para GPT-5.4 e modelos de nível médio geralmente adicionou custo sem ganhos de precisão proporcionais, empurrando-os para fora da frente de Pareto.

4. Contribuições Principais

1. Desmistificando a Autoconsistência para Avaliação: O estudo fornece evidências empíricas de que a autoconsistência (votação majoritária) não melhora a precisão da avaliação automatizada para tarefas baseadas em rubricas, pois os modelos exibem alta consistência interna mesmo quando incorretos.
2. Nuance do Esforço de Raciocínio: Demonstra que "mais raciocínio" nem sempre é melhor. Para alguns modelos (por exemplo, GPT-5.4 Mini/Nano), desativar recursos de raciocínio produz resultados superiores em comparação com modos de raciocínio de baixo esforço.
3. Mapeamento da Compensação Custo-Precisão: O artigo estabelece uma frente de eficiência clara, identificando que modelos de baixo custo sem raciocínio frequentemente oferecem o melhor equilíbrio para implantação em grande escala, enquanto modelos de ponta de alto custo são justificados apenas para requisitos específicos de precisão de alto risco.
4. Diretrizes de Implantação Prática: Oferece conselhos acionáveis para tecnólogos educacionais: priorizar a amostragem por temperatura ($temp=1$) em vez de ensembles e selecionar cuidadosamente os níveis de raciocínio com base na família específica do modelo, em vez de assumir que os padrões são ótimos.

5. Significado e Limitações

• Significado: As descobertas desafiam a suposição predominante de que "métodos de ensemble" e "raciocínio profundo" são universalmente superiores para aplicações de LLMs na educação. Desloca o foco para a seleção estratégica de modelos e ajuste de parâmetros como as alavancas primárias para otimizar custo e precisão.
• Limitações:
  • Escopo: Limitado à pontuação dicotômica em matemática do ensino médio; os resultados podem não generalizar para pontuação de ensaios politômica ou outras disciplinas.
  • Validade Temporal: As cifras de custo e desempenho são específicas para as versões do modelo e preços de API disponíveis em março de 2026; a rápida iteração de modelos pode alterar essas cifras.
  • Escopo de Ensemble: Apenas ensemble intra-modelo foi testado; ensemble inter-modelo (combinando arquiteturas diferentes) não foi explorado.

Conclusão: Para a correção automatizada de respostas curtas, a estratégia ótima é frequentemente uma chamada única usando um modelo de baixo custo (por exemplo, GPT-5.4 Nano) com amostragem por temperatura e nenhum/baixo esforço de raciocínio, em vez de ensembles caros ou configurações de raciocínio de alto esforço.