Toward LLM-Supported Automated Assessment of Critical Thinking Subskills

1. O Problema

O pensamento crítico é uma habilidade fundamental do século XXI, essencial para avaliar evidências, detectar desinformação e exercer julgamento independente. No entanto, há uma lacuna significativa na comunidade de Mineração de Dados Educacionais (EDM) quanto à definição, medição e suporte automatizado a essas habilidades. As principais dificuldades incluem:

• Operacionalização: A definição de pensamento crítico é frequentemente vaga ou complexa, dificultando sua medição quantitativa.
• Escalabilidade: As avaliações existentes (múltipla escolha ou respostas abertas) muitas vezes carecem de confiabilidade, validade ou viabilidade para feedback formativo em tempo real em contextos de aprendizado autênticos.
• Falta de Ferramentas: Há uma escassez de ferramentas que possam detectar automaticamente indicadores de pensamento crítico em artefatos de aprendizado reais (como redações) para apoiar a avaliação formativa.

O objetivo deste trabalho é investigar a viabilidade de medir "subskills" (sub-habilidades) do pensamento crítico de forma rápida e automatizada, utilizando apenas o artefato produzido pelo aluno (uma redação argumentativa).

2. Metodologia

2.1 Dataset e Codificação Humana

• Fonte de Dados: Utilizou-se uma subamostra do corpus PERSUADE 2.0, contendo 500 redações argumentativas escritas por estudantes do 6º ao 12º ano dos EUA.
• Rubrica de Codificação: Desenvolveu-se uma rubrica baseada na "Critical Thinking Progression" (ETS/Carnegie Foundation), refinada para o contexto de redações. A rubrica avalia 3 habilidades principais divididas em 6 subskills:
  1. Análise de Informação: Síntese de múltiplas fontes, Avaliação da Força da Evidência.
  2. Geração de Argumento: Uso de Contra-argumentos, Uso de Fatos e Opiniões.
  3. Raciocínio Lógico: Drawing Conclusions (Conclusões), Uso de Falácias Lógicas.
• Níveis de Proficiência: 5 níveis (de "Não Aplicável" a "Exemplificando").
• Confiabilidade: Duas equipes de codificadores humanos (totalizando 500 redações codificadas) alcançaram um Krippendorff's Alpha ≥ 0,60 (o limiar definido para confiabilidade suficiente neste estudo), exceto na subskill "Uso de Fatos e Opiniões" (α = 0,57), onde a falta de acesso ao material fonte pelos codificadores limitou a precisão.

2.2 Abordagens de Modelagem com LLMs

O estudo comparou três abordagens distintas utilizando três modelos de linguagem (LLMs): GPT-5 (proprietário), Llama 3.1 8B (open-source, decoder-only) e ModernBERT (open-source, encoder-only).

1. Prompting (GPT-5):
   • Zero-shot: O modelo recebeu apenas a definição da rubrica e a redação.
   • Few-shot: O modelo recebeu exemplos in-contexto de cada nível de proficiência.
2. Fine-tuning (Llama e ModernBERT):
   • Os modelos foram ajustados (fine-tuned) no conjunto de dados de redações humanas.
   • Variáveis de Entrada: Inclusão ou exclusão dos descritores da rubrica no prompt e uso ou não de justificações sintéticas (geradas por GPT-4) antes da etiqueta de classificação.
   • Técnicas: Uso de LoRA para Llama e Focal Loss para ModernBERT (para lidar com desbalanceamento de classes).
   • Divisão de Dados: Testes realizados em divisões baseadas em redações (70/10/20) e divisões baseadas em subskills (generalização para subskills não vistas no treino).

2.3 Métricas de Avaliação

Foram utilizadas métricas para capturar diferentes aspectos do desempenho:

• Acurácia: Correspondência exata.
• RMSE (Raiz do Erro Quadrático Médio): Penaliza erros maiores em escalas ordinais.
• F1 Macro e Ponderado: Avaliação de equilíbrio entre classes majoritárias e minoritárias.
• Krippendorff's Alpha (α): Medida de concordância entre o modelo e os humanos, tratando o modelo como um segundo anotador (considerando a natureza ordinal).

3. Resultados Principais

3.1 Desempenho Geral

• Fine-tuning supera Prompting: O ajuste fino do Llama 3.1 8B obteve os melhores resultados, superando tanto o GPT-5 (zero/few-shot) quanto o ModernBERT.
• Líder: A variante Llama (com rubrica, sem justificação) alcançou um Krippendorff's α de 0,606, cruzando o limiar de confiabilidade humana estabelecido (≥ 0,60).
• Comparação de Modelos:
  • Llama 8B: α = 0,606.
  • ModernBERT: α = 0,541 (desempenho inferior, especialmente em classes minoritárias).
  • GPT-5 (Few-shot): α = 0,542.
• Custo e Privacidade: O fine-tuning de modelos open-source é mais barato e preserva a privacidade dos dados dos alunos em comparação ao uso de APIs proprietárias como o GPT-5.

3.2 Análise por Subskill

O desempenho variou drasticamente dependendo da natureza da subskill:

• Alto Desempenho: Subskills com distribuições de rótulos altamente desbalanceadas (onde o modelo pode prever a classe majoritária com segurança) e distinções claras, como "Síntese de Múltiplas Fontes" (α = 0,74).
• Baixo Desempenho: Subskills que exigem distinções sutis entre níveis de proficiência ou têm rótulos equilibrados, como "Avaliação da Força da Evidência" (α = 0,23) e "Uso de Contra-argumentos" (α = 0,31).
• Generalização: Ao tentar generalizar para subskills não vistas durante o treinamento (split baseado em subskills), o desempenho caiu significativamente (α ≈ 0,42). A inclusão de descritores da rubrica e justificações foi crucial para manter qualquer nível de generalização, embora ainda abaixo do limiar de confiabilidade humana.

3.3 Análise de Erros

Os erros mais comuns ocorreram entre níveis de proficiência adjacentes (ex: classificar "Expanding" como "Emerging"). O modelo teve dificuldade em distinguir entre evidência e falácias lógicas sutis, muitas vezes superestimando ou subestimando o equilíbrio entre os dois.

4. Contribuições Chave

1. Operacionalização de Subskills: Definição e codificação humana de um conjunto específico de subskills de pensamento crítico em redações argumentativas, criando um benchmark para EDM.
2. Validação de LLMs para Pensamento Crítico: Demonstração de que o fine-tuning de modelos open-source (Llama 3.1 8B) pode atingir níveis de concordância com humanos aceitáveis para certas subskills, superando o prompting zero-shot/few-shot de modelos proprietários de ponta.
3. Análise de Generalização: Evidência de que, embora os LLMs possam aprender a rubrica, a generalização para novas subskills sem dados de treino específicos é difícil, exigindo a presença explícita de descritores da rubrica e, idealmente, alguns exemplos in-contexto.
4. Diretrizes Práticas: Identificação de que a qualidade da avaliação automatizada depende fortemente do equilíbrio dos dados e da clareza das distinções entre os níveis de proficiência.

5. Significado e Conclusão

Este trabalho representa um passo inicial viável para a avaliação escalável de pensamento crítico em contextos educacionais autênticos.

• Viabilidade: É possível automatizar a avaliação de componentes específicos do pensamento crítico com confiabilidade próxima à humana, desde que o modelo seja ajustado (fine-tuned) com dados específicos da tarefa.
• Limitações: A tecnologia atual ainda luta com nuances sutis e desbalanceamento de classes. Não se espera que os LLMs superem os humanos em todas as dimensões, mas sim que sirvam como ferramentas de suporte.
• Futuro: Recomenda-se o uso de abordagens híbridas (humano-AI), técnicas de balanceamento de dados (como SMOTE) e o desenvolvimento de métodos de "meta-prompting" para gerar rubricas automaticamente para novas habilidades.
• Impacto: A longo prazo, essas ferramentas podem ser integradas em sistemas de aprendizado adaptativo para fornecer feedback formativo imediato aos alunos e insights detalhados aos professores sobre o desenvolvimento de habilidades de ordem superior, essenciais na era da desinformação e do conteúdo gerado por IA.