💬 NLP

Counterargument for Critical Thinking as Judged by AI and Humans

Este estudo de intervenção demonstra que os alunos empregam efetivamente o pensamento crítico ao redigir contra-argumentos a conteúdos gerados por IA e confirma que os modelos de linguagem de ponta, quando orientados por rubricas claras, podem avaliar de forma confiável esse trabalho escrito em escala, com alinhamento moderado às avaliações humanas.

Autores originais: Tosin Adewumi, Marcus Liwicki, Foteini Simistira Liwicki, Lama Alkhaled, Hamam Mokayed, Esra Sümer-Arpak

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tosin Adewumi, Marcus Liwicki, Foteini Simistira Liwicki, Lama Alkhaled, Hamam Mokayed, Esra Sümer-Arpak

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma sala de aula onde o professor entrega um desafio: "Aqui está uma opinião forte escrita por um robô superinteligente. Agora, você deve escrever um contra-argumento a ela." Isso é exatamente o que pesquisadores da Universidade de Tecnologia de Luleå fizeram com 36 estudantes de mestrado. Eles queriam ver duas coisas:

A luta contra o argumento de uma IA realmente faz os estudantes pensar mais e melhor?
A própria IA pode ser um bom árbitro para avaliar esses trabalhos dos estudantes, ou ainda precisamos de professores humanos?

Aqui está a explicação detalhada do estudo, apresentada de forma simples.

A Configuração: O Debate "Robô vs. Humano"

Os pesquisadores escolheram quatro temas polêmicos (como "Bebês sabem falar antes de nascer?" ou "A estatística é apenas sobre números?").

Passo 1: Os estudantes pediram a uma IA que escrevesse um argumento a favor de um desses temas.
Passo 2: Os estudantes tiveram que guardar os celulares e escrever um contra-argumento (uma refutação) contra o texto da IA. Eles tiveram que fazer isso sem ajuda, usando seus próprios cérebros, lógica e referências.
Passo 3: Os trabalhos foram avaliados por três "juízes" diferentes:
- O Professor Humano: Um especialista experiente.
- Os Colegas Estudantes: Dois outros estudantes da turma.
- Os Juízes IA: Seis modelos de IA diferentes e de ponta (como ChatGPT e Gemini) foram programados para atuar como professores rigorosos.

A Grande Pergunta: Os Estudantes Pensaram?

A Alegação: Sim.
Os pesquisadores descobriram que, ao escrever esses contra-argumentos, os estudantes não apenas copiaram e colaram ou divagaram. Eles realmente usaram lógica.

A Metáfora: Pense no pensamento crítico como um músculo. Se você deixar a IA fazer o trabalho (descarga cognitiva), seu músculo fica fraco. Mas quando você precisa contra-atacar o argumento da IA, você precisa flexionar esse músculo. O estudo descobriu que a escrita dos estudantes mostrou que eles estavam analisando ativamente, comparando e usando lógica — os ingredientes exatos do pensamento crítico.

A Grande Pergunta: A IA Pode Avaliar Como um Humano?

A Alegação: Sim, surpreendentemente bem.
Geralmente, preocupamo-nos que a IA possa ser muito permissiva ou muito rigorosa. Mas, neste estudo, os juízes IA e os juízes humanos estavam na mesma página.

A Metáfora: Imagine um painel de juízes em um show de talentos. Você tem o "Juiz Especialista" (o professor), os "Juízes do Público" (os estudantes) e os "Juízes Robô" (a IA). Os pesquisadores descobriram que os Juízes Robô estavam dando notas muito semelhantes às do Especialista e do Público.
A Pontuação: Eles usaram uma ferramenta estatística (Gwet's AC2) para medir o quanto os juízes concordaram. A maioria dos modelos de IA concordou com os humanos em cerca de 33% dos casos (o que é considerado uma linha de base decente para esse tipo de avaliação complexa), e em algumas áreas, o acordo foi ainda mais forte.
O Pulo do Gato: A IA precisava de instruções muito claras (uma "rubrica"). Se você disser à IA exatamente o que significa "Lógica" ou "Estilo", ela consegue fazer o trabalho. Se você apenas disser "Avalie isto", ela pode ficar confusa.

O Que Eles Encontraram nos Detalhes

A Lógica é o Rei: A parte mais importante do trabalho foi a "Lógica". A IA e os humanos concordaram que os estudantes fizeram um bom trabalho aqui.
A Verificação de "Alucinação": Os pesquisadores estavam preocupados que os estudantes pudessem trapacear e deixar a IA escrever o contra-argumento para eles. Eles usaram "detectores de IA" (como um detector de metais para trabalhos), mas descobriram que esses detectores eram pouco confiáveis (eram como um detector de metais que apita igualmente para um cinto e um anel de ouro). Em vez disso, o professor humano usou sua intuição e experiência para identificar o único estudante que trapaceou.
A Rubrica Importa: O estudo mostrou que, se você der à IA uma lista de verificação clara (Foco, Lógica, Conteúdo, Estilo, Correção, Referências), ela pode avaliar trabalhos quase tão bem quanto um humano.

A Conclusão

Este estudo é como um teste de direção para o futuro da educação.

Para os Estudantes: Escrever um contra-argumento contra a IA é um ótimo treino para o cérebro. Isso força você a se envolver profundamente em vez de apenas ler passivamente.
Para os Professores: Você não necessariamente precisa jogar fora sua caneta de correção. Você pode usar a IA como um "co-piloto" para avaliar trabalhos, desde que você dê a ela regras muito claras. A IA e o professor humano provavelmente lhe darão o mesmo resultado.

O que o artigo NÃO diz:

Não afirma que a IA é perfeita ou que pode substituir os professores inteiramente.
Não diz que isso funciona para todo assunto ou todo tipo de trabalho (apenas contra-argumentos baseados em rubricas específicas).
Não sugere o uso disso para decisões médicas ou legais de alto risco.

Em resumo: A IA pode ser uma boa avaliadora se você lhe der um manual de regras claro, e lutar contra os argumentos da IA é uma ótima maneira de manter suas habilidades de pensamento crítico afiadas.

Resumo Técnico: Contraargumento para o Pensamento Crítico Avaliado por IA e Humanos

Declaração do Problema
A integração rápida da Inteligência Artificial Generativa (IA Generativa) na educação apresenta um duplo desafio: enquanto oferece benefícios para o engajamento e o planejamento, ela corre o risco de "descarga cognitiva", onde os alunos transferem tarefas cognitivas para a IA, potencialmente levando à atrofia cognitiva e à redução das habilidades de pensamento crítico. A literatura existente sugere que a dependência de ferramentas como o ChatGPT para a redação de ensaios pode diminuir a atividade cerebral em áreas ligadas ao processamento cognitivo. Além disso, avaliar objetivamente o pensamento crítico em formatos de resposta aberta, como contraargumentos escritos, é difícil devido às interpretações subjetivas dos componentes do pensamento crítico. Existe uma lacuna específica na compreensão de como os contraargumentos escritos pelos alunos a conteúdos gerados por IA promovem o pensamento crítico e se os sistemas de IA Generativa podem avaliar tal trabalho de forma confiável em comparação com avaliadores humanos.

Metodologia
O estudo empregou um desenho de intervenção de métodos mistos envolvendo 36 estudantes de mestrado em um curso de Mineração de Textos na Universidade de Tecnologia de Luleå (uma submissão foi desqualificada por irregularidade, restando $n=35$ ).

Tarefa: Os alunos selecionaram uma de quatro declarações de tese de debates populares (abrangendo estatística, linguística, genética e pedagogia). Primeiro, solicitaram a um Modelo de Linguagem (LLM) que gerasse um argumento para a tese. subsequentemente, sem utilizar IA Generativa, escreveram um contraargumento de no mínimo 300 palavras ao conteúdo gerado pela IA.
Protocolo de Avaliação: Cada contraargumento foi avaliado por três avaliadores humanos (duas revisões por pares de estudantes e um professor experiente) e seis Modelos de Linguagem de Grande Porte (LLMs) de ponta.
Rubricas: As avaliações utilizaram seis rubricas estabelecidas: Foco, Lógica, Conteúdo, Estilo, Corretude e Referências. As classificações foram dadas em uma escala Likert de 5 pontos.
Modelos de IA: O estudo avaliou seis modelos: ChatGPT 5.2 (Principal e Instantâneo), ChatGPT 5.1, Gemini 3 Thinking, DeepSeek V3.1 e LLaMA 4-Maverick 17B. Os modelos foram instruídos com uma persona específica (educador especialista) e instruções claras para pontuar os contraargumentos com base nas rubricas.
Análise: O estudo utilizou análise de correlação de Spearman para examinar relações entre as rubricas e o AC2 de Gwet para medir a confiabilidade interavaliador entre os modelos de IA e os avaliadores humanos. Ferramentas de detecção de texto gerado por IA (Grammarly e ZeroGPT) foram usadas inicialmente, mas consideradas pouco confiáveis; o julgamento de especialistas foi usado para identificar e excluir a única submissão gerada por IA.

Principais Contribuições

Evidência de Pensamento Crítico: O estudo demonstra que os contraargumentos autoescritos pelos alunos a conteúdos gerados por IA contêm lógica, um componente fundamental do pensamento crítico, juntamente com outros elementos-chave.
IA como Avaliador: A pesquisa mostra que a IA Generativa pode ser usada com sucesso em escala para avaliar trabalhos escritos de alunos (especificamente contraargumentos) quando guiada por rubricas claras. Essas avaliações de IA geralmente se alinham com as avaliações humanas, incluindo revisões de professores especialistas e revisões por pares de estudantes.

Resultados

Alinhamento de Avaliação: A análise visual (gráficos de barras empilhadas divergentes, gráficos de caixa) indicou que a maioria dos contraargumentos recebeu pontuações altas (Concordo ou Concordo Fortemente) em todos os tipos de avaliação. A rubrica "Lógica" mostrou que o professor experiente foi ligeiramente mais rigoroso do que tanto a média dos estudantes quanto a média dos avaliadores de IA.
Confiabilidade: Os valores de confiabilidade interavaliador AC2 de Gwet para os modelos de IA foram geralmente 0,33, exceto para o LLaMA (0,17). Esses valores foram mais baixos do que o acordo entre os estudantes e o especialista, mas indicaram um nível básico de consistência.
Correlações: A análise de correlação de Spearman revelou correlações monótonas positivas muito fortes entre "Lógica" e "Foco" (0,849 para humanos, 0,882 para LLMs) e entre "Lógica" e "Corretude" (0,919 para humanos, 0,893 para LLMs).
Desempenho do Modelo: O ChatGPT 5.1 desviou-se mais dos outros modelos nas rubricas-chave, frequentemente pontuando mais baixo (média de 3). Os modelos ChatGPT 5.2 mostraram a maior diferença média entre as rubricas "Lógica" e "Corretude".
Feedback Qualitativo: Os modelos de IA forneceram justificativas para suas pontuações, frequentemente observando a contagem de palavras para "Conteúdo" e verificando anos de publicação ou links para "Referências", ao mesmo tempo que reconheciam que julgamentos qualitativos mais profundos frequentemente exigem leitura humana.

Significado e Alegações
O artigo afirma que a aprendizagem baseada em argumentos envolvendo contraargumentos a conteúdos de IA é uma estratégia pedagógica viável para incentivar o pensamento crítico, conforme evidenciado pela construção lógica das respostas dos alunos. Ele postula que a IA Generativa pode servir como uma alternativa escalável e eficiente em termos de custos para avaliar tal trabalho, desde que sejam utilizadas rubricas claras. Os autores enfatizam que, embora a IA possa aproximar o julgamento humano em tarefas de avaliação estruturada, a validade de tais avaliações depende da clareza dos critérios e do design específico da rubrica para distinguir entre proficiência geral em escrita e construtos de pensamento crítico. O estudo conclui que a IA Generativa deve ser usada para apoiar, e não substituir, os processos centrais de pensamento, e apela por pesquisas contínuas sobre a interação entre a IA Generativa e o desenvolvimento de habilidades cognitivas em diversos paradigmas de aprendizagem.