Exploring the potential of ChatGPT for feedback and evaluation in experimental physics

Este estudo conclui que, embora o ChatGPT ofereça feedback consistente sobre a estrutura e clareza de relatórios de física experimental, sua avaliação da precisão técnica e interpretação de dados permanece pouco confiável, exigindo supervisão docente para garantir a validade do raciocínio físico.

O essencial

Imagine que você é um professor de física muito ocupado, com 300 alunos entregando relatórios de laboratório. Cada relatório é como um "quebra-cabeça" que mistura texto, fórmulas matemáticas, tabelas e desenhos. Corrigir tudo isso manualmente é exaustivo.

Neste estudo, os pesquisadores decidiram testar um "assistente robótico" (uma Inteligência Artificial chamada GPT-5.4) para ver se ele poderia ajudar a corrigir esses trabalhos. Eles queriam saber: será que o robô consegue dar notas e feedbacks tão bons quanto um professor humano?

Aqui está a explicação do que aconteceu, usando analogias simples:

1. O Cenário: O Robô vs. O Professor

Os alunos fizeram um experimento clássico: medir o tempo de reação de uma pessoa (solta-se uma régua e tenta-se pegá-la). Eles tiveram que escrever um relatório explicando o que fizeram, os cálculos e as conclusões.

Os pesquisadores pegaram 57 desses relatórios e fizeram duas coisas:

1. O Professor corrigiu os trabalhos usando uma lista de critérios (uma "régua" de avaliação).
2. O Robô (IA) corrigiu os mesmos trabalhos, recebendo a mesma "régua" de critérios.

2. O Resultado: O Robô é um "Leitor de Capas"

Aqui está a parte divertida e um pouco preocupante:

• O Robô é ótimo com a "Capa do Livro": Quando se trata de verificar se o relatório tem uma introdução, se o texto está bem organizado, se há uma conclusão e se o formato está certo, o robô foi excelente. Ele disse: "Sim, o aluno escreveu o objetivo, está claro e segue o modelo".
• O Robô é cego com o "Conteúdo Profundo": O problema surgiu quando precisava olhar para as fórmulas matemáticas, gráficos e desenhos.
  • A Analogia: Imagine que o relatório é um bolo. O robô consegue ver perfeitamente se o bolo tem uma camada de chantilly (o texto) e se está num prato bonito (a formatação). Mas, se você pedir para ele provar o bolo para ver se o açúcar está dissolvido ou se a massa ficou boa (os cálculos e gráficos), ele não consegue. Ele tenta adivinhar, mas muitas vezes erra.

3. Onde o Robô "Travou"

O estudo descobriu que o robô tinha dois tipos de problemas:

• O "Eu não vejo nada": Às vezes, o robô dizia honestamente: "Não consigo ler essa fórmula porque está borrada" ou "Não consigo ver o gráfico". Isso é como um robô que fecha os olhos e admite que não consegue ver.
• O "Eu acho que vi" (O mais perigoso): Às vezes, o robô achava que estava lendo a fórmula ou o gráfico, mas na verdade estava lendo "gibberish" (coisas sem sentido) porque a tecnologia de leitura de imagem (OCR) falhou. Ele inventava justificativas.
  • Exemplo: O aluno escreveu uma fórmula com uma raiz quadrada. O robô, ao tentar ler, viu apenas linhas tortas e concluiu: "O aluno errou a raiz quadrada". Na verdade, o aluno estava certo, mas o robô não conseguiu "enxergar" o desenho da raiz.

4. A Nota Final: Não são iguais

Quando compararam as notas:

• O Professor deu uma média de 8,6.
• O Robô deu uma média de 7,9.
• A correlação entre as notas foi fraca. Isso significa que, para muitos trabalhos, o robô deu uma nota alta quando o professor deu baixa, e vice-versa. Eles não estavam "na mesma página".

5. A Lição: O Robô é um Estagiário, não o Chefe

O estudo conclui que a Inteligência Artificial é uma ferramenta incrível, mas não pode substituir o professor.

• O que ela faz bem: Organizar a pilha de papéis, checar se o aluno escreveu o que precisava, verificar a gramática e a estrutura. É como um estagiário muito rápido que organiza a mesa.
• O que ela NÃO faz bem: Entender a lógica física por trás dos números, verificar se o gráfico faz sentido com a fórmula e julgar a profundidade do raciocínio.

A Conclusão em uma frase:
Use a IA para fazer o trabalho pesado de organização e leitura superficial, mas sempre tenha um professor humano por perto para ser o "chefe" que verifica se a física está correta e se o robô não está alucinando com os gráficos. A tecnologia é um ótimo ajudante, mas ainda precisa de supervisão humana para não cometer erros graves na avaliação da ciência.

Resumo técnico

Título: Explorando o potencial do ChatGPT para feedback e avaliação em física experimental

1. Problema de Pesquisa

A avaliação de relatórios de laboratório em cursos de física experimental é um processo complexo e exigente, envolvendo a integração de explicações escritas, raciocínio matemático, análise de dados experimentais e interpretação de gráficos. Em turmas grandes, garantir a consistência na correção e a qualidade do feedback pedagógico representa um desafio significativo. Embora a Inteligência Artificial Generativa (IA), especificamente os Modelos de Linguagem de Grande Escala (LLMs), tenha mostrado potencial para gerar tarefas e auxiliar na avaliação, sua integração responsável e eficaz na educação em física permanece um obstáculo. A questão central é: como um sistema de correção assistido por IA (baseado no GPT-5.4) pode auxiliar na avaliação de relatórios de laboratório e quais são suas potenciais e limitações, especialmente em relação à validação de raciocínio científico e interpretação de dados?

2. Metodologia

O estudo foi conduzido no curso de Física Experimental I da Universidade da República (Uruguai), com uma amostra de 57 relatórios de laboratório (de um total de 150) do ano letivo de 2025.

• Contexto Experimental: A atividade analisada foi "Tempo de Reação e Estatística", onde os alunos medem o tempo de reação humana usando uma régua caída, exigindo modelagem matemática, propagação de incertezas e análise estatística.
• Configuração da IA:
  • Modelo: GPT-5.4.
  • Protocolo: Implementação automatizada via API em modo de processamento em lote (batch processing).
  • Critérios: A IA foi instruída a seguir rigorosamente uma rubrica de 10 pontos utilizada pelos instrutores humanos, cobrindo: Objetivos, Fundamentação Teórica, Montagem Experimental, Análise de Dados, Conclusões e Avaliação Global.
  • Entrada de Dados: Os relatórios foram enviados em formato PDF original, contendo tabelas, equações e gráficos, exigindo que a IA realizasse extração de texto e OCR (Reconhecimento Óptico de Caracteres) para processar elementos não textuais.
• Análise de Dados:
  1. Quantitativa: Comparação das notas atribuídas pela IA e pelos instrutores usando o Coeficiente de Correlação de Rango de Spearman ($\rho$) para verificar a associação monotônica e o Erro Absoluto Médio (MAE) para quantificar discrepâncias.
  2. Qualitativa: Classificação do feedback da IA em três categorias:
     • Aplicação Correta: Justificativa baseada em evidências explícitas do relatório.
     • Razoável, mas Superficial: Feedback plausível, mas sem verificação de requisitos específicos ou evidências rastreáveis.
     • Avaliação Inválida: Notas ou comentários não suportados pelo relatório (devido a contradições ou impossibilidade de acesso à evidência).
  3. Análise Exploratória: Uma subamostra foi reavaliada em modo conversacional para diagnosticar limitações de acesso a evidências específicas (como equações embutidas).

3. Resultados Principais

• Correlação de Notas: Houve uma associação fraca entre as notas da IA e dos instrutores ($\rho = 0,38$). A IA tendeu a atribuir notas sistematicamente mais baixas (média de 7,91) em comparação com os instrutores (média de 8,63), com um erro absoluto médio (MAE) de 1,01 ponto.
• Análise por Categoria de Feedback:
  • Objetivos e Montagem Experimental: A IA teve alto desempenho em "Aplicação Correta" (87% e 84%, respectivamente), validando bem a estrutura formal e a descrição textual.
  • Análise de Dados e Conclusões: Estas foram as áreas mais problemáticas. A categoria "Avaliação Inválida" foi mais frequente nestes itens (10% e 11%, respectivamente).
  • Limitações de Evidência: O principal fator de erro foi a acessibilidade da evidência. A IA frequentemente falhou ao interpretar equações matemáticas complexas, gráficos e tabelas devido a limitações do OCR e extração de texto.
    • Limitações Explícitas: A IA admitiu não conseguir ler fórmulas ilegíveis.
    • Limitações Inferidas: A IA forneceu avaliações confiantes, mas incorretas, baseadas em representações distorcidas de equações (ex: não reconhecer um fator 1/2 ou uma raiz quadrada) ou gráficos mencionados no texto mas não recuperados na extração.
• Modo Conversacional: A análise exploratória mostrou que, ao interagir diretamente com o modelo e direcionar perguntas para elementos específicos (equações ou figuras), a IA conseguia superar as limitações do processamento em lote, incorporando evidências que haviam sido perdidas no fluxo automatizado.

4. Contribuições Chave

1. Caracterização de Limitações Técnicas: O estudo identifica que a eficácia da IA na avaliação de física não depende apenas do modelo de linguagem, mas criticamente da acessibilidade e integridade dos dados extraídos (texto, equações, gráficos).
2. Distinção entre Feedback Superficial e Inválido: Introduz uma classificação importante para a pesquisa em educação, diferenciando feedbacks que são apenas genéricos ("razoáveis mas superficiais") daqueles que são factualmente incorretos devido à incapacidade de processamento de evidências ("avaliações inválidas").
3. Validação do Papel Humano: Demonstra que, embora a IA possa padronizar a estrutura e verificar aspectos formais, ela não substitui a supervisão humana para garantir a validade do raciocínio físico e a interpretação correta de dados experimentais.

5. Significado e Implicações Pedagógicas

O estudo conclui que a correção automatizada em lote via API, nas condições atuais, não é intercambiável com a correção humana em cursos de física experimental.

• Uso Recomendado: A IA deve ser utilizada como uma ferramenta de suporte para auxiliar os instrutores na organização da revisão, identificação de padrões recorrentes e verificação de aspectos formais, aliviando parte da carga de trabalho burocrática.
• Necessidade de Supervisão: Para garantir a integridade acadêmica e a precisão no ensino de raciocínio científico, a supervisão humana é indispensável, especialmente para validar a interpretação de dados, incertezas e representações gráficas.
• Futuro da Pesquisa: A eficácia da avaliação por IA depende do desenvolvimento de protocolos de interação mais robustos (como o modo conversacional) e de melhorias na capacidade dos modelos de processar multimodalidade (texto + matemática + gráficos) sem perda de informação.

Em resumo, a IA oferece potencial para escalabilidade e consistência estrutural, mas falha na profundidade do raciocínio científico e na precisão técnica quando confrontada com a complexidade multimodal dos relatórios de laboratório de física.