Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production

Resumo Técnico: Visibilidade do Pensamento: Uma Reconceptualização Intervencionista da Avaliação na Era da Coprodução por IA

Problema
O artigo aborda um paradoxo estrutural na educação contemporânea: enquanto os educadores integram cada vez mais a IA Generativa (GenAI) em sua prática profissional, os critérios de avaliação permanecem desenhados para a autoria humana independente. A literatura atual foca excessivamente na vigilância da integridade, detecção de plágio e reestruturação da validade, mas falha em fornecer relatos empiricamente fundamentados sobre como os critérios de avaliação se transformam quando a coprodução por IA é estruturalmente integrada ao trabalho do estudante. As soluções existentes, como a documentação de processo, mostram-se vulneráveis à própria geração por IA, deixando os profissionais sem estruturas acionáveis e os formuladores de políticas sem fundamentação evidente. O problema central é a incapacidade dos critérios tradicionais de capturar se os estudantes estão genuinamente avaliando o próprio pensamento ou terceirizando esse julgamento para a IA, criando uma crise de autenticidade e validade.

Metodologia
O estudo utiliza a Teoria da Atividade Histórico-Cultural (CHAT) como lente analítica e o Laboratório de Mudança como metodologia intervencionista. Esta abordagem trata as contradições sistêmicas não como erros a serem eliminados, mas como motores de transformação.

• Participantes: 11 educadores de nove países (incluindo Reino Unido, Nova Zelândia, Indonésia e Arábia Saudita) de setores primário, secundário e terciário. Eles foram posicionados como co-pesquisadores, e não como sujeitos.
• Design da Intervenção: Uma intervenção de cinco workshops ao longo de três semanas, estruturada em torno do ciclo de aprendizagem expansiva de sete estágios de Engeström (Questionamento, Análise, Modelagem, Exame, Implementação, Reflexão, Consolidação).
• Geração de Dados: "Dados espelho", consistindo em três textos de estudantes com graus variados de uso de IA, foram introduzidos no Workshop 1 para evidenciar as contradições entre os valores profissionais e os critérios existentes. As fontes de dados incluíram transcrições de workshops, artefatos colaborativos (critérios redesenhados), registros de chat e reflexões pré/pós-entrevista.
• Análise: O estudo rastreou a transformação do "objeto de avaliação" (o propósito da atividade) ao longo da intervenção. As perturbações observadas nos dados espelho foram mapeadas para contradições (primárias, secundárias, terciárias e quaternárias) dentro do sistema de atividade, traçando uma trajetória do questionamento inicial até um objeto redefinido.

Principais Resultados
A intervenção revelou que as contradições de avaliação não são meros problemas técnicos, mas tensões sistêmicas profundas.

1. A Trajetória do Objeto (O1–O7): O estudo rastreou empiricamente a evolução do objeto de avaliação através de sete estágios:
   • O1–O2: Tentativas iniciais de criar melhores critérios para detectar a IA e calibrar para níveis cognitivos (Taxonomia de Bloom).
   • O3–O4: Uma mudança para a avaliação do rigor do processo, onde um produto falho resultante de um processo rigoroso é visto como uma conquista. No entanto, os participantes descobriram que a própria documentação do processo poderia ser gerada por IA, levando à reintegração do julgamento docente como uma ferramenta epistêmica necessária, embora arriscada.
   • O5–O7: A percepção de que a reforma dos critérios isoladamente é insuficiente. O objeto expandiu-se para incluir uma avaliação de via dupla (processo formativo + competência somativa) e, finalmente, reconheceu que a transformação total exige reforma institucional e política.
2. O Paradoxo Processo-Evidência: O estudo descobriu que a documentação de processo não é uma solução de validade segura porque é suscetível à mesma geração por IA que o produto final.
3. Deslocamento de Contradições: Embora a intervenção tenha abordado parcialmente as principais contradições ao deslocar o foco do produto para o processo, a maioria das contradições foi deslocada, em vez de resolvida. A fragmentação política e a falta de apoio institucional permaneceram inalteradas.
4. Visibilidade do Pensamento: O estudo identificou a necessidade de tornar o pensamento do estudante visível, em vez de apenas o produto ou as etapas do processo. Isso foi operacionalizado através de mecanismos como interrogatório oral, anotação de prompts e diálogos de prestação de contas em tempo real.

Principais Contribuições
O artigo apresenta quatro contribuições específicas para a literatura sobre avaliação mediada por IA:

1. Operacionalização Empírica da Aprendizagem Expansiva: Fornece um relato empírico da trajetória do objeto O1–O7, demonstrando como os encontros dos profissionais com tensões sistêmicas remodelam progressivamente o objeto de avaliação, indo além da identificação teórica de contradições para rastrear suas consequências de desenvolvimento.
2. Resolução do Paradoxo Processo-Evidência: Demonstra que a documentação de processo não pode garantir a validade da avaliação, pois é vulnerável à geração por IA. Consequentemente, o julgamento docente é identificado como um requisito irredutível — um mecanismo não substituível para interpretar a cognição genuína, apesar de seus riscos inerentes de inconsistência e viés.
3. Necessidade Institucional: Estabelece que a reforma dos critérios não pode ter sucesso sem mudanças institucionais e políticas paralelas. O estudo expõe a profundidade da resistência institucional e a fragmentação das políticas (por exemplo, regras variadas entre conselhos de exames) que tornam ineficazes as mudanças pedagógicas isoladas.
4. Visibilidade do Pensamento como um Constructo Teórico: O artigo propõe a "visibilidade do pensamento" como um constructo provisório para nomear o que a avaliação deve positivamente se tornar em contextos mediados por IA. Ele desloca o foco do que a avaliação deve deixar de ser (policiamento) para o que ela deve se tornar (tornar visíveis o raciocínio do estudante e a propriedade sobre os resultados da IA).

Significância e Alegações
O artigo alega que a integração da IA não produz uma melhoria linear simples na avaliação, mas cria um movimento entre estabilização parcial e regressão, dependendo de se as contradições em critérios, autenticidade, equidade e política são abordadas coletivamente.

• Escopo Modesto: Os autores reconhecem que a intervenção não resolveu totalmente todas as contradições; muitas foram deslocadas. O estudo não conclui com uma solução finalizada, mas com uma "abertura" para uma segunda intervenção.
• Âncora Teórica: A significância reside em fornecer uma âncora teórica ("visibilidade do pensamento") para reconceitualizar o próprio objeto de avaliação, indo além dos princípios de design de critérios.
• Direções Futuras: O artigo afirma explicitamente que a definição de "pensamento" neste contexto e a operacionalização da visibilidade do pensamento através de mecanismos mais resistentes à substituição por IA (ex: presença em tempo real vs. documentação) permanecem questões abertas que exigem mais testes empíricos. Recomenda-se uma segunda intervenção para abordar a política, a literacia docente e a calibração da Taxonomia de Bloom.