Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production

Resumen Técnico: Visibilidad del Pensamiento: Una Reconceptualización Intervencionista de la Evaluación en la Era de la Coproducción por IA

Planteamiento del Problema
El artículo aborda una paradoja estructural en la educación contemporánea: mientras los educadores integran cada vez más la IA Generativa (GenAI) en su práctica profesional, los criterios de evaluación siguen diseñados para la autoría humana independiente. La literatura actual se centra excesivamente en la vigilancia de la integridad, la detección de fraude y el reencuadre de la validez, pero no proporciona relatos fundamentados empíricamente sobre cómo se transforman los criterios de evaluación cuando la coproducción por IA se integra estructuralmente en el trabajo del estudiante. Se demuestra que las soluciones existentes, como la documentación del proceso, son vulnerables a la propia generación por IA, dejando a los profesionales sin marcos accionables y a los responsables de políticas sin una base de evidencia. El problema central es la incapacidad de los criterios tradicionales para capturar si los estudiantes están valorando genuinamente su propio pensamiento o si están delegando ese juicio a la IA, lo que crea una crisis de autenticidad y validez.

Metodología
El estudio emplea la Teoría de la Actividad Histórico-Cultural (CHAT) como lente analítica y el Laboratorio de Cambio como metodología intervencionista. Este enfoque trata las contradicciones sistémicas no como errores que deben eliminarse, sino como motores de transformación.

• Participantes: 11 educadores de nueve países (incluyendo el Reino Unido, Nueva Zelanda, Indonesia y Arabia Saudita) de los sectores de primaria, secundaria y educación superior. Fueron posicionados como coinvestigadores en lugar de sujetos de estudio.
• Diseño de la Intervención: Una intervención de cinco talleres que abarcó tres semanas, estructurada en torno al ciclo de aprendizaje expansivo de siete etapas de Engeström (Cuestionamiento, Análisis, Modelado, Examen, Implementación, Reflexión, Consolidación).
• Generación de Datos: Se introdujeron "datos espejo" consistentes en tres guiones de estudiantes con distintos grados de uso de IA en el Taller 1 para hacer visibles las contradicciones entre los valores profesionales y los criterios existentes. Las fuentes de datos incluyeron transcripciones de los talleres, artefactos colaborativos (criterios rediseñados), registros de chat y reflexiones de entrevistas pre y post intervención.
• Análisis: El estudio rastreó la transformación del "objeto de la evaluación" (el propósito de la actividad) a través de la intervención. Las perturbaciones observadas en los datos espejo se mapearon con las contradicciones (primarias, secundarias, terciarias y cuaternarias) dentro del sistema de actividad, trazando una trayectoria desde el cuestionamiento inicial hasta un objeto redefinido.

Resultados Clave
La intervención reveló que las contradicciones de la evaluación no son meros fallos técnicos, sino tensiones sistémicas profundas.

1. La Trayectoria del Objeto (O1–O7): El estudio trazó empíricamente la evolución del objeto de evaluación a través de siete etapas:
   • O1–O2: Intentos iniciales de crear mejores criterios para detectar la IA y calibrar los niveles cognitivos (Taxonomía de Bloom).
   • O3–O4: Un cambio hacia la evaluación del rigor del proceso, donde un producto fallido resultante de un proceso riguroso se considera un logro. Sin embargo, los participantes descubrieron que la documentación del proceso también podía ser generada por IA, lo que llevó a la reinstauración del juicio docente como una herramienta epistémica necesaria, aunque riesgosa.
   • O5–O7: La comprensión de que la reforma de los criterios por sí sola es insuficiente. El objeto se expandió para incluir la evaluación de doble vía (proceso formativo + competencia sumativa) y, finalmente, reconoció que la transformación total requiere una reforma institucional y política.
2. La Paradoja de la Evidencia del Proceso: El estudio encontró que la documentación del proceso no es una solución de validez segura porque es susceptible a la misma generación por IA que el producto final.
3. Desplazamiento de Contradicciones: Si bien la intervención abordó parcialmente las contradicciones clave al desplazar el enfoque del producto al proceso, la mayoría de las contradicciones fueron desplazadas en lugar de resueltas. La fragmentación de las políticas y la falta de apoyo institucional permanecieron inalteradas.
4. Visibilidad del Pensamiento: El estudio identificó la necesidad de hacer visible el pensamiento del estudiante en lugar de solo el producto o los pasos del proceso. Esto se operacionalizó mediante mecanismos como la interrogación oral, la anotación de prompts y los diálogos de rendición de cuentas en vivo.

Contribuciones Clave
El artículo realiza cuatro contribuciones específicas a la literatura sobre la evaluación mediada por IA:

1. Operacionalización Empírica del Aprendizaje Expansivo: Proporciona un relato empírico de la trayectoria del objeto O1–O7, demostrando cómo los encuentros de los profesionales con las tensiones sistémicas reconfiguran progresivamente el objeto de la evaluación, yendo más allá de la identificación teórica de contradicciones para trazar sus consecuencias de desarrollo.
2. Resolución de la Paradoja de la Evidencia del Proceso: Demuestra que la documentación del proceso no puede garantizar la validez de la evaluación ya que es vulnerable a la generación por IA. En consecuencia, el juicio docente se identifica como un requisito irreducible —un mecanismo no sustituible para interpretar la cognición genuina— a pesar de sus riesgos inherentes de inconsistencia y sesgo.
3. Necesidad Institucional: Establece que la reforma de los criterios no puede tener éxito sin un cambio institucional y político paralelo. El estudio expone la profundidad de la resistencia institucional y la fragmentación de las políticas (por ejemplo, las reglas variables entre juntas de exámenes) que invalidan los cambios pedagógicos aislados.
4. La Visibilidad del Pensamiento como Constructo Teórico: El artículo propone la "visibilidad del pensamiento" como un constructo provisional para nombrar aquello en lo que la evaluación debe convertirse positivamente en contextos mediados por IA. Desplaza el enfoque de lo que la evaluación debe dejar de ser (vigilancia) a lo que debe llegar a ser (hacer visibles el razonamiento del estudiante y la propiedad de los resultados de la IA).

Significancia y Reivindicaciones
El artículo sostiene que la integración de la IA no produce una mejora lineal simple en la evaluación, sino que crea un movimiento entre la estabilización parcial y la regresión, dependiendo de si las contradicciones en los criterios, la autenticidad, la equidad y la política se abordan colectivamente.

• Alcance Modesto: Los autores reconocen que la intervención no resolvió plenamente todas las contradicciones; muchas fueron desplazadas. El estudio no concluye con una solución terminada, sino en una "apertura" para una segunda intervención.
• Anclaje Teórico: La importancia radica en proporcionar un anclaje teórico ("visibilidad del pensamiento") para reconceptualizar el objeto de la evaluación mismo, yendo más allá de los principios de diseño de criterios.
• Direcciones Futuras: El artículo establece explícitamente que la definición de "pensamiento" en este contexto y la operacionalización de la visibilidad del pensamiento a través de mecanismos más resistentes a la sustitución por IA (por ejemplo, presencia en tiempo real frente a documentación) siguen siendo preguntas abiertas que requieren más pruebas empíricas. Recomienda una segunda intervención para abordar la política, la alfabetización docente y la calibración de la Taxonomía de Bloom.