💻 computer science

Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

Este artículo sostiene que la atribución de autoría es estructuralmente imposible para formatos de evaluación convergentes como las preguntas de opción múltiple, debido a que las respuestas correctas contienen cero entropía residual, lo que hace que las políticas actuales de integridad de la IA basadas en la detección de ensayos sean infundadas para las disciplinas cuantitativas y necesiten controles específicos por modalidad.

Autores originales: TANZIM ISLAM KHAN

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: TANZIM ISLAM KHAN

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio: "¿Quién escribió esto?". En el mundo de las escuelas y las universidades, esta es la pregunta definitiva de la integridad académica. Durante años, la principal herramienta que los detectives han utilizado es un tipo especial de "escáner de huellas dactilares" diseñado para historias largas y fluidas: los ensayos. Estos escáneres buscan hábitos diminutos y únicos en la forma en que una persona escribe, como el uso de las comas o la estructura de sus frases. Pero aquí está el giro: los chatbots de IA se están volviendo tan buenos escribiendo estas historias que los escáneres están teniendo dificultades. Las escuelas están tratando de solucionar esto aplicando la misma lógica del "escáner de ensayos" a todo lo demás que hacen los estudiantes, como problemas matemáticos, cuestionarios de opción múltiple y tareas de programación.

Para entender por qué esto podría ser un callejón sin salida, necesitamos observar dos ideas simples. Primero, piensa en la "información" como la cantidad de detalle único en un mensaje. Un ensayo largo es como una huella dactilar desordenada y única; tiene muchísimos detalles diminutos que pueden decir quién lo hizo. Una respuesta matemática, como el número "42", es como una canica perfecta y lisa. Si dos personas resuelven el mismo problema correctamente, ambas producen exactamente el mismo "42". No hay desorden, no hay una huella dactilar única y no hay detalles adicionales para inspeccionar. Segundo, piensa en la "atribución de autoría" como el acto de usar esos detalles únicos para probar quién realizó el trabajo. Si no existen detalles únicos desde el principio, ninguna cantidad de tecnología sofisticada puede inventarlos mágicamente. Este artículo plantea una pregunta audaz: ¿Qué sucede cuando intentamos usar un escáner de huellas dactilares en una canica perfectamente lisa?

El gran descubrimiento del artículo: El problema de la "canica lisa"

Este artículo de investigación, titulado "Convergent assessment cannot be policed" (La evaluación convergente no puede ser vigilada), argumenta que las escuelas están cometiendo un error fundamental. Están intentando usar reglas basadas en ensayos para vigilar las matemáticas, las ciencias y los exámenes de opción múltiple, pero el autor dice que esto es imposible. No es que los detectores de IA sean malos o que las herramientas necesiten ser mejoradas; es que el tipo de trabajo en sí mismo no contiene suficiente información para identificar al autor.

El autor introduce un concepto llamado "entropía residual". Imagina que estás horneando galletas. Si le pides a un estudiante que "escriba una historia sobre una galleta", podría escribir un poema, una historia de terror o una receta. Hay millones de formas de hacerlo, y cada versión tiene una "huella" única del estilo del escritor. Esto es una entropía alta. Pero si le pides a un estudiante que "resuelva para X" y la respuesta es "5", solo hay una forma correcta de escribir esa respuesta. Ya sea que un genio humano, un estudiante con dificultades o un robot superinteligente la haya escrito, el resultado es exactamente el mismo "5". El autor llama a esto entropía residual cero. Una vez que la respuesta es correcta, queda cero variación para analizar.

El artículo demuestra matemáticamente que no se puede extraer más información de la que realmente hay. Si la respuesta es solo una letra o un número, no hay "señal" que encontrar. Intentar usar detectores de IA en estos formatos es como intentar encontrar una huella dactilar en un trozo de vidrio perfectamente liso y en blanco. No importa cuán potente sea tu microscopio, no encontrarás una huella porque el vidrio no tiene una.

Las tres zonas de riesgo

El autor utilizó datos de 19 estudios diferentes en 13 materias para mapear dónde caen las distintas tareas escolares. Descubrieron tres "zonas" o regímenes distintos:

La Zona Expuesta (La Zona de Peligro): Incluye preguntas de opción múltiple, respuestas numéricas cortas y conjuntos de problemas estándar. En esta zona, la IA es increíblemente buena (a menudo con puntuaciones superiores al 96% en opción múltiple), pero las respuestas tienen cero señal de autoría. El artículo sostiene que en esta zona, simplemente no puedes saber si lo hizo un humano o un robot. No es una cuestión de "difícil de distinguir"; es que la pregunta "¿Quién hizo esto?" no tiene respuesta.
La Zona Latente (La Sala de Espera): Incluye cosas como problemas numéricos cortos donde la IA actualmente no es lo suficientemente buena como para pasar fácilmente. Estas son "seguras" solo porque la IA aún no es lo suficientemente inteligente. Pero el autor advierte que esto es un reloj en cuenta regresiva. Una vez que la IA mejore, la "seguridad" desaparecerá instantáneamente porque todavía no hay una señal de autoría de la cual depender.
La Zona Detectable (La Zona Segura): Incluye ensayos largos, escritura reflexiva y proyectos complejos de programación. Aquí, las respuestas son tan variadas y únicas que los detectores de IA sí pueden funcionar. El artículo señala que la investigación sobre la detección de IA en código es en realidad exitosa porque el código tiene suficientes detalles de "huella", a diferencia de una simple respuesta matemática.

Las cifras impactantes

Cuando el autor aplicó esta lógica a un programa típico de ciencia e ingeniería universitaria, los resultados fueron sorprendentes. Encontró que el 38% de las calificaciones finales en estos programas proviene de tareas en la "Zona Expuesta" (como opción múltiple y conjuntos de problemas). En contraste, solo el 5% de los programas de humanidades cae en esta trampa.

Si se eleva el estándar de prueba a lo que se requiere en un caso judicial criminal (un umbral muy alto), el número de tareas expuestas en ciencia e ingeniería salta al 52%. Esto significa que, para más de la mitad de la calificación final de un estudiante de ciencias, la escuela no tiene forma de probar quién realizó realmente el trabajo, y no existe ninguna herramienta que pueda hacerlo.

Lo que esto significa para las escuelas

El artículo descarta explícitamente la idea de que simplemente podamos comprar mejor software para solucionar esto. El autor afirma claramente que ninguna mejora en la tecnología de detección puede resolver el problema para las preguntas de opción múltiple o matemáticas porque la información simplemente no está ahí para ser encontrada. Intentar acusar a un estudiante de usar IA no autorizada en un examen de matemáticas basándose en la "detección de IA" no es solo ineficaz; el autor argumenta que es matemáticamente imposible de probar.

En cambio, el artículo sugiere que las escuelas deben cambiar su estrategia por completo:

Dejar de intentar vigilar lo invigilable: No use detectores de autoría en opción múltiple o matemáticas de respuesta corta. Es una pérdida de tiempo y conduce a acusaciones injustas.
Cambiar el juego: Si quieres saber quién hizo el trabajo, necesitas cambiar la tarea. Utiliza exámenes supervisados (donde un profesor te observa), pide a los estudiantes que expliquen su razonamiento en persona, o diseña preguntas que sean específicas para el aula local para que la IA no pueda simplemente buscar la respuesta.
Aceptar los límites: Para la "Zona Expuesta", la única seguridad real es evitar que se use la IA en primer lugar (como en una habitación cerrada), no intentar atraparla después de los hechos.

En resumen, el artículo concluye que el enfoque actual de "talla única" para la integridad académica está roto. No puedes usar una herramienta diseñada para ensayos para vigilar problemas matemáticos. Para una gran parte de la educación en ciencia e ingeniería, la pregunta no es "¿Cómo atrapamos a los tramposos?", sino "¿Cómo diseñamos nuestros exámenes para que la pregunta sobre el uso de IA no autorizada ni siquiera tenga sentido?".

Resumen Técnico: La evaluación convergente no puede ser fiscalizada

Planteamiento del problema
Las políticas actuales de integridad académica para la inteligencia artificial (IA) generativa presentan fallos estructurales porque están diseñadas en torno al ensayo y se aplican indiscriminadamente a todos los formatos de evaluación. Las herramientas de detección, los requisitos de evidencia de proceso y las guías de seguridad funcionan bajo el supuesto de artefactos de prosa extendida, pero se aplican rutinariamente a formatos convergentes como ítems de opción múltiple, problemas numéricos y respuestas cortas. Este documento sostiene que esta generalización es errónea no debido a una falta de sofisticación tecnológica, sino a una limitación fundamental de la teoría de la información. En los formatos convergentes, las respuestas correctas suelen ser idénticas en bytes independientemente del autor, lo que hace que la atribución de autoría sea matemáticamente indefinida en lugar de meramente difícil.

Metodología
El documento emplea un marco de la teoría de la información para analizar la seguridad de la evaluación, introduciendo el concepto de entropía residual.

Límite Teórico: El autor define la entropía residual, $H(R|C)$ , como la entropía de una distribución de respuesta condicionada a que la respuesta sea aceptable (correcta). Establece que la información mutua entre una respuesta y su autor, $I(R; A|C)$ , está acotada por esta entropía residual. Por consiguiente, cualquier estándar de evidencia que requiera una probabilidad posterior específica exige un número mínimo de "bits de autoría" ( $b(p, \pi)$ ). Si la entropía residual de una tarea cae por debajo de este umbral, la atribución de autoría es imposible independientemente del instrumento utilizado.
Caracterización de Modalidades: Diez modalidades de evaluación fueron situadas en una escala logarítmica de entropía residual basada en la estructura de la tarea (número de respuestas aceptables y libertad de expresión). Las estimaciones utilizaron valores de entropía estándar para la prosa en inglés cuando fue aplicable.
Corpus de Capacidades: El estudio recopiló 19 mediciones publicadas de la capacidad de la IA en 13 disciplinas. Estos puntajes fueron normalizados respecto a la proporción de la calificación disponible para asegurar la comparabilidad. El corpus incluyó datos que van desde ítems de opción múltiple basados en el conocimiento (96.3% de logro) hasta codificación clínica especificada localmente (7.0% de logro).
Clasificación de Regímenes: Se construyó un modelo de tres regímenes cruzando dos dimensiones: la capacidad de la IA (definida como >60% de logro) y el suelo de la entropía residual (la entropía mínima requerida para cumplir con un estándar de evidencia).

Contribuciones Clave

Límite Formal: El documento deriva una prueba formal (Proposición 1) que demuestra que la información identificadora de autoría está estrictamente acotada por la entropía residual de la respuesta. Establece que la evaluación convergente se sitúa por debajo del suelo de entropía requerido para cualquier estándar de evidencia defendible.
Caracterización de Modalidades: Proporciona un ordenamiento basado en principios de diez modalidades de evaluación según su entropía residual, distinguiendo entre formatos que portan una señal de autoría y aquellos que no.
Corpus de Capacidades: Compila un conjunto de datos transdisciplinarios sobre el desempeño de la IA, resaltando la vasta variación en el logro de la IA dependiendo del tipo de evaluación.
Modelo de Tres Regímenes: El documento particiona la evaluación en tres regímenes distintos:
- Expuesto: Procesable por la IA pero por debajo del suelo de entropía (sin señal de autoría).
- Latente: Seguro únicamente porque los modelos actuales carecen de capacidad, pero carente de una señal de autoría para cuando estos mejoren.
- Detectable: Por encima del suelo de entropía, permitiendo controles basados en la autoría.

Resultados

Suelo de Entropía: Bajo un estándar de "evidencia clara y convincente" con una estimación de rendimiento de señal central, el suelo de la entropía es aproximadamente de 39.6 bits.
Modalidades por debajo del Suelo: Los ítems de opción múltiple (0 bits), las respuestas numéricas cortas (1 bit), los conjuntos de problemas (18 bits) y la prosa de respuesta corta (24 bits) caen por debajo del umbral. En estos formatos, la atribución de autoría no aporta evidencia alguna.
Modalidades por encima del Suelo: Las tareas de programación (150 bits) y los proyectos de diseño abierto (8,000 bits) exceden el suelo, permitiendo la detección potencial.
Logro de la IA: El desempeño de la IA es más alto en formatos restringidos (ej. 96.3% en opción múltiple) y menor en tareas abiertas o de especificación local.
Exposición de Programas: En un programa representativo de ciencia e ingeniería, el 38% de la evaluación sumativa cae en el régimen expuesto (procesable por IA pero indetectable), en comparación con solo el 5% en un programa de humanidades. Al incluir las tareas latentes, el 56% de la evaluación de ciencia/ingeniería se encuentra por debajo del suelo de entropía. Bajo un estándar de evidencia más estricto ("criminal"), la proporción expuesta aumenta al 52%.
Confirmación en la Literatura: El modelo predice que la investigación en detección de autoría debería estar ausente para los formatos por debajo del suelo de entropía. La literatura lo confirma: existe una extensa investigación para la prosa y el código (por encima del suelo), pero ningún estudio intenta la atribución de autoría para respuestas numéricas o de opción múltiple porque los artefactos no contienen ninguna señal para detectar.

Significancia y Reivindicaciones
El documento sostiene que el enfoque actual de la integridad académica en las disciplinas cuantitativas está fundamentalmente desalineado con la naturaleza de la evaluación. La principal significancia del trabajo es el replanteamiento del problema: para una parte sustancial del currículo (particularmente en STEM), la pregunta de "qué detector comprar" es inválida porque la información necesaria para la detección no existe.

El autor argumenta que los controles de integridad deben ajustarse a la modalidad. Para el régimen expuesto, los controles basados en la autoría (estilometría, evidencia de proceso, clasificación de salida) no solo son ineficaces, sino que generan acusaciones infundadas. La seguridad en estos regímenes debe basarse, en cambio, en las condiciones (supervisión, verificación interactiva) o en el diseño (individualización de tareas, contenido de especificación local). Para el régimen latente, la seguridad es temporal y expira a medida que las capacidades de los modelos mejoran.

El documento concluye que la política de integridad debe pasar de un modelo de ensayo único para todos hacia un enfoque específico por modalidad que reconozca los límites de la teoría de la información de la atribución de autoría. El objetivo no es mejorar las herramientas de detección para tareas convergentes, sino rediseñar la evaluación para asegurar que el peso sumativo sea portado por formatos donde la seguridad sea coherente y verificable.

Más como este