Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

Resumen Técnico: Hacia una Evaluación Resiliente a la IA en Cursos de Ciencias de la Computación en un Mundo Nativo de IA

Declaración del Problema
El artículo aborda el cambio fundamental en la educación de las ciencias de la computación causado por la IA generativa, donde los estudiantes pueden producir código, demostraciones e informes indistinguibles del trabajo humano. El autor sostiene que el enfoque institucional actual de prohibición, detección y supervisión (proctoring) no aborda la pregunta educativa central: ¿Qué habilidad permite a un estudiante lograr resultados más allá de una persona que simplemente tiene acceso a la IA? El documento postula que, para los cursos de nivel superior, la IA debe tratarse como un colaborador base en lugar de una herramienta prohibida. El desafío es diseñar evaluaciones que califiquen "habilidades resilientes a la IA"—la capacidad de dirigir a la IA para lograr compensaciones (tradeoffs) que no sean suministradas por la base de la IA misma—sin depender de la detección de autoría o de asumir que los estudiantes no usarán la IA.

Metodología: Un Marco Formal para la Calificación Resiliente a la IA
El artículo propone un marco formal mínimo donde la evaluación se define por el comportamiento ejecutable en lugar de la autoría. La metodología central se basa en cuatro objetos: una tarea real, un evaluador ejecutable, una frontera de Pareto nativa de IA declarada y una regla de calificación basada en el excedente de Pareto.

1. Tarea Real y Evaluador: Una tarea se define no solo por un prompt, sino por una tupla que incluye un espacio de entrega, un protocolo de benchmark (desarrollo público y evaluación oculta), restricciones de corrección estrictas y un evaluador ejecutable total ($E_T$) que mapea las entregas a un vector de puntuaciones ($R^d$).
2. Frontera de Pareto Nativa de IA: Antes de la calificación, se genera una "línea base nativa de IA" utilizando un protocolo de agente de IA reproducible (que incluye modelos específicos, prompts, presupuestos y reglas de selección). Las puntuaciones de estas entregas generadas por IA forman un conjunto $S_{AI}$. La frontera de Pareto nativa de IA ($F_{AI}$) es el conjunto de vectores de puntuación no dominados dentro de este conjunto. Esta frontera representa los mejores compromisos (tradeoffs) conocidos alcanzables por la línea base de la IA declarada.
3. Excedente de Pareto: Una entrega de un estudiante $\pi$ se evalúa mediante su excedente de Pareto ($\delta_T(\pi)$), calculado como el aumento en el hipervolumen dominado (relativo a un punto de referencia $r$) cuando $\pi$ se añade a la frontera.
   • Si $\delta_T(\pi) = 0$, la entrega está dominada por la línea base de la IA y no ofrece un nuevo compromiso.
   • Si $\delta_T(\pi) > 0$, la entrega logra un compromiso medido que no estaba cubierto por la línea base de la IA.
4. Regla de Calificación: Las calificaciones se asignan basadas en el excedente de Pareto. Una entrega nativa de IA recibe una calificación base ($g_{AI}$). Cualquier calificación por encima de $g_{AI}$ requiere un excedente de Pareto positivo.
5. Extensiones para la Equidad: Para evitar que el presupuesto privado de IA (por ejemplo, acceso a modelos más potentes o más cómputo) se convierta en el único determinante de las calificaciones, el marco introduce:
   • Retroalimentación Mediada por el Servidor: Un oráculo de retroalimentación que libera solo información agregada y de grano grueso (por ejemplo, aprobado/reprobado, rangos de puntuación) en lugar de entradas ocultas o errores por instancia, evitando que los estudiantes sobreajusten (overfitting) a los benchmarks ocultos mediante bucles privados de IA.
   • Calificación con Umbral: Se establece un umbral $\eta_T$ basado en los resultados de red-teaming ($\epsilon_{red}^{bud}$) y el ruido del evaluador ($\epsilon_{eval}$). Solo el excedente que supera este umbral ($\delta > \eta_T$) es recompensado, creando un "margen de neutralidad de presupuesto" donde las mejoras de IA privadas dentro del sobre declarado no generan un excedente que aporte a la calificación.
   • Red-Teaming de Habilidad de Prompt: El marco distingue entre la "delegación genérica" (que debería ser parte de la línea base) y las "racionalizaciones de mejora de la frontera" (donde el estudiante identifica un cuello de botella específico y plantea una hipótesis de solución). Esto último se considera evidencia de habilidad.

Instanciación Concreta: Asignación de Filtro de Bloom
El marco se instancia como una asignación de nivel superior para COMP 480/580 en la Universidad de Rice, centrada en estructuras de membresía aproximada (filtros de Bloom).

• Dos Regímenes: La asignación utiliza dos escalas: escala MB (megabytes) enfocada en el ajuste de parámetros y hashing de baja sobrecarga, y escala GB (gigabytes) enfocada en el ancho de banda de memoria, localidad de caché, paralelismo y vectorización.
• Evaluación: Los estudiantes deben implementar sistemas que satisfagan restricciones de corrección estrictas (sin falsos negativos) mientras optimizan un vector de objetivos (por ejemplo, ratio de compresión, tasa de falsos positivos, rendimiento de construcción/consulta).
• Proceso: Los estudiantes reciben una frontera nativa de IA congelada para ambas escalas. Pueden usar la IA libremente, pero están restringidos a un presupuesto fijo de retroalimentación del servidor. Para obtener una calificación por encima de la base, deben producir un sistema que expanda el hipervolumen más allá de la frontera por un margen mayor al umbral calculado.

Contribuciones Clave

1. Modelo Formal: Un modelo matemático mínimo donde la expansión de la frontera de Pareto sirve como un certificado de desempeño a nivel de artefacto más allá de una línea base de IA.
2. Garantía Teórica: Una prueba de que la calificación por excedente de Pareto es resiliente a la IA con respecto a la frontera declarada; las entregas nativas de IA reciben únicamente la calificación base, y cualquier calificación por encima de la base certifica una mejora medida.
3. Extensiones de Protocolo: Un marco para manejar bucles de auto-mejora de IA, neutralidad de presupuesto (mediante umbrales), retroalimentación mediada por el servidor y la distinción entre competencia productiva de la IA y recursos privados desiguales.
4. Automatización e Incentivos: Una explicación de cómo la calificación de excedente ejecutable automatiza la evaluación y altera los incentivos contra la colusión (filtrar una solución que mueve la frontera reduce la calificación relativa del filtrador en un sistema calibrado por percentiles).
5. Diseño Concreto: Un diseño de asignación de Filtro de Bloom de dos regímenes destinado a ser implementado en el otoño de 2026.

Resultos y Afirmaciones
El documento no reporta resultados empíricos de despliegues con estudiantes, ya que el marco se propone para una implementación futura. En su lugar, presenta garantías de diseño y teoremas lógicos:

• Teorema 1: El excedente de Pareto es un certificado medible de la expansión de la frontera; un excedente positivo implica que el artefacto no está dominado por la línea base de la IA.
• Teorema 2: Bajo la calificación de excedente de Pareto, las entregas nativas de IA reciben exactamente la calificación base, y cualquier calificación por encima de la base certifica una mejora medida.
• Teorema 3: La calificación con umbral separa el excedente del presupuesto privado de IA y del ruido del evaluador. Si la frontera está $\epsilon$-saturada contra un sobre de IA privada declarado, las entregas de solo IA dentro de ese sobre no reciben excedente de calificación por encima de la base.
• Resultado de Frontera Nula: El documento señala que si ningún estudiante produce un excedente positivo, esto es una señal diagnóstica de que la tarea o el evaluador fallaron al capturar una habilidad resiliente a la IA, lo que exige una revisión de la asignación.

Significancia y Posicionamiento
El documento se posiciona como un movimiento desde la "especulación y la ansiedad" hacia "objetos concretos que pueden ser inspeccionados y debatidos". Su significancia radica en reencuadrar la evaluación resiliente a la IA no como un problema de detección, sino como un problema de diseño de definición de objetivos explícitos y fronteras medibles.

• Argumenta que una vez que los objetivos son explícitos, la evaluación resiliente a la IA se convierte en un certificado de mejora conductual relativo al protocolo.
• Sostiene que este enfoque permite a los profesores cambiar su rol de construir artefactos manualmente a especificar objetivos, validar evaluadores y definir qué constituye el "movimiento de la frontera".
• El autor reconoce limitaciones: el marco depende de la capacidad de definir tareas ejecutables y evaluadores multidimensionales, lo cual puede no aplicarse a todos los objetivos educativos (por ejemplo, razonamiento ético o comunicación). También admite que la "neutralidad de presupuesto" es un objetivo de diseño para ser sometido a red-teaming, no una garantía metafísica.
• El objetivo final es proporcionar un marco para la crítica y el refinamiento antes de su implementación prevista en el otoño de 2026 en la Universidad de Rice, invitando a la comunidad a probar la robustez de las líneas base, las políticas de retroalimentación y los umbrales.