The Base-Rate Trap in Generative AI Text Detection: Why Detectors Cannot Serve as Standalone Evidence of Academic Misconduct, and Who Bears the Cost

Resumen Técnico: La Trampa de la Tasa Base en la Detección de Texto de IA Generativa

Planteamiento del Problema
Las instituciones de educación superior dependen cada vez más de los detectores de texto de inteligencia artificial generativa (GenAI) para adjudicar la conducta académica inapropiada, justificando su adopción mediante métricas de precisión reportadas como el Área Bajo la Curva de Característica Operativa del Receptor (AUC). Sin embargo, este documento argumenta que estas métricas son fundamentalmente inapropiadas para decisiones trascendentales sobre estudiantes individuales. El problema central es la falacia de la tasa base: en entornos académicos, la prevalencia del uso indebido real de GenAI (la probabilidad previa) es baja (posiblemente entre el 5 % y el 15 % según encuestas recientes), mientras que la gran mayoría de las entregas son genuinas. Bajo estas condiciones, incluso los detectores con altos valores de AUC producen una alta tasa de acusaciones falsas cuando se utilizan como evidencia única. El documento postula que la pregunta crítica para los procedimientos disciplinarios no es "¿qué tan preciso es la herramienta?", sino "¿dada una alerta, cuál es la probabilidad de que realmente haya ocurrido una conducta indebida?". Esta probabilidad posterior, conocida como el Valor Predictivo Positivo (VPP), colapsa a medida que la tasa base de uso indebido disminuye, lo que hace que los detectores actuales no sean seguros para la adjudicación individual.

Metodología
El estudio emplea un ejercicio de modelado transparente y reproducible en lugar de una recolección de datos empíricos de la escritura estudiantil. La metodología integra tres componentes principales:

1. Teoría de Detección de Señales (SDT): Un modelo gaussiano de varianza igual mapea las puntuaciones del detector a una distribución continua donde el texto humano sigue una $N(0,1)$ y el texto de IA sigue una $N(d',1)$, donde $d'$ representa la discriminabilidad. Los valores de AUC reportados se traducen en $d'$ para derivar las Tasas de Verdaderos Positivos (TPR) y las Tasas de Falsos Positivos (FPR) en varios umbrales de decisión.
2. Razonamiento Bayesiano de la Tasa Base: El modelo aplica la regla de Bayes para calcular el VPP y la Tasa de Falsos Descubrimientos (FDR) a través de un rango de prevalencias de uso indebido ($\pi$) y desempeños de los detectores. Deriva un criterio de seguridad independiente de la distribución: el Cociente de Verosimilitud Positivo ($\Lambda^+ = TPR/FPR$) requerido para cumplir con un estándar de evidencia específico ($\tau$).
3. Simulación de Monte Carlo: Para validar los resultados de forma cerrada y cuantificar la incertidumbre, el autor simula 2,000 replicaciones de un semestre institucional con 10,000 entregas. Esta simulación incorpora un modelo de equidad que tiene en cuenta la tendencia documentada de los detectores basados en la perplejidad a clasificar erróneamente la escritura en inglés no nativa (L2) como generada por IA. También incluye un análisis de daño esperado que pondera los costos asimétricos de las falsas acusaciones ($C_{FP}$) frente a los casos omitidos ($C_{FN}$).

Contribuciones Clave
El documento realiza cinco contribuciones específicas al discurso sobre la integridad académica y la detección de IA:

1. Un Marco para el VPP: Proporciona un marco de SDT y de tasa base transparente que mapea cualquier AUC de detector reportado y la prevalencia de uso indebido asumida a la probabilidad de que una alerta sea correcta, demostrando que las métricas de precisión son engañosas para casos individuales.
2. Cuantificación de la "Trampa de la Tasa Base": Identifica el espacio de parámetros donde los detectores son efectivamente inutilizables como evidencia, mostrando que las herramientas actuales no pueden cumplir con estándares de evidencia defendibles (p. ej., 95% de VPP) sin fallar en la detección de la gran mayoría de las conductas indebidas.
3. Un Criterio de Seguridad Independiente de la Distribución: El documento deriva una desigualdad matemática (Proposición 1) que establece que, para acusar de forma segura con una prevalencia y un estándar dados, un detector debe exceder un cociente de verosimilitud específico. Demuestra que este requisito crece inversamente con la prevalencia ($\propto 1/\pi$), lo que lo hace inalcanzable a medida que el uso indebido se vuelve más raro.
4. Análisis de Equidad: Modela el impacto dispar en escritores no nativos, demostrando que los umbrales calibrados en hablantes nativos imponen una carga estructural cuantificable a los escritores L2, con tasas de falsas alertas que alcanzan hasta 16.7 veces más altas que para los hablantes nativos.
5. Recomendaciones de Política: Ofrece una "calculadora de despliegue" para las instituciones, aconsejando comparar el cociente de verosimilitud de una herramienta contra el umbral requerido antes de su adopción, y desplazar los recursos de la detección hacia el rediseño de la evaluación.

Resultos
La simulación y los resultados analíticos arrojan varios hallazgos críticos:

• Bajo Valor Predictivo: Bajo condiciones realistas (AUC $\approx$ 0.80, prevalencia 10%), el VPP de una alerta es de solo 22.6%. Esto significa que más de tres de cada cuatro estudiantes alertados son inocentes. Incluso con un detector casi perfecto (AUC 0.99), el VPP con una prevalencia del 10% es solo del 67.9%.
• El Techo de Detección: Para lograr un estándar de evidencia del 95% (VPP $\ge$ 0.95) con una prevalencia del 10%, un detector con AUC 0.95 puede capturar como máximo el 26.3% de los casos reales. Un detector realista (AUC 0.80) no puede alcanzar este estándar en ningún nivel de detección significativo.
• Impacto Dispar: Cuando se establece un umbral para un FPR del 5% para hablantes nativos, los escritores no nativos (modelados con un desplazamiento calibrado según estudios empíricos) experimentan una tasa de falsas alertas del 83.3%, un impacto dispar de 16.7 veces.
• Daño Esperado: En una simulación de despliegue típico (AUC 0.80, prevalencia 10%), el modelo predice aproximadamente 2,213 acusaciones falsas por cada 10,000 entregas.
• Brecha del Cociente de Verosimilitud: Cumplir con un estándar del 95% al 10% de prevalencia requiere un cociente de verosimilitud de 171. Incluso un detector casi perfecto (AUC 0.99) ofrece un cociente de verosimilitud de solo 19.0, quedando corto por casi un orden de magnitud.

Significancia y Reivindicaciones
El documento concluye que la incapacidad de los detectores para servir como evidencia independiente es una propiedad estructural del problema de decisión, no un defecto de herramientas específicas que pueda corregirse con una mejor ingeniería. La "trampa de la tasa base" implica que mientras el uso indebido siga siendo un comportamiento minoritario, las alertas automatizadas serán predominantemente falsos positivos.

El autor afirma que:

• Las puntuaciones de detección nunca deben ser la única o la principal evidencia de conducta indebida, ya que hacerlo invierte la presunción de inocencia.
• Las instituciones deben desplazar sus recursos de la detección hacia el rediseño de la evaluación (p. ej., tareas auténticas y personalizadas, evidencia de proceso) y la prevención, ya que la evaluación "a prueba de IA" es un mito.
• Las métricas de reporte deben cambiar: Las instituciones deben evaluar las herramientas basándose en valores predictivos condicionados a la prevalencia y en cocientes de verosimilitud, en lugar de en la precisión o el AUC.
• El costo de las falsas acusaciones es soportado desproporcionadamente por grupos vulnerables (hablantes no nativos, escritores neurodivergentes), lo que hace que la dependencia actual de los detectores no sea solo poco fiable, sino discriminatoria.

El estudio sostiene que el número más seguro de estudiantes acusados erróneamente por un detector poco fiable es cero, y la forma más segura de lograrlo es dejar de confiar en el detector para la adjudicación.