Resumen Técnico: Sobre la inseguridad de la detección de autoría de IA basada en pulsaciones de teclas

Declaración del Problema

Las propuestas recientes para detectar texto generado por IA han pasado de analizar la salida lingüística (perplejidad, estilometría) a analizar señales conductuales a nivel de proceso, específicamente la dinámica temporal de las pulsaciones de teclas. Sistemas como los propuestos por Kundu et al. [1] y Mehta et al. [2] se basan en la premisa de que las señales motoras humanas —caracterizadas por intervalos inter-pulsación (IKI) variables y patrones temporales específicos como las "pausas de pensamiento"— son distintas de la inyección uniforme y rápida de texto realizada por bots automatizados.

Este artículo identifica un error de categoría fundamental en estos enfoques: confunden la presencia motora (un cuerpo humano operando el teclado) con la proveniencia del contenido (un humano originando cognitivamente el texto). Los autores argumentan que los modelos de amenazas actuales no tienen en cuenta a un adversario racional que puede generar contenido mediante Modelos de Lenguaje Extensos (LLM) y luego transcribirlo físicamente carácter por carácter. Este ataque de "copia-transcripción" produce señales motoras auténticas e indistinguibles de la composición genuina, lo que invalida la seguridad de los detectores basados únicamente en el tiempo para verificar la autoría. Además, el artículo demuestra que incluso los ataques de "falsificación de tiempos" automatizados, que sintetizan intervalos de pulsación basados en distribuciones humanas, pueden eludir estos sistemas.

Metodología

Modelo de Amenaza y Definiciones de Ataque

El estudio evalúa Sistemas de Verificación de Señales Motoras (MSVS) que aceptan un documento y su traza de pulsaciones para clasificar la salida como HUMANO o IA. Los autores definen dos vectores de ataque primarios:

1. Ataque de Copia-Transcripción: Un adversario genera texto usando un LLM y lo escribe físicamente en la plataforma instrumentada. Las señales motoras resultantes son genuinas por construcción.
2. Ataques de Falsificación de Tiempos: Agentes automatizados generan trazas sintéticas muestreando intervalos inter-pulsación de distribuciones empíricas humanas. Los autores implementan tres variantes:
   • Muestreo de Histograma: Muestreo de IKIs de forma independiente de una Función de Distribución Acumulativa (CDF) empírica de datos humanos.
   • Imitación Estadística: Coincidencia con los primeros y segundos momentos (media y varianza) de la distribución de IKI de la población objetivo, ajustados para latencias específicas de dígrafos.
   • LSTM Generativa: Una red LSTM de 2 capas entrenada en secuencias de pulsaciones reales para modelar la distribución condicional de los IKIs dado el historial de caracteres.

Configuración Experimental

• Conjuntos de Datos: La evaluación utiliza 13,000 sesiones de escritura humana del Corpus de Pulsaciones de la Universidad de Stony Brook (SBU), complementado con 5,000 sesiones de inyección automatizada y 2,000 sesiones de ataque (1,000 de Histograma, 500 Estadísticos, 500 de LSTM). La validación se realiza en 11 corpus públicos adicionales (totalizando >150,000 sesiones) para asegurar la generalizabilidad.
• Características: El estudio evalúa un vector de 7 características que abarca todas las propiedades propuestas en trabajos previos [1], [2]:
  • $\delta$: Coeficiente de variación (CV) de los IKIs.
  • $\bar{t}$: Media de IKI.
  • $\sigma^2_{IKI}$: Varianza de IKI.
  • $\rho$: Densidad de pausa (fracción de IKIs > 500ms).
  • $\beta$: Longitud media de ráfaga (burst length).
  • $H$: Entropía de Shannon de la distribución de IKI.
  • $\gamma$: Variabilidad de dígrafos.
• Clasificadores: Cinco clasificadores (Regresión Logística, Random Forest, Gradient Boosting, SVM-RBF, MLP) son entrenados utilizando validación cruzada estratificada de 5 pliegues.

Resultados Clave

1. Eficacia de los Ataques

• Ataque de Copia-Transcripción: En la validación empírica usando el conjunto de datos IIITD-BU (34 sesiones de transcripción) y corpus combinados (879 sesiones), el ataque de copia-transcripción logró una tasa de elusión del 100% contra el umbral de detección ($T = 0.269$). El $\delta$ medio para la transcripción fue de $0.991$, muy por encima del umbral, con un coeficiente de Cohen $d$ de solo $0.14$ entre la composición y la transcripción en condiciones de texto libre.
• Ataques de Falsificación de Tiempos: Todas las tres variantes automatizadas lograron tasas de evasión $\ge 99.8\%$ contra los cinco clasificadores.
  • Los ataques de Histograma y LSTM lograron una evasión del 100%.
  • Los ataques Estadísticos lograron una evasión del 99.8%.
  • Las muestras de ataque fueron clasificadas como humanas con una confianza media de $\ge 0.993$.

2. Rendimiento de los Clasificadores y Compromisos (Trade-offs)

• Separación de Línea Base: Los clasificadores lograron un Área Bajo la Curva (AUC) de 1.000 al distinguir la escritura humana genuina de la inyección totalmente automatizada (pegar/API). Esto confirma que los sistemas detectan correctamente la ausencia de señales motoras.
• Fallo Operativo: Cuando se enfrentan a señales motoras humanas (ya sean genuinas o falsificadas), los sistemas fallan al distinguir la proveniencia.
  • Para reducir la tasa de paso del ataque LSTM por debajo del 50%, el umbral de detección debe elevarse a $T > 0.80$.
  • En ese umbral, la Tasa de Falso Rechazo (FRR) para usuarios humanos legítimos aumenta al 16.3%.
  • Con $T = 0.90$ (FRR = 32.6%), el ataque LSTM aún mantiene una tasa de paso del 44%.
• Ablación de Características: Ninguna característica única separa de manera confiable todas las variantes de ataque de la escritura humana genuina. Aunque características como $\delta$ y la entropía separan eficazmente a los humanos de los bots, no pueden distinguir entre un humano componiendo texto y un humano transcribiendo texto.

3. Límites Teóricos

Los autores formalizan un resultado de no identificabilidad (Teorema 1). Bajo la suposición de que el detector observa únicamente el tiempo de pulsación ($\tau$) y no el estado cognitivo, la información mutua entre las características y la proveniencia del contenido es cero:
$$I(f(\tau); \text{Proveniencia} | s, M_u) = 0$$
Incluso relajando la suposición idealizada de que el estado cognitivo no influye en la ejecución motora (empíricamente $d \approx 1.28$), el error de Bayes resultante es del 26.1%, lo cual es operativamente insuficiente para decisiones de seguridad.

Significancia y Reivindicaciones

El artículo afirma que los sistemas de detección de autoría de IA basados en pulsaciones de teclas, tal como están arquitecturados actualmente, son fundamentalmente inseguros contra adversarios racionales.

1. Error de Categoría: Estos sistemas verifican la autenticidad motora (que un humano estuvo presente) pero no pueden verificar la proveniencia del contenido (que el humano originó el texto). El ataque de "copia-transcripción" explota esta brecha al utilizar el propio sistema motor del humano para "lavar" el contenido generado por IA.
2. Limitación Estructural: La vulnerabilidad no es algorítmica sino estructural. Debido a que la variable distintiva (origen del contenido) es un confuso latente no observado en el espacio de características, ninguna cantidad de ingeniería de características o optimización de clasificadores puede superar el solapamiento de la distribución entre la composición y la transcripción.
3. Falsa Seguridad: Los sistemas comercializados como certificación "libre de IA" basadas en patrones de escritura proporcionan una falsa seguridad. Pueden confirmar que un humano operó el teclado, pero no pueden determinar si ese humano fue el autor.
4. Implicaciones de Defensa: Asegurar la proveniencia del contenido requiere arquitecturas fundamentalmente diferentes que vinculen el proceso de escritura observado con el contenido semántico. Los autores sugieren direcciones viables que incluyen:
   • Coherencia del Historial de Revisión: Analizar patrones de edición no monotónicos (eliminaciones, reformulaciones) que son raros en la transcripción.
   • Desafío-Respuesta: Forzar la comprensión en tiempo real del texto durante la composición.
   • Vinculación Semántica: Integrar el procesamiento de lenguaje natural (NLP) para distinguir errores motores de correcciones semánticas.

Los autores concluyen que, hasta que se desplieguen estos mecanismos de vinculación de contenido, el tiempo de las pulsaciones de teclas debe usarse únicamente para confirmar la presencia humana, no la autoría.