Beating the Style Detector: Three Hours of Agentic Research on the AI-Text Arms Race

Resumen Técnico: Venciendo al Detector de Estilo

Enunciado del Problema
El artículo aborda la "carrera armamentista de detección de texto IA", donde los Modelos de Lenguaje Grandes (LLM) cierran cada vez más la brecha entre su texto generado y el estilo de escritura específico de un autor humano objetivo. Mientras que estudios anteriores han examinado si los humanos pueden editar posteriormente borradores de LLM para que suenen como ellos mismos, este trabajo extiende la indagación a si los LLM de vanguardia pueden imitar autónomamente el estilo de un autor específico sin intervención humana. Además, investiga si estos imitadores avanzados pueden eludir la detección por parte de clasificadores entrenados para distinguir la escritura humana de la generación por IA. El estudio también sirve como demostración metodológica de la "investigación agencial", con el objetivo de reproducir y extender un estudio empírico de PLN (Baumler et al., ACL 2026) en horas en lugar de semanas utilizando un sistema de investigación automatizado.

Metodología
La investigación se estructura en tres fases principales: reproducción, extensión y evaluación adversaria.

1. Reproducción y Sistema de Investigación Agencial:

   • Los autores utilizaron un conjunto de datos publicado (81 registros JSON, 486 observaciones de tareas) de Baumler et al. [2], pero carecían del código de análisis original.
   • Se desplegó un sistema de investigación agencial (inspirado en autoresearch de Karpathy y en Zaiss et al.) para re-implementar la completa tubería estadística. El investigador humano actuó únicamente como "revisor en el bucle", tomando decisiones de alto nivel (por ejemplo, verificar fugas de datos), mientras que el agente generaba código, ejecutaba experimentos y corregía errores.
   • La tubería utilizó LUAR-MUD [10], un modelo de incrustación de estilo de autoría congelado entrenado en Reddit, para mapear textos a vectores de 512 dimensiones. La similitud se midió mediante similitud del coseno.
   • El análisis estadístico empleó pruebas de permutación pareadas ($n_{perm}=10,000$), $g$ de Hedges para tamaños del efecto y correlación de medidas repetidas (rmcorr).

2. Benchmark de Imitación por LLM sin Fugas de Datos:

   • El estudio introdujo dos nuevas condiciones: GPT-5.5 y Claude Opus 4.7.
   • Se implementó un protocolo estricto de datos retenidos para prevenir fugas de datos. Para cada participante, un texto de control sin asistencia se utilizó como "demostración de estilo" (mostrado al LLM), mientras que el segundo texto de control sin asistencia se reservó exclusivamente como objetivo de evaluación.
   • Se encargó a los LLM generar un borrador desde cero basándose en el prompt de planificación y la única demostración de estilo. Estos borradores se compararon contra el objetivo retenido, junto con las ediciones humanas originales y los borradores iniciales de o4-mini.
   • Esto resultó en 324 tareas pareadas por generador (648 borradores de imitación en total).

3. Detección y Reescritura Adversaria:

   • Detección: Una Máquina de Vectores de Soporte (SVM) lineal se entrenó con incrustaciones LUAR-MUD para clasificar el texto como "Humano" (controles sin asistencia) vs. "IA" (borradores generados). La evaluación utilizó GroupKFold (dejar autores fuera) para asegurar que el clasificador se generalizara a autores no vistos.
   • Diagnósticos: Se realizaron seis comprobaciones de robustez, incluidos baselines solo por longitud, reducción de dimensionalidad PCA y pruebas de transferencia entre LLM, para determinar si la detección dependía de características estilísticas o artefactos como la longitud del texto.
   • Bucle Adversario: Un agente Opus 4.7 se colocó en un bucle de retroalimentación contra un detector SVM congelado. Dado el puntaje de margen del detector sobre su borrador actual, el agente realizó $T=20$ iteraciones de reescritura para minimizar el margen (es decir, hacer que el texto pareciera más humano) mientras preservaba las restricciones de contenido y longitud.

Resultados Clave

• Reproducción: El sistema de investigación agencial reprodujo con éxito las siete hipótesis preregistradas y la correlación principal entre la autosemejanza percibida y la medida por incrustaciones ($r=+0.244$, coincidiendo con el original hasta tres decimales) en aproximadamente tres horas.
• Rendimiento de Imitación de Estilo:
  • Los LLM de vanguardia superaron significativamente a la edición humana posterior. GPT-5.5 y Opus 4.7 cerraron el 71–75% de la brecha de estilo hacia el techo del mismo autor, en comparación con solo el 24% para la edición humana posterior.
  • En tasas de victoria por tarea contra el umbral de edición humana, Opus 4.7 ganó el 76.9% de las tareas y GPT-5.5 ganó el 79.0%, mientras que el borrador original o4-mini ganó solo el 18.5%.
  • No hubo diferencia estadísticamente significativa entre Opus 4.7 y GPT-5.5 ($p=0.14$).
• Detección y Diagnósticos:
  • Una SVM lineal de dejar autores fuera logró altos AUC para todos los enfoques: o4-mini (0.999), Edición humana posterior (0.971), Opus 4.7 (0.952) y GPT-5.5 (0.931).
  • Hallazgo Diagnóstico Crucial: La señal de detección para GPT-5.5 fue en gran medida un confuso de longitud (AUC 0.880 para el baseline solo por longitud), mientras que la señal de Opus 4.7 fue genuinamente estilística (AUC solo por longitud 0.517).
  • Las pruebas de transferencia entre LLM confirmaron que existe una "firma genérica de LLM de vanguardia", pero la superposición estilística específica de Opus con los controles humanos es distinta.
• Éxito Adversario:
  • En el experimento de reescritura adversaria, el agente Opus redujo con éxito el margen de detección para los cinco objetivos de prueba retenidos durante 20 iteraciones.
  • Dos de los cinco objetivos cruzaron el límite de decisión de la SVM hacia el semiespacio "humano", y un tercero quedó a 0.04 unidades de margen. Ninguna de las trayectorias se estancó en el lado de la IA, lo que sugiere que más iteraciones podrían revertir los objetivos restantes.

Significado y Afirmaciones
El artículo afirma tres contribuciones principales:

1. Eficiencia de Reproducibilidad: Demuestra que con datos abiertos y un sistema de investigación agencial, la reproducción y extensión completa de un estudio complejo de PLN puede lograrse en horas en lugar de semanas, desplazando el cuello de botella de la capacidad de cómputo a la apertura.
2. Capacidad de los LLM: Proporciona evidencia de que los LLM de vanguardia, cuando se les proporciona una sola demostración de estilo, ya pueden imitar el estilo de un autor específico más eficazmente que los humanos editando un borrador, cerrando la mayoría de la brecha estilística.
3. La Realidad de la Carrera Armamentista: Enmarca la detección de texto IA como una carrera armamentista activa y asimétrica. Mientras que los detectores mantienen actualmente una alta precisión, la naturaleza de la señal difiere según el modelo (longitud vs. estilo). Lo más significativo, el estudio muestra que un agente LLM de vanguardia, dado únicamente retroalimentación en tiempo de inferencia de un detector, puede reducir eficientemente su propia probabilidad de detección hasta el punto de cruzar hacia la clasificación humana en un número corto de iteraciones.

Los autores concluyen que la instantánea actual favorece al agente, señalando que el bucle adversario aún no ha agotado el potencial de optimización y que las actualizaciones directas de pesos (ajuste fino) probablemente serían aún más efectivas. Todo el código, los datos y los detectores entrenados se ponen a disposición para servir como punto de referencia para futuras iteraciones de esta carrera.