💬 NLP

'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions

Este artículo aborda la falta de consenso sobre el uso perjudicial de textos de IA mediante la introducción de AITDNA, un nuevo referente de textos co-construidos por humanos y máquinas con historiales de interacción detallados, para demostrar que los detectores actuales suelen fallar como soluciones amplias y funcionan bien solo para definiciones específicas de contenido generado por IA.

Autores originales: Nils Dycke, Marina Sakharova, Nico Daheim, Iryna Gurevych

Publicado 2026-06-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nils Dycke, Marina Sakharova, Nico Daheim, Iryna Gurevych

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un profesor intentando calificar una pila de ensayos. Sospechas que algunos estudiantes usaron un "robot de escritura mágica" (IA) para ayudarlos, pero no sabes cómo lo usaron. ¿El robot escribió todo el ensayo? ¿Solo arregló algunas frases? ¿El estudiante le pidió al robot que escribiera un párrafo específico sobre un tema que no se le permitía discutir?

Este artículo argumenta que, en este momento, todo el mundo está jugando un juego diferente con reglas diferentes, y es por eso que los "detectores de IA" que tenemos hoy en día suelen estar confundidos y ser poco fiables.

Aquí está el desglose de los puntos principales del artículo, utilizando analogías sencillas:

1. El Problema: Todo el mundo está usando un mapa diferente

Los autores dicen que los investigadores que construyen detectores de IA están tratando de resolver el mismo problema, pero están definiendo "el problema" de formas completamente distintas.

El Mapa de "Todo o Nada": Algunos investigadores creen que un texto es "IA" solo si un robot escribió el ensayo entero de principio a fin.
El Mapa de "Frase por Frase": Otros piensan que un texto es "IA" si cualquier oración individual fue escrita por un robot.
El Mapa del "Pulido": Algunos creen que solo es trampa si el robot escribió las ideas, incluso si un humano escribió las palabras.

La Analogía: Imagina intentar encontrar un tipo específico de pez en un lago. Un grupo de pescadores está buscando cualquier pez. Otro grupo solo busca peces azules. Un tercero solo busca peces capturados con una red. Si todos informan: "¡Encontramos peces!", pero están usando definiciones diferentes, sus informes no coincidirán. El artículo dice que necesitamos acordarnos de qué es un "pez" (o "texto de IA") antes de poder atraparlo.

2. La Nueva Herramienta: Un "Laboratorio de Escritura de Caja Negra"

Para solucionar esta confusión, los investigadores construyeron un nuevo conjunto de datos llamado AITDNA.

La Forma Antigua: La mayoría de los conjuntos de datos anteriores eran como "noticias falsas". Los investigadores tomaban un ensayo humano y le pedían a un robot que lo reescribiera, o tomaban un ensayo de un robot y le pedían a un humano que lo arreglara. Era un escenario escenificado y artificial.
La Nueva Forma (AITDNA): Los investigadores montaron un "laboratorio de escritura" del mundo real. Contrataron a 99 personas para que escribieran ensayos sentadas junto a un robot. Grabaron todo: cada vez que el humano escribía, cada vez que pedía ayuda al robot, cada vez que borraba una sugerencia del robot y cada instrucción (prompt) que escribía.

La Analogía: Los conjuntos de datos anteriores eran como ver una película donde los actores fingen cocinar una comida. Sabes que es falso porque no están cortando vegetales de verdad. El nuevo conjunto de datos es como poner una cámara en una cocina real y observar a un chef y a un ayudante de cocina cocinar juntos, grabando cada corte, cada mezcla y cada prueba de sabor. Esto ofrece una imagen real de cómo trabajan juntos los humanos y la IA.

3. El Descubrimiento: Los Detectores son "Especialistas", no "Generalistas"

Los investigadores probaron varios detectores de IA en su nuevo conjunto de datos, más realista. Encontraron una verdad sorprendente: no existe un único "super detector" que sirva para todo.

El Detector de "Gran Imagen": Algunos detectores son excelentes para detectar si un ensayo completo fue escrito por un robot. Son como un guardia de seguridad que puede decir si un edificio entero está vacío o lleno.
El Detector "Micro": Otros detectores son mejores para encontrar solo una oración escrita por un robot. Son como un detective que busca una única huella dactilar.
El Fallo: Cuando le pides a un detector de "Gran Imagen" que encuentre una sola oración, falla. Cuando le pides a un detector "Micro" que juzgue un ensayo completo, se confunde.

La Analogía: Es como intentar usar un telescopio para leer un cartel de calle. El telescopio es increíble para ver estrellas distantes (detectar ensayos completos de IA), pero es pésimo para leer el texto pequeño de un cartel (detectar una sola oración de IA). El artículo encontró que los detectores suelen ser muy buenos en la tarea específica para la que fueron entrenados, pero pésimos en cualquier otro trabajo.

4. Las Nuevas Reglas: "Contenido" e "Intención"

El artículo también sugiere que necesitamos nuevas formas de definir el "texto de IA" que coincidan con las reglas de la vida real.

Regla Actual: "Si un robot lo tocó, es IA".
Propuestas de Nuevas Reglas:
- Basada en el Contenido: "Es IA solo si el robot escribió las ideas (como una revisión bibliográfica), incluso si un humano escribió las palabras".
- Basada en la Intención: "Es IA solo si se le pidió al robot que escribiera algo prohibido (como hacer trampa en un examen), aunque solo fuera para pulir una frase".

La Analogía: Imagina una regla escolar: "No puedes usar calculadora".

Definición Antigua: Si usaste una calculadora para cualquier operación matemática, reprobaste.
Nueva Definición: Si usaste una calculadora para resolver el problema, reprobaste. Pero si usaste una calculadora solo para verificar tu suma, eso está bien. El artículo argumenta que necesitamos detectores que entiendan la intención (el "por qué") y el contenido (el "qué"), no solo el "quién".

5. La Conclusión: Deja de Adivinar, Empieza a Especificar

La conclusión principal es que no podemos comparar diferentes detectores de IA a menos que acordemos las reglas del juego.

Si quieres atrapar a un estudiante que dejó que un robot escribiera todo su ensayo, usa un detector de "Nivel de Documento".
Si quieres atrapar a un estudiante que usó un robot para escribir un párrafo específico, usa un detector de "Nivel de Oración".
Si quieres atrapar a un estudiante que usó un robot para escribir un tema prohibido, usa un detector "Basado en el Contenido".

La Metáfora Final: El artículo es como un mecánico diciéndote: "No puedes usar un martillo para arreglar un tornillo, y no puedes usar un destornillador para arreglar un clavo. Deja de quejarte de que tus herramientas no funcionan; solo necesitas elegir la herramienta adecuada para el trabajo específico que intentas hacer".

Los investigadores han publicado su nuevo conjunto de datos del "mundo real" y su lista de definiciones para que todos puedan finalmente hablar el mismo lenguaje y construir herramientas mejores y más honestas.

Resumen Técnico: 'Tu texto de IA no es mío': Redefiniendo y evaluando la detección de texto generado por IA bajo supuestos realistas

Planteamiento del Problema

Si bien la detección de texto generado por IA (AITD, por sus siglas en inglés) es ampliamente reconocida como una tecnología crítica para mitigar riesgos sociales —como el debilitamiento del control de calidad científica, la deshonestidad académica y las campañas de desinformación—, no existe un consenso en la literatura sobre qué constituye el uso "dañino" de la IA. Los conjuntos de datos y los enfoques de evaluación existentes a menudo dependen de supuestos implícitos y simplistas que no se alinean con los patrones de co-creación humano-IA del mundo real. Específicamente, los benchmarks actuales suelen tratar los textos como enteramente humanos o enteramente generados por IA (en bloque), o asumen fronteras fijas entre los pasajes humanos y de IA. Estas construcciones sintéticas no logran capturar la naturaleza matizada e iterativa de la colaboración humano-IA, donde los autores y los Modelos de Lenguaje Extensos (LLMs) interactúan a través de prompts, revisiones y continuaciones. En consecuencia, las nociones actuales de AITD suelen estar subespecificadas, lo que hace que los hallazgos entre diferentes conjuntos de datos sean incompatibles y dificulta el desarrollo de detectores que se generalicen a casos de uso realistas.

Metodología

Los autores abordan estas brechas a través de una metodología de tres vertientes:

Marco Conceptual: El artículo establece un vocabulario compartido para definir las nociones de AITD a lo largo de tres dimensiones:
- Estándar Normativo: Distingue el uso de IA aceptable del inaceptable (por ejemplo, prohibición total frente a pulido permisible).
- Supuestos de Génesis: Restricciones sobre cómo se crea el texto (por ejemplo, generación en bloque frente a segmentos mixtos).
- Modelo de Atacante: El grado en que se violan los supuestos de génesis (por ejemplo, reemplazar tokens post-hoc).
  Basándose en esto, los autores categorizan las nociones existentes en basadas en la Génesis (nivel de documento, nivel de frontera, nivel de oración) y basadas en la Población (basadas en membresía). Además, proponen dos nuevas nociones para cubrir brechas prácticas: AITD basada en Contenido (marcar oraciones de IA que violan políticas de contenido) y AITD basada en Identificación de Autoría (marcar texto de IA que no coincide con el estilo de un autor humano específico).
Construcción del Conjunto de Datos (AITDNA): Para probar estas nociones contra datos realistas, los autores recolectaron AITDNA, un nuevo benchmark de 352 textos co-construidos por humanos y máquinas de 99 participantes.
- Proceso de Recolección: Los participantes utilizaron una interfaz personalizada basada en CARE para co-escribir textos en cuatro condiciones: solo humano, y tres modos de co-creación (Argumentativo, Creativo, Explicativo) utilizando varios LLMs (incluyendo Llama-4, Qwen2.5, DeepSeek-V3.2, GPT-5.2 y Gemini-3).
- Granularidad: La interfaz registró trazas de interacción detalladas, incluyendo prompts de usuario, respuestas de LLM e historial de ediciones específicas (inserciones/eliminaciones). Esto permite la derivación precisa de la "génesis" (el origen de cada token: Humano, IA o Mixto).
- Alcance: El conjunto de datos cubre múltiples géneros y configuraciones de LLM, resultando en un promedio de ~50% de tokens de IA por texto con 23.33 fronteras entre los pasajes humanos y de IA, lo que refleja una alta intermezcla.
Protocolo de Evaluación: Los autores evaluaron ocho detectores (seis de código abierto, dos propietarios) a través del nuevo conjunto de datos AITDNA y cinco conjuntos de datos existentes (CoAuthor, SenDetEx, BD, Mixset, DetectRL).
- Variables Controladas: Variaron sistemáticamente los parámetros de la noción, específicamente el umbral $\tau$ (la proporción mínima de tokens de IA requerida para etiquetar un segmento como IA) y la granularidad de segmentación (documento, frontera, oración).
- Métricas: El rendimiento se midió utilizando AUROC, F1-Score y Tasa de Falsos Positivos (FPR).

Contribuciones Clave

C#1: Marco de Noción de AITD: Los autores derivan un marco formal para especificar problemas de AITD, identificando cinco nociones comunes e introduciendo dos nuevas (basada en contenido e identificación de autoría) para alinearse mejor con las políticas del mundo real.
C#2: El Conjunto de Datos AITNA: Publican AITDNA, el primer conjunto de datos que captura historiales detallados de interacción humano-IA (prompts, ediciones y génesis) en un entorno de co-escritura realista, sirviendo como un punto de referencia agnóstico a la noción.
C#3: Análisis Empírico de Supuestos: El estudio demuestra sistemáticamente que los conjuntos de datos existentes codifican supuestos poco realistas (por ejemplo, bajas proporciones de mezcla, generación en bloque) que no reflejan la co-creación natural. Muestran que el rendimiento de los detectores es altamente sensible a la noción subyacente y sus parámetros.

Resultados

Desalineación de los Datos Existentes: El análisis revela que los conjuntos de datos sintéticos (como DetectRL y Mixset) a menudo asumen una generación "en bloque" donde la IA reescribe documentos enteros, lo que resulta en recuentos bajos de fronteras y altas proporciones de tokens de IA (~~65%). En contraste, AITDNA muestra una mezcla más equilibrada (~~51% de tokens de IA) con recuentos de fronteras significativamente más altos (23.33), indicando que los datos sintéticos fallan al modelar la intermezcla granular de la co-escritura real.
Dificultad de la Noción: El rendimiento de la detección varía significamente según la noción. La AITD a nivel de documento produce el rendimiento más alto, mientras que las nociones más finas (nivel de oración, basadas en intención, basadas en contenido) son sustancialmente más difíciles. Los detectores comerciales (GPTZero, Pangram) funcionaron mal en tareas basadas en contenido/intención, lo que sugiere que se sobreajustan a características superficiales en lugar de al contenido semántico o la intención del prompt.
Sensibilidad de Parámetros: La elección del parámetro de umbral $\tau$ altera drásticamente los resultados de la evaluación. Por ejemplo, establecer $\tau = 0.5$ (mayoría de IA) frente a $\tau = 0.1$ (cualquier IA) conduce a variaciones de hasta 0.8 en el F1-score a través de los conjuntos de datos. Esto indica que sin una especificación de parámetros explícita y consistente, las comparaciones entre conjuntos de datos son inválidas.
No Existe un Detector Universal: Ningún detector supera consistentemente a otros en todos los conjuntos de datos y nociones. Los rankings de rendimiento cambian dependiendo de los supuestos subyacentes del conjunto de datos y la noción específica probada. Por ejemplo, moBERT destacó en DetectRL (probablemente debido al solapamiento de los datos de entrenamiento) pero no en AITDNA.

Significado y Reivindicaciones

El artículo argumenta que el campo de la AITD debe ir más allá de los benchmarks sintéticos y agnósticos a la noción que oscurecen la complejidad de la colaboración humano-IA. Los autores afirman que:

La Estandarización es Crítica: Los resultados de la evaluación solo son comparables si las nociones subyacentes (segmentación, estándares normativos y parámetros como $\tau$ ) están explícitamente definidas y alineadas.
El Realismo Importa: Los detectores entrenados o evaluados en conjuntos de datos sintéticos de baja mezcla pueden fallar en escenarios del mundo real donde el texto humano y el de IA están profundamente entrelazados.
Alineación con Políticas: Los futuros detectores deben diseñarse para soportar políticas matizadas (por ejemplo, distinguir entre el pulido permisible y la generación completa prohibida) en lugar de etiquetas binarias de "humano vs. IA".

Los autores concluyen que, si bien la detección confiable sigue siendo factible, la falta actual de definiciones estandarizadas y datos realistas dificulta el progreso. Hacen un llamado para que el trabajo futuro se centre en detectores robustos que explícitamente tengan en cuenta estas diversas suposiciones y en la recolección de conjuntos de datos dedicados a nociones poco exploradas como la identificación de autoría.