Resumen Técnico: ARB – Un Conjunto de Datos de Referencia para la Evaluación de la Autoría y el Reescrito de Modelos de Lenguaje (Matched Authorship-Rewriting Benchmark)

1. Planteamiento del Problema

Los actuales conjuntos de datos de referencia para la detección de texto generado por IA evalúan principalmente a los detectores en una tarea de clasificación binaria: distinguir texto escrito por humanos de texto generado directamente por Modelos de Lenguaje de Gran Escala (LLM). Si bien investigaciones previas han establecido que el parafraseo y el reescrito pueden degradar el rendimiento de los detectores, persiste una brecha crítica: no está claro si el rendimiento medido en los benchmarks convencionales de "Humano vs. LLM-Directo" predice el comportamiento de un detector cuando el contenido de autoría humana es reescrito por un LLM.

Los benchmarks estándar suelen confundir dos factores distintos:

1. Origen del Contenido: Si las ideas y el contenido semántico se originan en un humano o en un LLM.
2. Superficie Lingüística: Si la redacción final es escrita por un humano, generada directamente por un LLM o mediada por un LLM a través del reescrito.

En flujos de trabajo realistas (por ejemplo, un estudiante redactando un ensayo y utilizando un LLM para pulirlo), el contenido es de origen humano, pero la superficie es mediada por un LLM. Los benchmarks existentes no logran aislar estos factores, lo que potencialmente sobreestima la robustez de los detectores frente al texto de origen humano pulido por IA.

2. Metodología: El Benchmark ARB

Los autores introducen el ARB (Authorship-Rewriting Benchmark), un conjunto de datos de cuatro regímenes emparejados diseñado para separar el origen del contenido de la superficie lingüística.

Construcción del Conjunto de Datos

• Material de Origen: 1,800 textos humanos fuente (600 cada uno de XSum, WritingPrompts y OpenWebText), estratificados por longitud (150–500 palabras).
• Generadores: Cuatro modelos de pesos abiertos ajustados para instrucciones (Llama-3.2-3B, Qwen2.5-7B, Mistral-7B, Gemma-2-9B).
• Cuatro Regímenes Emparejados: Para cada elemento fuente y generador, se crean cuatro variantes:
  1. HUMAN (Humano): El texto humano original.
  2. FREE-LLM (LLM-Libre): Generación directa por el LLM basada en un tema extraído de la fuente (línea base convencional).
  3. H2L (Humano-a-LLM): El texto humano original reescrito por el LLM (simula contenido de origen humano pulido por IA).
  4. LLM2L (LLM-a-LLM): La salida de FREE-LLM reescrita por el mismo LLM (simula una segunda pasada sobre contenido generado por IA).

Este diseño crea cuartetos emparejados donde las únicas variables son el origen del contenido y el régimen de reescrito, permitiendo comparaciones pareadas dentro de los bloques de conjunto de datos-generador.

Protocolo de Evaluación

• Detectores: Se evaluaron cinco detectores que representan diferentes familias:
  • Codificadores Supervisados: BERT-Defense, RoBERTa-Defense.
  • Supervisado Robusto: RADAR.
  • Likelihood/Curvatura Zero-shot: FastDetectGPT.
  • Contrastivo Zero-shot: Binoculars-falcon-7b.
• Métricas:
  • Primaria: TPR@1%FPR (Tasa de Verdaderos Positivos en una Tasa de Falsos Positivos del 1%). Esta métrica conservadora se elige porque las acusaciones falsas de autoría por IA conllevan costos éticos y prácticos significativos.
  • Secundaria: AUROC (Área bajo la curva de la característica operativa del receptor) para evaluar la separabilidad de clasificación global.
• Análisis: El rendimiento se mide mediante deltas pareados a nivel de bloque (comparando H2L y LLM2L contra la línea base de FREE-LLM) y promedios macro a través de los bloques de conjunto de datos-generador.

3. Resultados Clave

La evaluación revela un significativo "fallo de transferencia de benchmark", donde el rendimiento en la generación directa no se traduce al reescrito de origen humano.

Rendimiento de la Línea Base (Humano vs. FREE-LLM)

• Detectores Fuertes: FastDetectGPT y Binoculars-falcon-7b lograron una alta recuperación (91.2% y 93.5% respectivamente) al 1% FPR. RADAR alcanzó el 66.8%.
• Detectores Débiles: BERT-Defense y RoBERTa-Defense funcionaron cerca de los niveles del azar (TPR < 2%) a pesar de tener puntuaciones de AUROC moderadas.

Robustez al Reescrito

• H2L (Reescrito de Origen Humano): Los detectores fuertes sufrieron caídas catastróficas en la recuperación cuando el texto humano fue reescrito por un LLM.
  • FastDetectGPT: Cayó de 91.2% a 30.8% (una pérdida de ~60 puntos porcentuales).
  • Binoculars-falcon-7b: Cayó de 93.5% a 15.1% (una pérdida de ~78 puntos porcentuales).
  • RADAR: Cayó de 66.8% a 12.2%.
• LLM2L (Reescrito de Origen LLM): Cuando el texto generado por el LLM fue reescrito por el mismo modelo, la caída en el rendimiento fue significativamente menor.
  • FastDetectGPT: Cayó a 78.3% (pérdida de ~13 puntos).
  • Binoculars-falcon-7b: Cayó a 83.0% (pérdida de ~10 puntos).
  • RADAR: Se mantuvo casi estable en 64.6%.

La Brecha H2L–LLM2L

La brecha operativa entre H2L y LLM2L es sustancial. Para los mejores detectores, el LLM2L sigue siendo mucho más detectable que el H2L (por ejemplo, una brecha de 68 puntos para Binoculars). Los diagnósticos textuales indican que los reescritos H2L involucran cambios de superficie más fuertes (mayor distancia de edición, menor solapamiento léxico) que los reescritos LLM2L, lo que sugiere que la degradación es impulsada por una combinación de origen del contenido y fuerza de la transformación.

4. Contribuciones y Significado

El artículo reclama las siguientes contribuciones:

1. Encuadre Conceptual: Replantea la robustez del parafraseo como un problema de transferencia de benchmark. Demuestra que el benchmark estándar de "Humano vs. LLM-Directo" no es un proxy confiable para detectar texto de origen humano que ha sido mediado por un LLM.
2. Innovación en el Diseño: ARB introduce un diseño de cuatro regímenes emparejados que aísla el reescrito de origen humano (H2L) del reescrito de segunda pasada de origen LLM (LLM2L) utilizando una referencia humana compartida y controles del mismo generador.
3. Evidencia Empírica: El estudio proporciona evidencia de que los detectores robustos a la generación directa (como FastDetectGPT y Binoculars) no son robustos al reescrito de origen humano. Por el contrario, los mismos detectores siguen siendo ampliamente robustos al reescrito de origen LLM.
4. Perspectiva Diagnóstica: Los resultados sugieren que el origen del contenido es un factor estructural en la sensibilidad de la detección bajo superficies mediadas por LLM, distinto de la simple transformación de nivel de superficie. Esto se alinea con los hallazgos de otros trabajos (por ejemplo, RAIDAR, MAGRET) que explotan la asimetría en cómo los LLM editan el texto humano frente al de máquina.

5. Implicaciones para la Práctica

Los autores argumentan que las decisiones de adquisición y auditoría que dependen únicamente de los benchmarks estándar de Humano-vs-LLM corren el riesgo de sobreestimar sustancialmente la robustez de los detectores para el flujo de trabajo cada vez más común de borradores humanos revisados por IA.

• Evaluación: Los detectores deben ser evaluados específicamente en condiciones de tipo H2L antes de su despliegue en entornos que involucren texto de autoría humana revisado por IA.
• Reporte: Los benchmarks deben reportar el rendimiento estratificado por régimen (H2L vs. LLM2L) y punto operativo (TPR@1%FPR) en lugar de confiar en puntuaciones de AUROC agregadas.
• Despliegue: Las puntuaciones de los detectores deben tratarse como señales inciertas en lugar de evidencia definitiva de autoría, particularmente cuando el texto puede haber pasado por un reescrito de origen humano.

El artículo concluye que el trabajo futuro debe centrarse en el aislamiento causal del origen del contenido (igualando la fuerza de la transformación) y en una validación más amplia a través de diversos idiomas y dominios.