Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

Resumen Técnico: Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

1. El Problema

El auge de los Modelos de Lenguaje Grandes (LLM) ha facilitado la "escritura fantasma" (ghostwriting) automatizada, donde se generan libros completos de baja calidad para engañar a los lectores y desplazar obras legítimas. Sin embargo, las herramientas actuales de detección presentan limitaciones críticas:

• Enfoque binario: La mayoría de los conjuntos de datos existentes tratan la detección como una clasificación binaria (Humano vs. IA), ignorando la tarea de atribución de autoría (identificar qué modelo específico generó el texto).
• Falta de generalización: Los métodos actuales suelen fallar cuando se enfrentan a datos fuera de distribución (OOD), como textos de géneros no vistos durante el entrenamiento o generados por modelos de IA desconocidos.
• Longitud del texto: Las investigaciones previas se centran en textos cortos, mientras que el problema real de la escritura fantasma ocurre en documentos largos (libros de más de 50.000 palabras), donde las limitaciones de contexto de los modelos tradicionales (como los basados en Transformers estándar) son un obstáculo.
• Dependencia de datos: Muchos métodos requieren grandes cantidades de datos de entrenamiento y acceso de "caja blanca" (parámetros internos del modelo), lo que los hace inaplicables a modelos cerrados (closed-source).

2. Metodología

Los autores abordan estos desafíos mediante dos contribuciones principales: un nuevo conjunto de datos y un nuevo método de detección.

A. GHOSTWRITEBENCH (Nuevo Conjunto de Datos)
Es el primer dataset diseñado específicamente para la atribución de autoría en textos largos generados por LLMs.

• Escala: Contiene más de 300 libros (promedio de 53k palabras por libro) generados por 10 LLMs de vanguardia (incluyendo GPT-4.1, GPT-5.1, Claude Sonnet, Gemini, etc.) y 100 libros humanos de referencia.
• Generación: Utiliza una tubería (pipeline) jerárquica que imita el proceso humano: generación de un esquema detallado, resumen iterativo y expansión de texto, utilizando libros reales de Project Gutenberg como ejemplos de pocos disparos (few-shot) para mantener la coherencia narrativa.
• Evaluación OOD: Diseñado para probar la generalización en dos dimensiones:
  1. OOD-Dominio: Evaluar la capacidad de detectar textos en géneros no vistos durante el entrenamiento.
  2. OOD-Autor: Evaluar la capacidad de identificar textos generados por un LLM que no estaba presente en el conjunto de entrenamiento (escenario de conjunto abierto).

B. TRACE (Método de Detección)
Se propone TRACE (Transition-based Representation for Authorship Classification and Evaluation), un método de huella digital (fingerprinting) ligero, interpretable y que no requiere acceso de caja blanca.

• Mecanismo: En lugar de analizar el texto directamente, TRACE utiliza un modelo de lenguaje ligero externo (evaluador, como GPT-2) para estimar patrones de transición a nivel de token.
• Variante Basada en Rango (Rank-based): Calcula el rango de probabilidad de cada token y modela las transiciones entre rangos consecutivos ($r_{i-1} \to r_i$). Se comprime en una matriz 2D densa mediante agrupamiento (binning).
• Variante Basada en Entropía (Entropy-based): Calcula la entropía de cada token dado el contexto anterior y modela las transiciones de entropía. Se suaviza mediante estimación de densidad de kernel para crear un mapa de densidad 2D.
• Comparación: La atribución se realiza comparando la huella digital de la muestra de prueba con las huellas de referencia de los LLMs conocidos utilizando métricas de similitud como la distancia Jensen-Shannon (para rangos) o la norma media (para entropía).

3. Contribuciones Clave

1. GHOSTWRITEBENCH: Un benchmark estandarizado para la detección de libros generados por IA, que supera las limitaciones de datasets anteriores al incluir textos largos, múltiples modelos de vanguardia y evaluaciones rigurosas de generalización (OOD).
2. TRACE: Un método de atribución que:
   • Funciona tanto para modelos de código abierto como cerrado.
   • Requiere muy pocos datos de entrenamiento (incluso 3-5 libros por autor).
   • Es robusto frente a cambios de dominio y autores no vistos.
   • Ofrece interpretabilidad visual a través de mapas de calor de las transiciones.

4. Resultados Experimentales

Los experimentos en GHOSTWRITEBENCH demuestran que TRACE supera a los métodos del estado del arte (basados en N-gramas, BERT, DETECTIVE, etc.):

• Rendimiento General: TRACE alcanza el mejor rendimiento en escenarios de in-distribución (ID), superando a los baselines en métricas macro-F1.
• Generalización OOD: En los escenarios más desafiantes (OOD-Dominio y OOD-Autor), los métodos basados en aprendizaje supervisado sufren una degradación significativa, mientras que TRACE mantiene una robustez superior.
  • Ejemplo: En la detección de autores humanos no vistos (OOD-Author), las variantes basadas en entropía de TRACE lograron un 100% de precisión en distinguir humanos de LLMs.
• Escenarios de Recursos Limitados: TRACE demuestra un rendimiento sólido incluso con pocos datos de entrenamiento (3-5 libros), donde otros métodos fallan estrepitosamente.
• Análisis de Errores: Los baselines tienden a confundir modelos de la misma familia (ej. GPT-4.1 con GPT-5.1), mientras que TRACE logra una mayor especificidad para distinguir modelos individuales.

5. Significado e Impacto

Este trabajo es fundamental para el campo de la forense de texto generada por IA:

• Herramienta de Seguridad: Proporciona una metodología viable para detectar y atribuir libros generados por IA, combatiendo la proliferación de "libros fantasma" de baja calidad en plataformas como Amazon.
• Cambio de Paradigma: Mueve el foco de la simple detección binaria (Humano vs. IA) hacia la atribución de autoría específica, lo cual es crucial para la rendición de cuentas y la trazabilidad del contenido.
• Escalabilidad: Al ser un método ligero y post-hoc (no requiere reentrenar modelos masivos), es escalable y aplicable en entornos reales donde el acceso a los modelos generadores es limitado.
• Futuro: Establece una nueva línea de investigación para la forense de documentos largos y abre la puerta a estudios sobre la resiliencia de estos métodos frente a ataques de ofuscación y la detección en múltiples idiomas.

En conclusión, el artículo presenta una solución técnica robusta y generalizable para un problema emergente y crítico en la era de la IA generativa, demostrando que el análisis de patrones de transición de tokens puede revelar la "firma" única de un LLM incluso en textos extensos y complejos.