A Training-free Method for LLM Text Attribution

1. El Problema

La verificación del origen (procedencia) del contenido generado por Inteligencia Artificial se ha vuelto crítica para instituciones educativas, plataformas de redes sociales y empresas. A medida que los Modelos de Lenguaje Grande (LLMs) generan texto indistinguible del humano, surge la necesidad de determinar si un texto específico fue producido por un LLM en particular (especialmente uno no autorizado o "no sancionado") o por un modelo interno aprobado, o incluso si fue escrito por un humano.

Los desafíos principales identificados son:

• Falsos Positivos: Los métodos actuales carecen de garantías teóricas estrictas sobre la tasa de falsos positivos, lo que puede llevar a acusaciones injustas (ej. expulsión de estudiantes por plagio de IA).
• Textos Cortos: La mayoría de los métodos existentes no ofrecen garantías informativas para textos cortos (como tweets o respuestas breves), donde las señales estadísticas son limitadas.
• Falta de Entrenamiento: Los métodos basados en aprendizaje requieren grandes conjuntos de datos etiquetados y no generalizan bien a nuevos modelos.
• Acceso a Caja Negra: Muchos LLMs comerciales no proporcionan acceso a las distribuciones de probabilidad de los tokens (caja blanca), limitando la detección.

2. Metodología

El artículo propone un marco teórico basado en pruebas estadísticas de hipótesis de "cero disparos" (zero-shot) que no requieren entrenamiento previo.

Modelado del Proceso

• Proceso Estocástico Secuencial: El texto generado por un LLM se modela como un proceso estocástico con dependencia completa del historial (autoregresivo). Cada token depende de todos los tokens anteriores y del prompt.
• Papel de los Modelos:
  • Modelo Evaluador (A): El modelo utilizado para evaluar el texto (puede ser el modelo sospechoso o un modelo de referencia).
  • Modelo Generador (B): El modelo que realmente produjo el texto (puede ser A, otro LLM o un humano).

Estadísticas Clave

El método se basa en la convergencia de dos propiedades estadísticas:

1. Perplejidad Logarítmica ($l_A$): Mide cuán "sorprendente" es el texto para el modelo evaluador A. Se calcula como el promedio del logaritmo negativo de las probabilidades asignadas por A a los tokens del texto.
2. Entropía Cruzada Promedio ($h_N(B, A)$): Representa el valor esperado de la perplejidad logarítmica cuando el texto es generado por B y evaluado por A.

La Hipótesis Central:

• Si el texto fue generado por A, la perplejidad logarítmica converge a la entropía de A ($h_N(A, A)$).
• Si el texto fue generado por B (donde $B \neq A$), la perplejidad logarítmica converge a la entropía cruzada entre B y A ($h_N(B, A)$).

El método utiliza desigualdades de concentración para probar que la diferencia entre la perplejidad observada y el valor esperado converge exponencialmente a cero a medida que aumenta la longitud del texto, incluso para secuencias dependientes (no i.i.d.).

Escenarios de Prueba

1. Atribución entre múltiples modelos: Determinar si un texto proviene de un conjunto de modelos no sancionados ($A$) o de un conjunto de modelos internos ($B$).
2. Detección (A vs. No-A): Determinar si un texto fue generado por un modelo específico conocido ($A$) o por cualquier otra fuente desconocida (humano u otro modelo).

Configuración Caja Blanca vs. Caja Negra

• Caja Blanca: Se asume acceso completo a las distribuciones de probabilidad de los tokens del modelo evaluador.
• Caja Negra: Cuando no hay acceso a las probabilidades, el método utiliza muestreo para estimar empíricamente las distribuciones. El artículo deriva el tamaño de muestra mínimo necesario para mantener las mismas garantías de error que en el caso de caja blanca.

3. Contribuciones Clave

1. Garantías Teóricas para Textos Finitos: Son los primeros en desarrollar pruebas estadísticas de cero disparos con garantías teóricas no asintóticas para textos de longitud finita (incluyendo textos cortos).
2. Decaimiento Exponencial del Error: Demuestran que tanto el Error Tipo I (falso positivo) como el Error Tipo II (falso negativo) decaen exponencialmente con la longitud del texto ($N$). Esto significa que la fiabilidad mejora rápidamente con solo unos pocos tokens adicionales.
3. Novedad Matemática (Martingalas): Abordan la dependencia de los tokens en los LLMs (que rompe la suposición i.i.d. de métodos anteriores) definiendo variables aleatorias por token que forman una martingala. Esto permite aplicar desigualdades de concentración para martingalas, obteniendo límites de error explícitos.
4. Límites Inferiores Óptimos: Proporcionan un límite inferior de teoría de la información que demuestra que el decaimiento exponencial del error es óptimo (casi no se puede hacer mejor).
5. Extensión a Caja Negra: Caracterizan el tamaño de muestra necesario para aproximar las garantías de caja blanca mediante muestreo.

4. Resultados Experimentales

Los autores validaron su método en múltiples conjuntos de datos (SQuAD, XSum, Reddit WritingPrompts, RAID) y compararon con detectores basados en aprendizaje, watermarking y otros métodos de cero disparos (como DetectGPT, Binoculars, GLTR).

• Atribución de LLMs: En tareas de distinguir entre modelos de la misma familia (ej. LLaMA2 vs. LLaMA3) o arquitecturas diferentes, el método mantuvo tasas de falsos positivos muy bajas (generalmente < 2%) y tasas de verdaderos positivos altas.
• Detección (Humano vs. LLM):
  • El método superó a los baselines en conjuntos de datos densos en hechos (SQuAD), donde las señales superficiales suelen fallar.
  • Logró un TPR (True Positive Rate) superior al 90-99% manteniendo un FPR (False Positive Rate) ≤ 1% en varios escenarios.
• Robustez ante Ataques: Se evaluó contra un conjunto de datos masivo (RAID, ~6M de textos) que incluía 11 modelos, 4 estrategias de decodificación y 11 ataques adversarios (paráfrasis, cambios de sinónimos, eliminación de artículos, etc.).
  • El método mostró una robustez superior a la mayoría de los detectores comerciales y de código abierto, manteniendo un rendimiento estable incluso bajo ataques de paráfrasis y cambios léxicos, aunque la detección se vuelve más difícil con muestreo aleatorio (sampling) en lugar de codificación codiciosa (greedy).
• Textos Cortos: Los experimentos de convergencia mostraron que el método es efectivo incluso con secuencias de aproximadamente 100 tokens.

5. Significado e Impacto

Este trabajo es fundamental por varias razones:

• Justicia y Responsabilidad: Al garantizar tasas de falsos positivos extremadamente bajas y controlables teóricamente, el método mitiga el riesgo de acusaciones injustas en entornos educativos y regulatorios, un problema grave con los detectores actuales.
• Cumplimiento Normativo: Ofrece una herramienta viable para que las organizaciones auditen el uso de LLMs internos versus externos, asegurando el cumplimiento de políticas de seguridad y propiedad intelectual.
• Independencia del Proveedor: Al ser un método "sin entrenamiento" y funcionar en modo caja negra (mediante muestreo), no depende de la cooperación de los proveedores de IA para implementar marcas de agua (watermarking), superando una barrera de adopción significativa.
• Marco Teórico Sólido: Establece un nuevo estándar teórico para la detección de IA, demostrando que es posible obtener garantías rigurosas en el régimen de "un solo pasaje" (single-passage) y secuencias dependientes, llenando un vacío en la literatura existente que se centraba en escenarios asintóticos o heurísticos.

En resumen, el artículo presenta una solución teóricamente fundamentada y empíricamente robusta para la atribución de texto de LLMs, capaz de operar sin datos de entrenamiento, con garantías de error controladas y resistente a ataques adversarios, lo que la hace ideal para aplicaciones críticas de gobernanza de IA.