Resumen Técnico: Detección de Texto Generado por LLM mediante Caja Negra usando Divergencia Generalizada de Jensen-Shannon

Declaración del Problema

El avance rápido de los Modelos de Lenguaje Grandes (LLM) ha difuminado la distinción entre texto escrito por humanos y texto generado por máquinas, planteando preocupaciones sobre desinformación, plagio, fraude y la degradación de la calidad de los datos de entrenamiento a través de bucles de retroalimentación recursivos. Los métodos de detección existentes enfrentan limitaciones significativas en escenarios prácticos de caja negra:

• Los detectores basados en clasificadores requieren reentrenamiento costoso cuando los dominios o generadores cambian y dependen de datos etiquetados de alta calidad.
• Los métodos de estadísticas globales (por ejemplo, verosimilitud, rango, entropía) suelen ser inestables bajo desajustes de calibración y cambios de dominio.
• Los métodos de estadísticas distribucionales (por ejemplo, DetectGPT, DNA-GPT) típicamente requieren regeneración o perturbación por instancia para estimar la divergencia local, lo que conduce a altos costos computacionales y latencia poco realista para aplicaciones de alto rendimiento.

Además, las restricciones de caja negra exacerban problemas donde el modelo proxy utilizado para la puntuación puede no coincidir con el modelo fuente desconocido. El artículo aborda la necesidad de un detector que evite el reentrenamiento y la regeneración por instancia, manteniéndose robusto bajo cambios de distribución y desajustes de modelos proxy.

Metodología: SurpMark

Los autores proponen SurpMark, un detector basado en referencias y de caja negra que enmarca la atribución como una prueba de hipótesis sin verosimilitud. El marco opera en dos fases:

1. Construcción de Referencia Offline

Utilizando corpus humanos y de máquinas existentes, el sistema construye matrices de transición de referencia fijas:

• Estimación de Sorpresa: Un Modelo de Lenguaje (LM) proxy fijo calcula las sorpresas a nivel de token ($s_t = -\log p_\theta(x_t | x_{<t})$) para textos de referencia.
• Discretización: Los valores continuos de sorpresa se cuantizan en $k$ estados interpretables (por ejemplo, "Predecible", "Sorprendente") utilizando un cuantizador $k$-means compartido. Esto convierte la secuencia en una secuencia de estados discretos $\{a_t\}$.
• Modelado de Transición: Las secuencias de estados se modelan como cadenas de Markov de primer orden. Las matrices de probabilidad de transición empíricas ($\hat{M}_{human}$ y $\hat{M}_{machine}$) se estiman contando las transiciones de estado en los corpus de referencia.

2. Detección Online

Para un pasaje de texto de prueba:

• Extracción de Características: El mismo LM proxy calcula las sorpresas, que se discretizan utilizando el cuantizador compartido para formar una secuencia de estados.
• Estimación de Transición: Se calcula una matriz de transición empírica ($\hat{M}_{test}$) para el texto de prueba.
• Puntuación: El detector calcula una puntuación de Divergencia Generalizada de Jensen-Shannon (GJS). Específicamente, calcula la diferencia entre la distancia GJS a la referencia de máquina y la distancia GJS a la referencia humana:
  $$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$$
  donde $\alpha$ es la relación entre la longitud de referencia y la longitud de prueba.
• Decisión: El texto se clasifica como generado por máquina si $\Delta GJS_n \leq \tau$ (donde $\tau$ es un umbral, típicamente 0), y como escrito por humanos en caso contrario.

Justificación Teórica

El artículo proporciona un análisis teórico bajo una aproximación idealizada de Markov de primer orden de los estados de sorpresa discretizados:

• Compensación Discretización-Estimación: Los autores derivan una ley de escalado para el número de bins $k$. Equilibrando el error de discretización ($O(1/k)$) y el error de estimación estadística ($O(k^{3/2}/\sqrt{N})$), el conteo óptimo de bins escala como $k^* = \Theta(N^{1/5})$, donde $N$ es la longitud total de los datos de referencia.
• Validez de la Estadística: Se demuestra que la estadística $\Delta GJS_n$ es equivalente a la relación de verosimilitud logarítmica normalizada entre las dos hipótesis (humano vs. máquina). Los autores prueban su normalidad asintótica, proporcionando una base principista para la regla de decisión.
• Suficiencia de Primer Orden: El análisis empírico y teórico (basado en la teoría de aproximación de Gray) indica que la información mutua condicional ganada al pasar de un modelo de Markov de primer orden a uno de segundo orden es negligible (reducción de perplejidad subporcentual), justificando el uso de modelos de primer orden para la eficiencia de datos.

Contribuciones Clave

1. Marco SurpMark: Un detector basado en referencias que resume el texto a través de la dinámica de sorpresa de tokens (transiciones de estado) en lugar de verosimilitudes absolutas, evitando la necesidad de regeneración por instancia.
2. Análisis Teórico: Derivación de directrices de diseño para la escalación de bins de discretización ($k \propto N^{1/5}$) y una justificación principista de la estadística de prueba basada en GJS como relación de verosimilitud logarítmica.
3. Evaluación Exhaustiva: Experimentos extensos que demuestran robustez en diversos conjuntos de datos, modelos fuente (de código abierto y cerrado) y escenarios (dominios mixtos, parafraseo, ataques adversarios).

Resultados Experimentales

SurpMark fue evaluado contra 13 líneas base (incluyendo DetectGPT, Lastde++, R-Detect y Binoculars) en múltiples conjuntos de datos (XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL) y modelos (9 de código abierto, 3 de código cerrado).

• Rendimiento: SurpMark coincide o supera consistentemente a las líneas base. Logró el AUROC promedio más alto en 6 de 9 modelos de código abierto y se clasificó primero en los 3 modelos de código cerrado (incluyendo GPT-5-Chat), donde las estadísticas marginales a menudo fallan.
• Eficiencia: A diferencia de los métodos distribucionales que requieren regeneración por entrada (por ejemplo, DetectGPT, Lastde++), SurpMark puntúa textos en un solo paso. Logra un mayor rendimiento que las líneas base después de amortizar el costo de preprocesamiento único, haciéndolo adecuado para implementación en tiempo real.
• Robustez:
  • Desajuste de Proxy: SurpMark permanece estable incluso cuando el LM proxy difiere significativamente del generador fuente, mientras que muchas líneas base se degradan.
  • Cambio de Dominio: El método mantiene un alto rendimiento en configuraciones de dominio mixto y generador mixto (benchmark DetectRL).
  • Ataques Adversarios: SurpMark demuestra una fuerte resiliencia contra ataques de parafraseo (pulido, traducción inversa, DIPPER) y ataques adversarios diseñados con ingeniería de prompts para imitar el estilo humano o evadir la detección.
  • Generalización OOD: El detector funciona bien cuando los textos de referencia provienen de un dominio diferente al conjunto de prueba, lo que indica que captura señales transferibles en lugar de artefactos específicos del dominio.

Significado y Afirmaciones

El artículo afirma que SurpMark ofrece una solución robusta, eficiente y teóricamente fundamentada para la detección de texto de LLM en caja negra. Su importancia radica en:

• Desacoplamiento de Modelos Fuente: Al depender de la dinámica de las sorpresas de tokens en relación con referencias fijas, evita la fragilidad de los clasificadores entrenados en generadores específicos.
• Eficiencia Computacional: Elimina la latencia y el costo asociados con la regeneración por instancia, permitiendo un despliegue escalable.
• Manejo de Modelos Avanzados: El método aborda específicamente el desafío de detectar texto de modelos fuertes y de código cerrado (como GPT-5) donde las distribuciones de sorpresa marginal convergen con el texto humano, pero las dinámicas transicionales permanecen distintas.

Los autores notan modestamente las limitaciones, reconociendo que la aproximación de Markov de primer orden es una idealización para el espacio de estados discretizado y que la exposición al preentrenamiento de textos humanos en el modelo proxy podría teóricamente aumentar los falsos positivos, aunque los experimentos sugieren que este efecto es mínimo. Enfatizan que el detector proporciona una señal probabilística y no debe utilizarse como la única base para decisiones de alto riesgo sin revisión humana.