$k$NNProxy: Efficient Training-Free Proxy Alignment for Black-Box Zero-Shot LLM-Generated Text Detection

Resumen Técnico: kNNProxy

1. El Problema: Detección de Texto Generado por LLM en Escenarios de Caja Negra

La detección de texto generado por Grandes Modelos de Lenguaje (LGT, por sus siglas en inglés) es crucial para la forense digital y la mitigación de riesgos de seguridad. Existen dos enfoques principales:

• Métodos basados en aprendizaje: Requieren entrenamiento con datos etiquetados, lo que limita su generalización a modelos no vistos.
• Métodos "Zero-Shot" (Sin entrenamiento): Utilizan un Modelo Proxy (un LLM accesible) para simular el comportamiento del Modelo Fuente (el LLM desconocido que generó el texto).

El Desafío Principal: La eficacia de los métodos zero-shot depende fundamentalmente de que la distribución de probabilidad del modelo proxy esté alineada con la del modelo fuente. En escenarios de "caja negra" reales, donde el modelo fuente es desconocido y propietario (ej. GPT-4, Claude), un único modelo proxy fijo suele estar mal alineado, lo que degrada drásticamente la precisión de detección.

Limitaciones de los métodos existentes de alineación:

• DALD: Requiere fine-tuning (ajuste fino) supervisado del proxy, lo que es costoso computacionalmente y poco escalable.
• Glimpse: Depende de consultas repetidas a APIs comerciales para obtener probabilidades de top-k, lo que genera altos costos, expone a cambios silenciosos en la API y carece de robustez ante cambios de dominio (fuera de distribución).

2. Metodología Propuesta: kNNProxy

Los autores proponen kNNProxy, un marco de alineación de proxy sin entrenamiento (training-free) y eficiente en consultas. La idea central es reutilizar el mecanismo de recuperación del modelo de lenguaje k-vecinos más cercanos (kNN-LM) como un adaptador de dominio para un proxy fijo.

Componentes Clave:

• Construcción de la Base de Datos (Datastore) Offline:

  • Se construye una vez una base de datos ligera a partir de un corpus de texto generado por el modelo fuente objetivo (o un corpus que lo refleje).
  • Esta base de datos almacena pares de (contexto, siguiente token).
  • No requiere acceso a los parámetros internos ni a las probabilidades de salida del modelo fuente, solo a sus textos generados.

• Alineación mediante Recuperación e Interpolación:

  • Durante la inferencia, para cada token de un texto sospechoso, el sistema recupera los $k$ vecinos más cercanos de la base de datos basándose en la representación del contexto.
  • Se genera una distribución predictiva inducida por kNN ($\pi_{knn}$) basada en estos vecinos.
  • Esta distribución se interpola con la distribución del proxy fijo ($\pi_{prx}$) para obtener una distribución alineada ($\hat{\pi}$):
    $$\hat{\pi} = \lambda \pi_{prx} + (1 - \lambda) \pi_{knn}$$
  • Esto corrige las probabilidades del proxy hacia el comportamiento del modelo fuente sin necesidad de fine-tuning ni llamadas a API por token.

• Mezcla de Proxy (MoP - Mixture of Proxies):

  • Para mejorar la robustez ante cambios de dominio (Out-of-Distribution), se extiende kNNProxy a un esquema MoE (Mixture of Experts).
  • Se construyen múltiples bases de datos específicas por dominio (ej. académico, noticias, redes sociales).
  • Un enrutador ligero asigna cada entrada a la base de datos más compatible, asegurando una recuperación coherente con el dominio del texto.

• Recorte de Cola Inferior (Tail Clipping):

  • Se introduce una estrategia robusta para estabilizar la detección, recortando los valores de log-verosimilitud extremadamente bajos que suelen ser outliers y distorsionan la puntuación final.

• Análisis Teórico y Hiperparámetros Adaptativos:

  • Los autores derivan un límite teórico de error de aproximación dependiente del tamaño del corpus.
  • Basándose en esto, proponen hiperparámetros adaptativos por token (tamaño de vecindad $k$, temperatura $\tau$ y peso de interpolación $\lambda$) que se ajustan dinámicamente según la calidad de la recuperación local, mejorando la fiabilidad sin búsqueda exhaustiva de hiperparámetros.

3. Contribuciones Clave

1. Alineación de Proxy sin Entrenamiento: kNNProxy elimina la necesidad de fine-tuning costoso y evita las consultas intensivas a APIs, utilizando una base de datos construida una sola vez.
2. Robustez OOD con Control de Dominio: La extensión MoP permite manejar cambios de dominio mediante enrutamiento a expertos específicos, superando la limitación de los métodos de un solo proxy.
3. Diseño Guiado por Teoría: Derivación de un límite de error que motiva el uso de hiperparámetros adaptativos por token, mejorando la detección en regiones de alta incertidumbre.
4. Rendimiento SOTA: Logra un rendimiento superior al estado del arte en benchmarks modernos.

4. Resultados Experimentales

Los experimentos se realizaron en dos benchmarks principales: Mix8 (8 modelos propietarios recientes) y DetectRL (incluye ataques de parafraseo y perturbación).

• Detección Binaria (Humano vs. AI):

  • En el benchmark Mix8, el método kNNProxy combinado con el detector Binoculars alcanzó un AUROC promedio de 0.99, superando al método de alineación anterior (SOTA) en un 6.45%.
  • Superó consistentemente a métodos como DALD y Glimpse, especialmente en modelos propietarios como GPT-4, Claude-3 y Gemini.
  • En el benchmark DetectRL (con ataques), kNNProxy mejoró el F1-score de Fast-DetectGPT de ~0.4 a ~0.79 en configuraciones fuera de dominio.

• Atribución de Fuente (Source Attribution):

  • Más allá de la detección binaria, kNNProxy demostró utilidad para identificar qué modelo específico generó el texto (atribución cerrada), alcanzando una precisión promedio (ACC) de 0.84 en un conjunto de 4 LLMs diferentes.

• Eficiencia:

  • La construcción de la base de datos es un proceso offline único.
  • Durante la inferencia, no requiere llamadas a APIs externas ni re-entrenamiento, lo que lo hace escalable y económico.

5. Significado e Impacto

El trabajo de kNNProxy es significativo porque resuelve el cuello de botella principal de la detección zero-shot: la brecha de alineación entre el proxy y el modelo fuente en entornos de caja negra.

• Viabilidad Práctica: Al eliminar la necesidad de fine-tuning y consultas API costosas, hace que la detección robusta sea viable para despliegues a gran escala.
• Adaptabilidad: Su capacidad para manejar cambios de dominio y versiones de modelos sin reentrenamiento lo hace ideal para un panorama de IA en rápida evolución.
• Nueva Aplicación del kNN-LM: Reorienta el uso de la recuperación kNN (tradicionalmente usada para mejorar la generación) hacia una tarea discriminativa y forense, abriendo nuevas vías de investigación en análisis de fuentes de texto.

En conclusión, kNNProxy establece un nuevo estándar para la detección de texto generado por IA, ofreciendo una solución robusta, eficiente y teóricamente fundamentada para el desafío de la forense en modelos de lenguaje propietarios.