Resumen Técnico: Marca de Agua en Conjuntos de Datos para LLMs Cerrados con Detección Demostrable

Formulación del Problema

Los Modelos de Lenguaje Grandes (LLMs) se entrenan frecuentemente en vastos conjuntos de datos, poco curados, que pueden incluir inadvertidamente datos propietarios o puntos de referencia de evaluación. Este fenómeno, a menudo exacerbado por el "benchmaxxing" (optimización del rendimiento en puntos de referencia durante el post-entrenamiento), genera preocupaciones sobre la contaminación de datos y la fiabilidad de las evaluaciones de modelos. Aunque trabajos recientes han explorado la marca de agua en conjuntos de datos —incrustar señales detectables en los conjuntos de datos antes de su publicación para auditar su uso en el entrenamiento de modelos—, los métodos existentes adolecen de dos limitaciones críticas:

1. Requisitos de Acceso: Los enfoques anteriores (por ejemplo, STAMP, Radioactive) dependen del acceso a modelos abiertos, requiriendo visibilidad sobre los internos del modelo, como las log-probabilidades, las distribuciones del siguiente token o las puntuaciones de perplejidad. Son ineficaces frente al acceso a modelos cerrados (API de caja negra), que es el estándar para la mayoría de los chatbots comerciales.
2. Falta de Garantías Teóricas: Los métodos existentes a menudo carecen de límites teóricos rigurosos y libres de distribución sobre la tasa de falsos positivos (FPR) de la detección.

Este artículo aborda el problema de detectar si un conjunto de datos específico se utilizó para entrenar un LLM objetivo, dado solo acceso a API de caja negra a las salidas del modelo, mientras se proporcionan garantías estadísticas demostrables sobre la fiabilidad de la detección.

Metodología

El marco propuesto opera en dos etapas: Incrustación y Detección. La intuición central aprovecha la tendencia conocida de los modelos de aprendizaje profundo a memorizar características espurias y correlaciones estadísticas presentes en los datos de entrenamiento.

1. Etapa de Incrustación (Inyección de Marca de Agua)

El propietario de los datos reestructura el conjunto de datos para inyectar una señal estadística detectable sin alterar la utilidad del conjunto de datos:

• Generación de Clave Secreta: Se forma una clave secreta ($sk$) muestreando aleatoriamente un conjunto de pares de palabras del vocabulario del conjunto de datos.
• Construcción de Variantes Léxicas: Para cada palabra en la clave, se genera un conjunto de variantes léxicas (sinónimos, términos co-ocurrentes).
• Reestructuración para Co-ocurrencia: El conjunto de datos se reestructura utilizando un LLM (por ejemplo, ChatGPT) para aumentar la frecuencia de co-ocurrencia de los pares de palabras seleccionados.
  • Las muestras que contienen variantes de ambas palabras en un par se preservan o mejoran.
  • Las muestras que contienen una palabra pero no su par se modifican para incluir el par.
  • Crucialmente, la co-ocurrencia se define a nivel de muestra; las palabras no necesitan ser consecutivas, solo estar presentes dentro de la misma muestra.
    Este proceso introduce correlaciones artificiales controladas que es poco probable que surjan naturalmente en datos sin marca de agua.

2. Etapa de Detección (Prueba Estadística)

Dado un modelo objetivo $M$ y la clave secreta $sk$, el auditor consulta al modelo para generar texto y analiza las estadísticas de co-ocurrencia de los pares de palabras.

• Medición de Correlación: El método calcula la correlación de Pearson entre variables indicadoras para la presencia de pares de palabras en el texto generado.
• Cálculo de Desviación: Calcula la desviación ($A_{w_i, w_j}$) entre el comportamiento de co-ocurrencia en la salida del modelo y un conjunto de datos de referencia (sin marca de agua).
• Puntuación de Detección: Se calcula una puntuación comparando la fracción de pares de claves secretas que superan un umbral de desviación $\tau$ contra la fracción de pares no clave que superan el mismo umbral.
• Regla de Decisión: Si la puntuación de detección supera un umbral $t$, se declara la presencia de la marca de agua.

Garantías Teóricas

El artículo proporciona un límite superior libre de distribución y agnóstico al modelo sobre la Tasa de Falsos Positivos (FPR).

• Teorema 4.1: Bajo la hipótesis nula (el modelo no fue entrenado con los datos con marca de agua), la probabilidad de un falso positivo está acotada por $e^{-2t'^2d}$, donde $d$ es el tamaño de la clave secreta y $t'$ es una función del umbral de detección.
• Esta garantía se mantiene para cualquier arquitectura LLM fija o procedimiento de entrenamiento, sin requerir suposiciones sobre la distribución de datos subyacente o los internos del modelo.

Contribuciones Clave

1. Primera Marca de Agua en Conjuntos de Datos para Modelos Cerrados: Los autores introducen el primer método de marca de agua en conjuntos de datos capaz de detectar el uso de datos de entrenamiento utilizando solo acceso a API de caja negra, eliminando la necesidad de log-probabilidades o estados internos del modelo.
2. Detección Demostrable: El método ofrece garantías teóricas sobre la tasa de falsos positivos que son independientes de la arquitectura del modelo o de la distribución de los datos.
3. Robustez en Mezclas de Datos: El enfoque sigue siendo efectivo incluso cuando el conjunto de datos con marca de agua constituye una pequeña fracción (aproximadamente 1%) de los tokens totales de ajuste fino.
4. Preservación de Utilidad: El proceso de marca de agua mantiene la integridad semántica y la utilidad de los conjuntos de datos de referencia, asegurando que sigan siendo válidos para la evaluación de modelos.

Resultados Experimentales

El método fue evaluado en LLaMA-3-8B y Gemma-2-2B a través de tres puntos de referencia: MMLU, ARC-fácil y ARC-desafío.

• Configuración Vanilla: El método logró una detección estadísticamente significativa ($p < 0.01$) en todos los modelos y conjuntos de datos. En contraste, la línea base "Radioactive" falló en producir señales significativas bajo acceso a modelos cerrados ($p \approx 0.2\text{--}0.3$).
• Contaminación Parcial (Mezcla de Datos): El método detectó con éxito las marcas de agua cuando los datos con marca de agua constituían solo el 1.1%–1.3% de los tokens totales de ajuste fino. En una proporción más extrema de 0.5%, LLaMA-3-8B mantuvo una detección significativa, mientras que Gemma-2-2B mostró una sensibilidad reducida, lo que sugiere que los modelos más grandes pueden retener mejor las señales estadísticas inyectadas.
• Robustez ante Modificaciones: La marca de agua demostró una robustez superior frente a modificaciones de texto ligeras (eliminación aleatoria, sustitución de sinónimos, inserción de emojis) en comparación con las líneas base. Mientras que líneas base como Radioactive vieron sus valores p elevarse por encima de los umbrales de significancia después de un 20% de modificación, el método propuesto mantuvo valores p bajos.
• Preservación de Utilidad:
  • Rendimiento en Puntos de Referencia: Los modelos evaluados en conjuntos de datos con marca de agua mostraron un rendimiento comparable a los de los conjuntos de datos originales, preservando la clasificación relativa de los modelos.
  • Similitud Semántica: Los conjuntos de datos reestructurados mantuvieron una alta similitud semántica (puntuaciones SBERT) con los originales.
  • Superposición Léxica: El método propuesto logró una superposición de n-gramas significativamente mayor (3-gramas, 4-gramas) en comparación con la marca de agua basada en KGW, lo que indica una reescritura menos agresiva.

Significado y Limitaciones

El artículo posiciona este trabajo como una herramienta para auditar el uso de conjuntos de datos, permitiendo a los proveedores de datos verificar si sus datos propietarios o de referencia han sido incorporados al entrenamiento de modelos mediante consultas de caja negra.

Limitaciones reconocidas por los autores:

• Requisito Proactivo: El método requiere reestructurar el conjunto de datos antes de su publicación; no puede aplicarse retroactivamente a conjuntos de datos ya publicados y sin marca de agua.
• Robustez Adversaria: El método no está diseñado para resistir transformaciones totalmente adversarias destinadas a eliminar señales estadísticas, ya que las garantías fuertes de marca de agua son teóricamente imposibles bajo reescrituras arbitrarias.
• Alcance de la Evaluación: Los experimentos se limitaron a la etapa de post-entrenamiento (ajuste fino). Evaluar la efectividad a escala de pre-entrenamiento sigue siendo un problema abierto debido a las limitaciones computacionales.

En conclusión, este trabajo establece un nuevo paradigma para la marca de agua en conjuntos de datos que es compatible con el ecosistema de modelos cerrados, ofreciendo capacidades de detección demostrables mientras preserva la utilidad de los puntos de referencia subyacentes.