🤖 machine learning

Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models

Este artículo sostiene que las métricas agregadas de inferencia de membresía, como el ROC-AUC, oscurecen el grave riesgo, dependiente de la capacidad, de la extracción de datos de entrenamiento verbatim de modelos de lenguaje de caja negra, demostrando que documentos específicos que contienen identificadores o código se filtran frecuentemente independientemente de los baselines ciegos o la deduplicación, y propone un marco de auditoría probabilística por documento a través de la herramienta "leakit" para medir con precisión este daño a la privacidad.

Autores originales: Victor Maricato

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Victor Maricato

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando averiguar si se utilizó una receta específica y secreta para hornear un pastel gigante y misterioso. No puedes ver la cocina y no puedes pedirle al panadero la lista de ingredientes. Todo lo que puedes hacer es pedirle al panadero que haga unas cuantas rebanadas más de pastel basándote en una pequeña migaja que encontraste antes. Si el panadero sigue escupiendo exactamente la misma lista de ingredientes secretos cada vez que se lo pides, podrías suponer que la receta secreta estaba, de hecho, en su memoria. Este es el mundo de los "Modelos de Lenguaje": programas informáticos superinteligentes que aprenden leyendo cantidades masivas de texto de internet. Son como esos panaderos, pero en lugar de pasteles, predicen la siguiente palabra en una oración.

La gran pregunta que se hacen los científicos es: ¿recuerdan estos panaderos digitales los libros específicos que "comieron"? Esto se llama "Inferencia de Membresía". Si un modelo recuerda un documento específico, podría filtrar accidentalmente detalles privados, como la dirección de correo electrónico o el número de teléfono de una persona que estaban ocultos dentro de ese documento. Durante mucho tiempo, los investigadores intentaron medir esto observando el rendimiento "promedio" de sus pruebas. Dirían: "¡Oye, nuestra prueba tiene un 90% de precisión!". Pero, al igual que un pronóstico del tiempo que dice que estará "mayormente soleado" pero no detecta una tormenta repentina y peligrosa, estos puntajes promedio pueden ocultar el hecho de que el modelo está filtrando secretos peligrosos para algunas personas con mala suerte.

Este artículo, titulado "LEAK IT", ofrece una nueva perspectiva sobre cómo detectar estas fugas digitales. El autor, liderado por Victor Maricato, sostiene que la forma antigua de medir la privacidad es engañosa. Descubrieron que muchas pruebas "inteligentes" que afirmaban detectar si un documento estaba en los datos de entrenamiento eran, en realidad, solo conjeturas basadas en el estilo del texto mismo, no en la memoria del modelo. Es como intentar adivinar si un pastel fue hecho con una receta secreta solo mirando el color del glaseado, cuando el color del glaseado es en realidad una simple coincidencia.

Sin embargo, el artículo revela una verdad más peligrosa: aunque la prueba "promedio" pueda parecer inofensiva, el modelo sí está filtrando información, pero solo para un grupo muy específico y pequeño de documentos. El investigador descubrió que si le pides al modelo que continúe una oración a partir de un fragmento de código o un documento que contiene una dirección de correo electrónico real, este a veces escupirá esa información privada exacta de forma literal. Es como si el panadero, al ser interrogado para terminar una frase sobre una especia rara y específica, de repente gritara la marca exacta y el número de lote de esa especia, a pesar de que no haría eso con un ingrediente común como la harina.

El estudio muestra que esta "extracción literal" empeora a medida que los modelos se vuelven más grandes. Para un modelo de 6.9 mil millones de parámetros, aproximadamente el 16.6% de los documentos que contenían identificadores reales (como correos electrónicos o números de teléfono) se filtraron de esta manera. Sorprendentemente, el autor encontró que el simple hecho de eliminar el texto duplicado de los datos de entrenamiento (un paso de seguridad común) no detuvo realmente esto. También demostraron que este riesgo no se distribuye de manera uniforme; es mucho mayor para el código de computadora que para historias o artículos regulares.

La conclusión principal es que debemos dejar de mirar el puntaje de privacidad "promedio" y empezar a buscar estas fugas específicas de alto riesgo. El autor lanzó una nueva herramienta llamada "leakit" para ayudar a los auditores a encontrar estos momentos exactos donde un modelo podría revelar accidentalmente un secreto privado. Sugieren que, en lugar de simplemente decir "el modelo es mayormente seguro", debemos admitir que, para ciertos documentos, el modelo es una fuga de memoria muy efectiva, y necesitamos protecciones más fuertes, como un escudo de privacidad especial llamado "privacidad diferencial", para solucionarlo.

Resumen Técnico: LEAK IT – Un enfoque probabilístico para la extracción de datos de entrenamiento de modelos de lenguaje de caja negra

Planteamiento del problema

El artículo aborda la evaluación de los riesgos de privacidad en los Modelos de Lenguaje de Gran Escala (LLM), centrándose específicamente en la Inferencia de Membresía (MIA) y la extracción de datos de entrenamiento. Las auditorías de privacidad actuales dependen predominantemente de métricas agregadas, como el ROC-AUC, para determinar si un modelo filtra información de su conjunto de entrenamiento. Sin embargo, trabajos recientes (Das et al., 2025) demuestran que estas métricas agregadas están confundidas: los clasificadores "ciegos" independientes del modelo (por ejemplo, bolsa de palabras, detección de fechas) a menudo pueden distinguir a los miembros del entrenamiento de los no miembros basándose únicamente en las estadísticas de texto superficial, lo que hace que las puntuaciones de AUC agregadas sean indicadores poco fiables de la fuga real del modelo.

Además, aunque se sabe que ocurre la extracción basada en muestreo, el grado en que esto afecta a documentos individuales frente a la población agregada, y cómo se comporta bajo restricciones estrictas de caja negra (sin logits a nivel de token, sin acceso de caja blanca), permanece insuficientmente caracterizado. El artículo sostiene que las métricas agregadas oscurecen el "riesgo de cola" (tail risk): un pequeño subconjunto de documentos altamente expuestos que sufren una extracción verbatim, incluso si el rendimiento promedio del modelo sugiere una baja fuga.

Metodología

Marco Probabilístico

El autor propone una lente probabilística para analizar la fuga por muestreo en caja negra. Dado un prefijo $x$ , trata $N$ muestras independientes $C_1, \dots, C_N \sim p_\theta(\cdot | x)$ como una estimación empírica de la distribución de salida del modelo. Las señales de fuga se definen como funcionales de esta distribución:

Solapamiento Medio (Mean Overlap): El solapamiento promedio entre las muestras y una continuación mantenida fuera (held-out) $y$ (correspondiente a SaMIA).
Valor Extremo (Extreme Value): El solapamiento máximo (o la recuperación de la unión de conjuntos) entre cualquier muestra individual y $y$ .
Autoconcentración (Self-Concentration): El solapamiento mutuo entre las muestras mismas, midiendo qué tan concentrada está la distribución sin hacer referencia a $y$ .

Configuración Experimental

Benchmarks: El estudio utiliza WikiMIA (para demostrar la naturaleza de confusión de la separabilidad de texto superficial) y MIMIR (una división IID de entrenamiento/prueba de The Pile con deduplicación de n-gramas entre miembros y no miembros).
Baselines Ciegos: Para aislar la verdadera fuga del modelo, el autor reproduce clasificadores ciegos sin modelo (detección de fechas, bolsa de TF-IDF, selección de n-gramas raros) y los compara con los funcionales de muestreo.
Modelos: Los experimentos se realizan en la familia de modelos Pythia (de 410M a 6.9B de parámetros) y OLMo-1B.
Auditoría de Extracción: Se construye un conjunto de prueba específico de 500 documentos de la división de entrenamiento de The Pile, que contiene direcciones de correo electrónico y números de teléfono reales. El ataque consiste en muestrear continuaciones desde un prefijo inmediatamente anterior al identificador.
Controles: Para atribuir la fuga a documentos específicos en lugar a la generación de cadenas genéricas, se utiliza un control de prefijo desajustado (mismatched-prefix control). Un documento se cuenta como "filtrado" solo si el identificador se reproduce con el prefijo correcto pero no con un prefijo desajustado.

Resultados Clave

1. Las métricas agregadas están confundidas

En el benchmark WikiMIA, un clasificador ciego de bolsa de palabras logra un AUC de 0.97, mientras que los funcionales basados en muestreo (incluyendo la recuperación de la continuación de oro) operan cerca del azar (AUC ~0.52). En la división IID de MIMIR, donde se eliminan los cambios temporales, el baseline ciego cae al azar (0.56), pero los funcionales de muestreo (autoconcentración, recuperación de la continuación de oro) no logran superar significativamente el baseline ciego residual. El AUC incremental del muestreo sobre el baseline ciego incluye el cero en su intervalo de confianza del 95%.

Conclusión: Como clasificador de membresía agregado, el muestreo en caja negra no añade un signo significativo más allá de lo que el texto superficial ya revela.

2. Extracción Verbatim de una "Cola" de Documentos

Aunque las métricas agregadas fallan, el muestreo extrae verbatim datos de entrenamiento para una cola específica de documentos que los ataques ciegos no pueden alcanzar.

Fuga de PII: En Pythia-6.9B, el 16.6% de los 500 documentos de prueba (83 documentos) tuvieron sus identificadores específicos reales (email/teléfono) reproducidos verbatim, una tasa que es atribuible al documento específico y no a la emisión genérica. Para las direcciones de correo electrónico específicamente, la tasa de fuga es del 21.3%.
Dependencia de la Escala: La fuga específica de documentos crece monótonamente con la capacidad del modelo (del 5.6% en 410M al 16.6% en 6.9B).
Especificidad de Dominio: La fuga es aproximadamente 3 veces más fuerte en código que en prosa. Mientras que la fuga en prosa es menor (del 4.0% al 12.1% a través de las escalas), sigue siendo estadísticamente positiva.
Recuperación de Continuación Arbitraria: La recuperación de continuaciones arbitrarias mantenidas fuera se limita en gran medida al dominio de GitHub (brecha de miembro +0.44), siendo insignificante en dominios de prosa (Wikipedia, ArXiv).

3. Características del Régimen de Extracción

Longitud del Prefijo: Un prefijo de 16 tokens es suficiente para activar la extracción.
Presupuesto de Muestreo: El presupuesto de muestras requerido escala inversamente con la longitud del prefijo.
Parámetros de Decodificación: La temperatura y el muestreo de núcleo (top-p) tienen efectos menores en la tasa de extracción.
Deduplicación: Entrenar en un corpus deduplicado (Pythia-2.8B-deduped) no redujo significativamente la extracción verbatim de PII en comparación con el modelo estándar (12.8% vs 14.0%, $p=0.52$ ). El autor señala que la casi-deduplicación puede aumentar el número de pasadas sobre los datos, lo que podría compensar los beneficios.

Contribuciones

El artículo realiza cuatro contribuciones principales:

Marco Probabilístico: Una visión de estimación funcional de la fuga por muestreo en caja negra que unifica las estadísticas de solapamiento medio, valor extremo y autoconcentración como funcionales de la distribución de salida del modelo.
Extensión de la Crítica al Baseline Ciego: Demostrar que, en divisiones IID, ningún funcional de muestreo supera significativamente a un baseline sin modelo como clasificador de membresía agregado.
Caracterización del Riesgo de Cola: Mostrar que el muestreo extrae verbatim datos de entrenamiento (incluyendo PII) para una cola de documentos que las métricas agregadas no detectan, y caracterizar el régimen de extracción respecto a escala, dominio y parámetros de decodificación.
Lanzamiento de Herramienta: El lanzamiento de leakit, una herramienta de auditoría de extracción en caja negra, y el argumento de que las auditorías de privacidad deberían reportar tasas de extracción por documento en lugar de puntuaciones de membresía agregadas.

Significado y Reivindicaciones

El artículo sostiene que la práctica actual de reportar el ROC-AUC agregado para auditorías de privacidad es insuficiente y potencialmente engañosa. Reivindica que:

El AUC agregado oculta el daño real: Promedia y elimina la cola de alto riesgo donde ocurre la extracción verbatim.
La divulgación por documento es la métrica crítica: La capacidad de reproducir un identificador específico o una continuación para un documento específico es el daño concreto a la privacidad que la MIA pretende detectar, y esto es invisible para las métricas agregadas.
Implicaciones de Mitigación: Dado que la deduplicación no redujo mensurablemente la extracción en este conjunto de pruebas, el autor motiva la privacidad diferencial como una mitigación necesaria que ofrece garantías formales.
Estándar de Auditoría: Las auditorías de privacidad deben cambiar su enfoque de la inferencia de membresía agregada al análisis de extracción por documento.

El autor establece explícitamente que sus resultados no pretenden ser una falla general de la deduplicación, sino resaltar que, bajo las condiciones probadas, esta no protegió los identificadores individuales, reforzando la necesidad de mitigaciones más fuertes y garantizadas.