A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models

Resumen Técnico: Una métrica consciente de la distribución previa para distinguir eficientemente la memorización de la generalización en modelos de lenguaje de gran tamaño

Planteamiento del problema
La proliferación de los Modelos de Lenguaje de Gran Tamaño (LLM) ha intensificado las preocupaciones con respecto a la filtración de datos de entrenamiento, específicamente en lo que respecta a la privacidad, la seguridad y el cumplimiento de los derechos de autor. Un desafío crítico para evaluar estos riesgos es distinguir entre la memorización específica del prefijo (el modelo recuerda un ejemplo de entrenamiento específico) y la generalización (el modelo genera secuencias estadísticamente comunes basadas en patrones aprendidos).

Las métricas existentes, como la "memorización extraíble", a menudo confunden estos fenómenos al etiquetar cualquier salida de alta probabilidad como memorizada. Sin embargo, como se señala en trabajos previos (Carlini et al., 2022; Yu et al., 2023), una alta probabilidad condicional $P(s|p)$ puede ser el resultado de la prevalencia estadística de un sufijo $s$ (por ejemplo, entidades con nombre comunes como "John Doe") en lugar de la memorización específica del par prefijo-sufijo $p \parallel s$. La Memorización Contrafactual (Zhang et al., 2023) ofrece una solución fundamentada al comparar el rendimiento del modelo con y sin una secuencia de entrenamiento específica, pero es computacionalmente prohibitiva a escala, ya que requiere el reentrenamiento de múltiples modelos base para cada secuencia bajo evaluación.

Metodología: Memorización Consciente de la Distribución Previa (PA)
Para abordar la intratabilidad computacional de los enfoques contrafactuales, este trabajo introduce la Memorización Consciente de la Distribución Previa (PA por sus siglas en inglés), una métrica ligera, libre de entrenamiento y basada únicamente en la inferencia. La hipótesis central es que una secuencia es verdaderamente memorizada solo si el sufijo está fuertemente asociado con su prefijo de entrenamiento específico, en lugar de aparecer con alta probabilidad en muchos prefijos independientes debido a su comunalidad estadística.

La métrica se basa en una definición de doble criterio para que una secuencia $p \parallel s$ sea considerada memorizada mediante PA:

1. Extraíbilidad: La probabilidad condicional $P(s | p; M)$ debe exceder un umbral $m$. Esto asegura que el modelo pueda generar el sufijo literalmente dado el prefijo.
2. Ratio de Creencia Relativa: El ratio $\frac{P(s | p; M)}{P(s; M)}$ debe exceder un umbral $n$. Este término actúa como un filtro para la comunalidad estadística.
   • $P(s | p; M)$ se calcula mediante pasadas hacia adelante autorregresivas estándar.
   • $P(s; M)$, que representa la probabilidad marginal del sufijo a través de la distribución de datos, se estima utilizando un estimador de Monte Carlo no sesgado. Esto implica muestrear $c$ prefijos $q_i$ de forma independiente e idénticamente distribuida (i.i.d.) de la distribución de datos de entrenamiento y calcular el promedio de la verosimilitud: $\hat{v}_s = \frac{1}{c} \sum P(s | q_i)$.

Los autores demuestran que este estimador es no sesgado y que su varianza disminuye a medida que aumenta el número de muestras, lo que permite una aproximación escalable de la probabilidad marginal sin necesidad de reentrenamiento.

Contribuciones clave

• Marco Teórico: El artículo formaliza una distincción entre memorización y generalización utilizando un ratio de verosimilitud motivado por la teoría bayesiana, argumentando que una alta $P(s|p)$ por sí sola no es evidencia suficiente de memorización si $P(s)$ también es alta.
• Métrica Escalable: Propone la Memorización PA como una alternativa computacionalmente eficiente a la Memorización Contrafactual, eliminando la necesidad de reentrenamientos "leave-one-out" o acceso a trayectorias de entrenamiento.
• Validación Empírica: La métrica se valida contra la Memorización Contrafactual en conjuntos de datos de pequeña escala, mostrando una correlación positiva (Pearson $r = 0.71$), y luego se aplica a escala en modelos preentrenados (familias Llama y OPT).

Resultos
Los autores evaluaron la Memorización PA en los corpora de entrenamiento de los modelos Llama y OPT en varios tamaños (que van desde 125M hasta 13B de parámetros) y tipos de secuencia (Entidades con Nombre de 4 tokens y secuencias de 50 tokens).

• Sobreestimación por parte de métricas existentes: El estudio encuentra que entre el 55% y el 90% de las secuencias previamente etiquetadas como "memorizadas" (basándose en una alta extraíbilidad) fallan el criterio PA. Estas secuencias son consistentes con la comunalidad estadística en lugar de una memorización específica.
• Impacto del tamaño del modelo: A medida que el tamaño del modelo aumenta, la proporción de secuencias clasificadas como memorizadas por PA (en relación con las secuencias extraíbles como memorizadas) generalmente disminuye. Esto sugiere que los modelos más grandes son cada vez más capaces de reproducir texto literal mediante la generalización de patrones comunes en lugar de una memorización explícita.
• Conjunto de datos del desafío SATML: Incluso en el conjunto de datos del desafío de extracción SATML, donde se sabe que las secuencias son "1-eidética" (ocurren solo una vez en los datos de entrenamiento), aproximadamente el 40% de las secuencias fueron identificadas como estadísticamente comunes en lugar de memorizadas.
• Longitud del prefijo: Los prefijos más largos aumentan el descubrimiento de secuencias memorizadas por PA, aunque el efecto es menos pronunciado para Entidades con Nombre cortas y muy populares.

Significancia y Reivindicaciones
El artículo sostiene que sus hallazgos requieren una reevaluación de cómo se definen y miden la memorización y los LLM. Los autores argumentan que etiquetar una secuencia como memorizada basándose únicamente en su alta probabilidad de generación es erróneo si la secuencia es estadísticamente común. Al introducir una métrica consciente de la distribución previa, el trabajo proporciona una herramienta más precisa y escalable para auditar la filtración de datos de entrenamiento.

Los autores declaran explícitamente que la Memorización PA es una métrica de auditoría post-hoc diseñada para pares prefijo-sufijo conocidos y naturales. No es un límite de extracción adversarial y no pretende resolver el problema de descubrir registros desconocidos o la búsqueda de prompts adaptativos. La contribución principal es la demostración de que una parte significativa de lo que actualmente se marca como un riesgo de privacidad o derechos de autor puede ser, en realidad, un resultado de las capacidades de generalización del modelo, lo que insta a un enfoque más matizado para la evaluación de riesgos en el despliegue de LLM.