Resumen Técnico: Una Evaluación de la Propensión al Memorismo en los LLM

Planteamiento del Problema

Se ha documentado ampliamente que los Grandes Modelos de Lenguaje (LLM) reproducen datos de entrenamiento, incluyendo obras protegidas por derechos de autor e identificadores personales sensibles. Sin embargo, las evaluaciones de memorismo actuales se centran predominantemente en la capacidad: si un modelo puede ser forzado a reproducir datos de entrenamiento mediante ataques adversarios (por ejemplo, ataques de prefijo, inferencia de membresía o prompts de referencia de recursos). Existe una brecha significativa en la comprensión de la propensión: si los modelos reproducen naturalmente los datos de entrenamiento bajo un uso ordinario y no adversario.

La literatura actual suele confundir estos dos conceptos. Mientras que las evaluaciones de capacidad establecen el límite superior de la capacidad de un modelo para filtrar datos, pueden sobreestimar el riesgo práctico en el despliegue en el mundo real, donde los usuarios no emplean técnicas de elicitación adversaria. Además, los estudios no adversarios existentes (por ejemplo, Aerni et al., 2024) suelen limitarse a modelos cerrados, dependen de fragmentos de la web en lugar de la comparación directa con los datos de entrenamiento, o no logran contrastar el uso ordinario con los entornos adversarios, lo que limita la precisión y el alcance de su análisis.

Metodología

Los autores proponen PROPME, un marco para la evaluación de la propensión al memorismo, y SIMPLETRACE, un flujo de trabajo de rastreo ligero.

1. Marco PROPME

PROPME introduce un enfoque de evaluación multinivel que contrasta dos escenarios de prompting distintos:

• Configuraciones de Propensión (Propensity Settings): Prompts plausibles y del mundo real (Genéricos y Específicos) con baja superposición léxica con los datos de entrenamiento. Estos buscan medir la tendencia natural del modelo a filtrar datos.
• Configuraciones de Capacidad (Capability Settings): Ataques de prefijo donde el modelo es condicionado por los primeros 50 tokens de secuencias extraídas directamente del conjunto de datos de entrenamiento. Estos buscan medir la capacidad máxima del modelo para reproducir contenido memorizado.

2. Transformación de la Métrica de Propensión

Para cuantificar la diferencia entre capacidad y propensión, los autores introducen una novedosa transformación de métrica. Dada una métrica base $f_b \in [0, 1]$ (por ejemplo, la tasa de memorismo), una configuración de propensión $p$, y una configuración de capacidad $c$, la métrica consciente de la propensión $PM_{f_b}$ se calcula como:

$$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$$

(Con $PM_{f_b} = 0$ si $f_b^p = 0$).

Esta transformación produce una puntuación donde:

• Puntuaciones bajas indican alta capacidad pero baja propensión (el modelo puede filtrar si se le fuerza, pero rara vez lo hace de forma natural).
• Puntuaciones altas indican baja capacidad pero alta propensión (el modelo filtra espontáneamente incluso sin una fuerte elicitación).
• Puntuaciones neutras (0.5) indican un comportamiento consistente en ambos escenarios.

3. Flujo de Trabajo SIMPLETRACE

Para permitir la atribución determinista de las generaciones del modelo a los corpus de entrenamiento, los autores desarrollaron SIMPLETRACE, construido sobre el motor infini-gram. A diferencia de los métodos de detección probabilísticos, SIMPLETRACE realiza una búsqueda directa sobre el corpus de entrenamiento. El flujo de trabajo involucra:

1. Extracción de el segmento máximo (Maximal Span Extraction): Iterar sobre los sufijos de una generación para encontrar el prefijo literal más largo en el corpus.
2. Filtrado de rareza de unigramas (Unigram Rarity Filtering): Filtrar los matches de texto base (boilerplate) reteniendo solo los segmentos más raros.
3. Recuperación de documentos (Document Retrieval): Recuperar los documentos fuente para los segmentos retenidos, clasificando los matches como coincidencia bruta completa, completa normalizada o parcial.
4. Fusión de segmentos (Span Merging): Colapsar los segmentos superpuestos en segmentos no redundantes.

SIMPLETRACE calcula métricas como el Segmento Largo Promedio (ALS), la Ratio de Coincidencias Completas de Generación (FMR) y la Recuperación Casi Verbatim Promedio (NVR).

4. Configuración Experimental

La evaluación se realizó en dos modelos totalmente abiertos y dos conjuntos de datos:

• Modelos:
  • Comma: Un modelo monolingüe en inglés preentrenado en el conjunto de datos Common Pile.
  • DFM Decoder: Un modelo preentrenado continuamente a partir de Comma sobre una mezcla de Common Pile y el conjunto de datos danés Dynaword.
• Conjuntos de Datos: Common Pile (Inglés, ~460B tokens) y Dynaword (Danés, ~6.8B tokens).
• Prompts: Tres conjuntos (Genérico, Específico, Prefijo) con 100 muestras cada uno, generados para asegurar una baja superposición en los escenarios de propensión y una alta superposición en los de capacidad.

Resultados Clave

1. Brecha entre Capacidad y Propensión

Existe una brecha constante y sustancial entre el memorismo de capacidad y el de propensión.

• Los ataques de prefijo eliciaron señales de memorismo significativamente más fuertes que los prompts genéricos o específicos en todos los modelos y conjuntos de datos. Por ejemplo, en el DFM Decoder con Dynaword, la Recuperación Casi Verbatim (NVR) bajo ataques de prefijo fue de 0.036, comparado con 0.001 para prompts genéricos (una diferencia de 36 veces).
• Las puntuaciones de propensión se mantuvieron bajas en general. Incluso cuando los modelos demostraron la capacidad de reproducir datos bajo elicitación adversaria, rara vez lo hicieron bajo condiciones de prompting ordinarias.

2. Impacto del Preentrenamiento Continuo

El estudio observó que el preentrenamiento continuo puede reducir el memorismo de datos anteriores.

• DFM Decoder vs. Comma: El DFM Decoder, que fue entrenado continuamente en una mezcla que incluía Dynaword, exhibió un memorismo reducido del corpus original Common Pile en comparación con su modelo padre, Comma.
• Cambio de Métrica: Mientras que la propensión verbatim cayó significativamente (de 0.5 a 0.0 en FMR), la propensión casi verbatim tuvo un aumento menor, sugiriendo un cambio de un memorismo verbatim fuerte a patrones casi verbatim más débiles.
• Estabilidad: Los perfiles de memorismo se mantuvieron estables a través de las tres etapas de entrenamiento del DFM Decoder, indicando que la composición de la mezcla de datos (dos tercios de Dynaword, un tercio de Common Pile) atenuó progresivamente la accesibilidad del contenido de Common Pile sin aumentar el memorismo del nuevo corpus.

3. Características del Conjunto de Datos

• Common Pile (Inglés): El memorismo se manifestó como fragmentos verbatim localizados más largos (mayor ALS).
• Dynaword (Danés): El memorismo produjo segmentos más cortos pero ocasionalmente resultó en reproducciones completas a nivel de generación (mayor FMR bajo ataques de prefijo).

Significado y Reivindicaciones

El artículo argumenta que las auditorías de memorismo deben reportar tanto la extractabilidad en el peor de los casos (capacidad) como la propensión de fuga ordinaria para proporcionar una visión integral del comportamiento del modelo.

• Evaluación de Riesgos: Depender únicamente de las evaluaciones de capacidad (ataques de prefijo) sobreestima el riesgo práctico de fuga de datos en escenarios del mundo real. Por el contrario, depender únicamente de la propensión podría pasar por alto la capacidad latente de un modelo para filtrar datos si un adversario lo ataca.
• Cumplimiento Legal y Ético: Los autores destacan que marcos como el RGPD de la UE y la Ley de IA de la UE requieren pruebas regulares de las medidas de seguridad y la gestión de riesgos. Evaluar la propensión bajo el uso ordinario proporciona evidencia de los riesgos de fuga previsibles, apoyando los esfuerzos de cumplimiento.
• Dinámicas de Entrenamiento: Los resultados confirman que la capacidad de memorismo no es estática; puede disminuir cuando el entrenamiento posterior enfatiza datos parcialmente diferentes, lo que sugiere que la composición de la mezcla de datos es un factor crítico para gestionar los riesgos de memorismo.

Los autores concluyen que, si bien los modelos pueden revelar datos de entrenamiento cuando se les solicita directamente, esto ocurre raramente en entornos comunes no adversarios, y que la evaluación consciente de la propensión es esencial para una comprensión matizada de este fenómeno.