Resumen Técnico: Exploración de la Memorización Cruzada entre Clientes de Datos de Entrenamiento en Modelos de Lenguaje Grandes para el Aprendizaje Federado

Declaración del Problema

El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de Modelos de Lenguaje Grandes (LLM) sin compartir datos crudos, con el objetivo de preservar la privacidad. Sin embargo, el FL no elimina el riesgo de memorización, donde los modelos codifican y reproducen inadvertidamente datos sensibles de entrenamiento. Las técnicas de detección existentes para el FL dependen principalmente de la inyección de faros (incrustar frases fuera de distribución) o se centran en la memorización literal dentro de una sola muestra. Estos enfoques no logran capturar la memorización cruzada entre muestras, donde un modelo podría reproducir un sufijo de una muestra de entrenamiento cuando se le solicita con un prefijo de una muestra diferente. En el contexto del FL, este riesgo se extiende a la memorización cruzada entre clientes, donde el prefijo de un cliente podría desencadenar la generación del sufijo privado de otro cliente. Los métodos actuales para medir la memorización cruzada entre muestras en el Aprendizaje Centralizado (CL) asumen el acceso a datos centralizados y no pueden aplicarse directamente al entorno descentralizado del FL.

Metodología

Los autores proponen un marco para cuantificar tanto la memorización intra-cliente (dentro del mismo cliente) como la inter-cliente (entre diferentes clientes) en el FL, adaptando técnicas de medición de muestras cruzadas de granularidad fina desde el CL.

Diseño del Marco

1. Definición de Memorización: El artículo generaliza la definición de memorización dentro de la distribución para el FL. Un prefijo $p_j$ del cliente $C_j$ induce la memorización de los datos del cliente $C_k$ si el modelo $M(p_j)$ genera un texto suficientemente similar a un sufijo $s_k$ de $C_k$, determinado por una función discriminativa $F$.
2. Medición Pareada: El marco calcula una relación de memorización pareada ($MR_{j \to k}$), que representa la fracción de prefijos de $C_j$ que desencadenan la memorización de sufijos de $C_k$.
   • Intra-cliente ($MR_{Intra}$): Relación promediada donde $j=k$.
   • Inter-cliente ($MR_{Inter}$): Relación promediada donde $j \neq k$.
3. Proceso de Estimación:
   • Muestreo: Se muestrean subconjuntos pequeños de prefijos ($\tilde{P}_j$) y sufijos ($\tilde{S}_k$) de los clientes.
   • Generación: El modelo genera texto $M(\tilde{p})$ para cada prefijo muestreado.
   • Recuperación: Los textos generados se consultan contra el conjunto de sufijos $\tilde{S}_k$ utilizando Elasticsearch para recuperar los $n'$ sufijos más similares.
   • Detección de Similitud: El detector de plagio PAN2014 se utiliza como la función discriminativa $F$. Evalúa la similitud en tres granularidades: literal, parafraseo y nivel de idea.
   • Cálculo: Si cualquier sufijo de los $n'$ superiores coincide con el texto generado bajo cualquier granularidad, el prefijo se cuenta como induciendo memorización.

Configuración Experimental

• Conjuntos de Datos: Se evaluaron cuatro tareas: Resumen (ArxivAbstract), Diálogo (MedDialog), Respuesta a Preguntas (PubMedQA) y Clasificación (PubMed 200k RCT). Los datos se dividieron de manera no IID entre tres clientes por tarea.
• Modelos: Los experimentos principales utilizaron Qwen2.5-3B, con resultados complementarios para Llama3.2-3B y GPT-2.
• Variables: El estudio analizó el impacto de las estrategias de decodificación (temperatura, top-k, top-p), longitudes de prefijo (10, 30, 50, 100 tokens), algoritmos federados (FedAvg, FedProx), tamaños de modelo y rondas de comunicación.

Contribuciones Clave

1. Formulación del Problema: Los autores plantean el desafío de detectar la memorización sutil y cruzada entre muestras en el FL mediante la adaptación de métodos de evaluación desde el CL.
2. Marco Novel: Diseñaron un marco capaz de medir tanto la memorización intra-cliente como inter-cliente en el FL, permitiendo la cuantificación de la filtración de privacidad entre clientes.
3. Perspectivas Empíricas: A través de estudios de ablación extensos, el artículo identifica factores específicos que influyen en las tasas de memorización en entornos de FL.

Resultados y Hallazgos

• Existencia de Memorización: Los modelos de FL sí memorizan datos de entrenamiento. Crucialmente, la memorización intra-cliente ($MR_{Intra}$) es consistentemente mayor que la memorización inter-cliente ($MR_{Inter}$) en todas las tareas evaluadas (Resumen, Diálogo, Respuesta a Preguntas).
• Comportamiento Específico de la Tarea: La tarea de Clasificación mostró un 0.000% de memorización tanto para escenarios intra-cliente como inter-cliente. El análisis reveló que esto se debe a la corta longitud de las salidas generadas en las tareas de clasificación, que a menudo caen por debajo del umbral mínimo de coincidencia (50 caracteres) requerido por el detector PAN2014.
• FL vs. CL: Contrario a algunos trabajos anteriores que sugieren que el FL reduce la memorización, este estudio encontró ninguna tendencia clara que indique que el FL conduzca a una menor memorización en comparación con el CL al medir datos dentro de la distribución. Las relaciones totales de memorización ($MRTotal$) fueron comparables entre los entornos CL y FL.
• Factores Influyentes:
  • Estrategia de Decodificación: Estrategias sofisticadas como la decodificación top-k y top-p tendieron a aumentar la memorización en comparación con la decodificación por temperatura.
  • Longitud del Prefijo: Los prefijos más cortos generalmente indujeron tasas de memorización más altas.
  • Algoritmo Federado: FedProx resultó en tasas de memorización más altas que FedAvg y fue el único algoritmo que indujo memorización en la tarea de Clasificación.
  • Características del Sufijo: Ciertos grupos de conjuntos de datos (por ejemplo, el Grupo 3 en la tarea de Diálogo) fueron más susceptibles a la memorización que otros, lo que sugiere que las propiedades del conjunto de datos juegan un papel.
  • Tamaño del Modelo y Rondas: No se observó una correlación clara entre el tamaño del modelo o el número de rondas de comunicación y las tasas de memorización.

Significado y Afirmaciones

El artículo afirma cerrar la brecha entre la evaluación de memorización centralizada y el aprendizaje federado al proporcionar un método para medir la filtración cruzada entre clientes. El significado principal radica en demostrar que el FL no elimina inherentemente los riesgos de memorización; los modelos aún codifican datos privados, particularmente dentro de la distribución del mismo cliente.

Los autores enfatizan que, si bien la filtración inter-cliente es una violación directa de la privacidad, la filtración intra-cliente (daño expuesto) también plantea riesgos si los prefijos son públicos. Los hallazgos sugieren que los mecanismos de preservación de la privacidad en el FL deben tener en cuenta la memorización cruzada entre muestras dentro de la distribución, no solo la extracción literal. El estudio concluye que factores como las estrategias de decodificación, la longitud del prefijo y la elección del algoritmo federado influyen significativamente en la memorización, haciendo necesaria una configuración cuidadosa para mitigar los riesgos de privacidad en el entrenamiento descentralizado de LLM.

Los autores notan modestamente las limitaciones, incluida la dependencia del detector PAN2014 (que puede clasificar incorrectamente salidas incoherentes) y la restricción al texto en inglés. También identifican la explicación teórica de por qué la memorización intra-cliente supera a la inter-cliente como una dirección para futuras investigaciones.