Resumen Técnico: Mitigación de la Filtración de Información Sensible en LLMs4Code mediante el Desaprendizaje de Máquina

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala para Código (LLMs4Code), como CodeLlama y AIXCoder, han demostrado una competencia significativa en tareas de generación de código. Sin embargo, estos modelos heredan una vulnerabilidad de privacidad crítica conocida como el "probleño de la memorización", donde retienen y reproducen inadvertidamente información sensible (por ejemplo, Información de Identificación Personal, claves API, contraseñas) de sus datos de entrenamiento. Si bien estudios recientes han destacado este riesgo, existe una falta de soluciones integrales que puedan eliminar de manera efectiva tales datos sensibles sin tener que reentrenar el modelo desde cero o degradar sus capacidades de generación de código. La limpieza de datos tradicional durante el preprocesamiento suele ser inflexible y poco escalable. En consecuencia, existe la necesidad de un mecanismo ligero de post-entrenamiento para "olvidar" puntos de datos sensibles específicos mientras se preserva la utilidad del modelo.

Metodología

Este estudio presenta la primera investigación empírica exhaustiva sobre la aplicación del Desaprendizaje de Máquina (MU - Machine Unlearning) para mitigar la filtración de información sensible en LLMs4Code. Los autores construyeron un benchmark dedicado y evaluaron tres algoritmos de desaprendizaje representativos a través de múltiples arquitecturas de modelos.

1. Construcción del Benchmark

El estudio utilizó un conjunto de datos de dos componentes:

• Conjunto de Olvido (Forget Set): Un conjunto de datos sintético que contiene 5,000 currículos de personajes ficticios con diversos atributos sensibles (por ejemplo, nombres, direcciones, saldos bancarios, contraseñas, opiniones políticas). Estos fueron transformados en prompts de completado de código utilizando GPT-4 para alinearlos con las funcionalidades de LLM4Code. El conjunto se dividió en una proporción 9:1 para el entrenamiento (desaprendizaje) y la prueba.
• Conjunto de Retención (Retain Set): 5,000 muestras extraídas de conjuntos de datos establecidos de generación de código (HumanEval, MBXP, LiveBench) para evaluar la preservación de las capacidades generales de generación de código.

2. Técnicas de Desaprendizaje Evaluadas

Se aplicaron tres algoritmos de desaprendizaje de vanguardia al conjunto de olvido mientras se monitoreaba el conjunto de retención:

• Ascenso de Gradiente (GA - Gradient Ascent): Maximiza la pérdida en el conjunto de olvido para fomentar que el modelo "olvide" patrones específicos asociados con consultas de privacidad.
• GA + Descenso de Gradiente (GA+GD): Realiza simultáneamente el ascenso de gradiente en el conjunto de olvido y el descenso de gradiente en el conjunto de retención para mantener el rendimiento general.
• GA + Divergencia KL (GA+KL): Combina el ascenso de gradiente en el conjunto de olvido con la minimización de la divergencia de Kullback-Leibler (KL) contra un modelo de referencia (ajustado únicamente con el conjunto de retención). Esto actúa como un término de regularización para preservar la distribución generativa del modelo en entradas no sensibles.

3. Modelos y Métricas

El estudio evaluó estas técnicas en tres familias de LLMs4Code ampliamente utilizadas: AIXCoder, CodeLlama y CodeQwen, cubriendo tamaños de parámetros desde 1.5B hasta 34B.

• Métrica de Privacidad: Tasa de Filtración (Leak Rate), definida como la proporción de muestras de prueba donde la información sensible está presente en la salida (evaluada mediante revisión por expertos humanos).
• Métrica de Utilidad: Pass@1, que mide la corrección funcional del código generado en el conjunto de retención.

Resultados Clave

1. Efectividad del Desaprendizaje

El desaprendizaje de máquina reduce significativamente la filtración directa de privacidad manteniendo el rendimiento de la generación de código.

• Reducción de la Tasa de Filtración: En todos los modelos, las técnicas de desaprendizaje redujeron la tasa de filtración en más de un 50% en promedio. Por ejemplo, en AIXCoder-7B, la tasa de filtración cayó de un 23.2% (Zero-Shot) a un 10.4% (GA+KL). El método GA+GD logró consistentemente las tasas de filtración más bajas, reduciendo la tasa de CodeLlama-34B del 32.7% al 5.0%.
• Preservación del Rendimiento: La utilidad de los modelos permaneció mayormente intacta. Las puntuaciones de Pass@1 mostraron una degradación insignificante (a menudo dentro de un 1-2%), lo que indica que los modelos retuvieron su capacidad para generar código funcional. Por ejemplo, CodeQwen-14B mantuvo un Pass@1 de 73.3% post-desaprendizaje en comparación con el 74.5% original.

2. Cambio en las Formas de Filtración

Un hallazgo crítico es la transformación del comportamiento de filtración post-desaprendizaje:

• Estrategias de Protección: Los modelos adoptaron diversas estrategias para evitar filtrar valores sensibles, comúnmente reemplazando campos sensibles con nombres de variables o abreviaturas (17.23%), devolviendo variables sin valores (15.02%), o utilizando marcadores de posición simbólicos (11.48%).
• Filtración Indirecta: Mientras que la Filtración de Privacidad Directa (datos sensibles solicitados explícitamente) disminuyó significativamente, la Filtración de Privacidad Indirecta (divulgación no intencionada de datos sensibles relacionados, no solicitados) aumentó. Por ejemplo, en AIXCoder-7B, la proporción de filtración indirecta aumentó del 51% (Zero-Shot) al 62% (GA+KL). Esto sugiere que, si bien los modelos dejan de emitir cadenas memorizadas exactas, aún pueden filtrar información contextualmente relacionada (por ejemplo, filtrar el correo electrónico de un usuario cuando se le pide su contraseña).

3. Análisis Detallado

La efectividad del desaprendizaje varió según el tipo de datos:

• Datos Estructurados (Correos electrónicos, Contraseñas): Los métodos basados en gradiente (GA, GA+GD) fueron altamente efectivos, reduciendo la filtración a niveles cercanos a cero (por ejemplo, la filtración de correos electrónicos en CodeLlama cayó del 6.01% al 0.77%).
• Datos Dependientes del Contexto (Direcciones): Estos mostraron reducciones menos consistentes, particularmente con la regularización KL, lo que resalta la dificultad de desaprender patrones de datos diversos y con mucha carga contextual.
• Superioridad de GA+GD: El enfoque combinado de Ascenso de Gradiente y Descenso de Gradiente superó consistentemente a los demás tanto en tipos de datos estructurados como semiestructurados.

Significado y Contribuciones

El artículo reclama las siguientes contribuciones al campo:

1. Viabilidad del MU para LLMs4Code: Demuestra que el desaprendizaje de máquina es una solución viable y efectiva para mejorar la privacidad en los modelos de generación de código, capaz de reducir las tasas de filtración directa en más del 50% con efectos secundarios insignificantes en la calidad de la generación de código.
2. Identificación de la Filtración Indirecta: El estudio descubre una vulnerabilidad previamente poco explorada donde el desaprendizaje desplaza la filtración de formas directas a indirectas. Esto implica que los procesos de desaprendizaje futuros deben abordar no solo la memorización explícita, sino también las asociaciones contextuales para garantizar una privacidad robusta.
3. Benchmark Exhaustivo: Los autores proporcionan el primer benchmark dedicado para evaluar el desaprendizaje en LLMs4Code, incluyendo un conjunto de olvido sintético y un conjunto de retención, junto con acceso público a todo el código y los datos.
4. Guía Práctica: Los resultados sugieren que GA+GD es la estrategia más robusta para equilibrar la privacidad y la utilidad, ofreciendo una alternativa práctica al reentrenamiento completo para las organizaciones que despliegan LLMs4Code.

Los autores concluyen que, si bien el desaprendizaje de máquina es un paso prometedor hacia la gobernanza de la privacidad en LLMs4Code, la aparición de la filtración indirecta indica que el campo requiere más investigación en estrategias de desaprendizaje holísticas que puedan mitigar simultáneamente tanto los riesgos de privacidad directos como los indirectos.