PrivCode++: Latent-Conditioned Differentially Private Code Generation for Comprehensive Guarantees

Resumen Técnico: PrivCode++

Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLM) ajustados con pares de instrucción-código corren el riesgo de memorizar y filtrar datos de entrenamiento sensibles, incluyendo información de identificación personal (PII) y lógica propietaria. Si bien la Privacidad Diferencial (DP) ofrece un marco basado en principios para mitigar esto, los métodos actuales de generación de código con DP sufren una limitación crítica: asumen que los prompts (instrucciones) son públicos y solo tratan los fragmentos de código como sensibles. En escenarios realistas, los prompts suelen contener contexto sensible, datos específicos del usuario o descripciones de tareas internas.

Tratar tanto los prompts como el código como sensibles (un entorno de "sensibilidad conjunta") introduce dos desafíos principales:

1. Inviabilidad del condicionamiento explícito: Sin acceso a prompts explícitos durante la generación, el proceso se vuelve incondicional, lo que conduce a una degradación severa en la utilidad y relevancia del código.
2. Degradación de la utilidad y la diversidad: Los métodos de generación sin prompt existentes (por ejemplo, enfoques de variables latentes o de autocondicionamiento) a menudo dependen de la maximización de la verosimilitud de tokens sucesivos autorregresivos. Esto concentra la masa de probabilidad en regiones de alta verosimilitud, lo que resulta en salidas homogéneas y una reducción de la diversidad, un problema exacerbado por las rígidas restricciones sintácticas y semánticas de los lenguajes de programación.

Metodología: PrivCode++

Los autores proponen PrivCode++, el primer marco para explorar la generación de código con DP donde tanto los prompts como los fragmentos de código se tratan como sensibles. Emplea un pipeline de dos etapas diseñado para proteger la privacidad manteniendo una alta utilidad y diversidad.

Etapa 1: Sanitización de Privacidad de Sensibilidad Conjunta

En esta etapa, un LLM "junior" ($M_J$) es ajustado bajo DP-SGD junto con un módulo de Condicionamiento Latente Libre de Privacidad (PrivLC). El objetivo es aprender una representación latente continua que encapsule la semántica de nivel de tarea y las estructuras sintácticas sin almacenar o acceder explícitamente a los prompts sensibles.

• Arquitectura PrivLC: El módulo consiste en un codificador de código ($E_c$), un codificador de prompt ($E_p$) y un decodificador de prefijo ($D$).
• Codificación Latente: El codificador de código agrega representaciones contextualizadas del modelo junior para parametrizar una distribución latente estocástica ($z_c$) siguiendo una formulación de Autoencoder Variacional (VAE).
• Alineación: Un codificador de prompt procesa instrucciones sensibles para producir una representación latente ($z_p$). Un objetivo de contraste alinea $z_c$ y $z_p$, asegurando que el espacio latente inducido por el código preserve la información de nivel de tarea (intención, restricciones) sin depender del prompt explícito durante la inferencia.
• Entrenamiento: Todos los componentes se optimizan conjuntamente bajo DP-SGD. El decodificador de prefijo mapea la variable latente muestreada $z_c$ en embeddings de prefijo ($e_{prefix}$), que sirven como prompts suaves para condicionar la generación autorregresiva de código.

Etapa 2: Mejora de la Utilidad mediante Post-procesamiento de DP

Esta etapa sintetiza pares de instrucción-código de alta calidad utilizando únicamente los outputs de la Etapa 1 que cumplen con la DP, incurriendo en ningún costo de privacidad adicional debido a la propiedad de post-procesamiento de la DP.

1. Síntesis Condicionada por Latente: Se muestrean variables latentes de una distribución normal estándar y se decodifican en embeddings de prefijo. El modelo junior genera fragmentos de código condicionados por estos embeddings.
2. Extracción de Instrucciones: Un LLM público ($M_{ext}$) resume los fragmentos de código generados en instrucciones de lenguaje natural, formando pares de instrucción-código sintéticos.
3. Filtrado: Los datos sintéticos se someten a ejecución y filtrado de ida y vuelta (round-trip) para asegurar la corrección sintáctica y la consistencia semántica.
4. Ajuste de Modelo Premium: Un modelo "premium" más grande ($M_P$) es ajustado con el conjunto de datos sintéticos filtrados sin restricciones de DP, aprovechando los datos de alta calidad y preservación de la privacidad para lograr un alto rendimiento.

Contribuciones Clave

1. Primera Generación de Código con DP de Sensibilidad Conjunta: PrivCode++ es el primer trabajo que aborda la generación de código con DP donde tanto los prompts como el código se consideran sensibles, yendo más allá de la suposición de que los prompts son públicos.
2. Condicionamiento Latente Libre de Privacidad (PrivLC): Los autores introducen un módulo que aprende representaciones latentes continuas para reemplazar el condicionamiento de prompt explícito. Esto mitiga la degradación de la utilidad asociada típicamente con la generación sin prompt mientras mantiene garantías formales de privacidad.
3. Evaluación Exhaustiva: El marco es evaluado a través de cuatro benchmarks (HumanEval, MBPP, BigCodeBench, EvalPlus) y múltiples LLMs, demostrando una utilidad superior comparada con las bases de comparación de sensibilidad conjunta y un rendimiento competitivo con métodos de privacidad relajada.

Resultados Experimentales

• Utilidad: PrivCode++ supera consistentemente a los modelos de referencia en el entorno de sensibilidad conjunta. En tareas de seguimiento de instrucciones, mejora el Pass@1 hasta en 8.2 puntos, y en tareas de completado de código hasta en 19.3 puntos en comparación con otros métodos de protección de sensibilidad conjunta. Se mantiene competitivo con métodos que relajan las suposiciones de privacidad (por ejemplo, PrivCode).
• Protección de Privacidad: En experimentos de fuga de canarios que cubren prompts, código y canarios conjuntos, PrivCode++ logra un 0% de fuga en todos los entornos y modelos. En contraste, los métodos previos exhibieron hasta un 40% de fuga a nivel de categoría bajo condiciones de canarios conjuntos.
• Diversidad y Fidelidad: Las visualizaciones de t-SNE y las métricas cuantitativas (BLEU, AST-Sim, Distancia de Frechet) muestran que PrivCode++ produce código diverso y semánticamente consistente que evita el colapso de modo visto en la generación incondicional, manteniendo al mismo tiempo una alta fidelidad a la distribución de datos originales.
• Estudios de Ablación: Eliminar la alineación latente o el módulo de condicionamiento latente resulta en caídas significativas de rendimiento, validando la necesidad de ambos componentes para una generación efectiva de sensibilidad conjunta.

Significado y Reivindicaciones

El artículo afirma que PrivCode++ establece un nuevo paradigma para el aprendizaje de conocimiento específico de dominio a partir de conjuntos de datos de código sensibles bajo rigurosas garantías de privacidad diferencial. Al desacoplar los prompts sensibles del proceso de generación mediante el condicionamiento latente, el método permite la síntesis de código de alta utilidad sin comprometer la privacidad.

Los autores posicionan este trabajo como un paso hacia la adopción más responsable de los sistemas de generación de código en ecosistemas empresariales y de código abierto, abordando específicamente la fuga de PII y la lógica propietaria que reside tanto en las instrucciones de lenguaje natural como en las implementaciones de código. Enfatizan que, si bien las garantías de DP complementan las prácticas de seguridad más amplias, PrivCode++ proporciona una base más fuerte y formal para la privacidad en el despliegue de LLMs de código. Los autores no pretenden resolver todos los riesgos de privacidad en el desarrollo de software, sino que destacan que su método mitiga eficazmente la fuga basada en la memorización en el contexto específico de la generación de código con seguimiento de instrucciones.