Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs

Resumen Técnico: Descomposición de la Reducción de la Memorización en el Ajuste Fino Preservador de la Privacidad para SLMs en CSIRTs

Planteamiento del Problema
Los Equipos de Respuesta ante Incidentes de Seguridad Informática (CSIRTs) utilizan cada vez más Modelos de Lenguaje Pequeños (SLMs) para el triaje de escaneos de vulnerabilidades. Sin embargo, los registros operativos contienen datos de topología interna sensibles (IPs, nombres de host, nombres de activos) que, si son memorizados por los modelos durante el ajuste fino (fine-tuning), crean riesgos de privacidad bajo regulaciones como el RGPD y la LGPD. Aunque existen defensas como el DP-SGD (Descenso de Gradiente Estocástico con Privacidad Diferencial) y la pseudonimización criptográfica, su interacción empírica en el contexto específico del ajuste fino de SLMs de 1 a 3 mil millones de parámetros sobre datos estructurados de CSIRT sigue sin explorarse. Los trabajos previos se han centrado principalmente en modelos más grandes, benchmarks de propósito general o en la evaluación de defensas de forma aislada en lugar de su composición.

Metodología
Los autores realizaron un estudio empírico que involucró cuatro SLMs de pesos abiertos (Gemma 3 1B, Qwen3 1.7B, Llama 3.2 3B y VaultGemma 1B) ajustados mediante fine-tuning sobre un conjunto de datos sintéticos de 70.951 registros de vulnerabilidad (Mock CAIS) derivados de datos del escáner Tenable. El estudio utilizó 96 adaptadores LoRA a través de cuatro regímenes de entrenamiento distintos para aislar las contribuciones marginales de varios mecanismos:

1. V0 (Raw/Bruto): Línea base sin protección utilizando pesos en bf16.
2. V1 (Stack/Pila): Añade QLoRA (cuantización de 4 bits) y un lote de gran tamaño (lote efectivo de 32 mediante acumulación de gradientes).
3. V2 (ε=8): Añade DP-SGD con Ghost Clipping a V1.
4. V3 (ε=2): Un presupuesto de DP-SGD más estricto.

El estudio empleó un protocolo de "ataque dual" para evaluar la memorización:

• Ataque 1: Consulta al modelo por identificadores originales (canarios) plantados en los datos de entrenamiento.
• Ataque 2: Consulta al modelo por el "slug" pseudonimizado mediante HMAC (por ejemplo, [IP_ADDRESS_6975bab4]) generado por la herramienta de preprocesamiento AnonShield.

La memorización se midió utilizando métricas de exposición (basadas en log-rank) y Ataques de Inferencia de Membresía (MIA) basados en pérdida (loss) a través de 20 canarios plantados, replicados 10 veces cada uno. La utilidad se evaluó mediante clasificación de severidad basada en logits (cubetas CVSS) en datos no vistos (held-out).

Contribuciones Clave

1. Descomposición de la Reducción de la Memorización: El estudio demuestra que la reducción en la memorización observada al pasar del ajuste fino bruto al "stack" de QLoRA y el lote de gran tamaño es impulsada principalmente por la reducción en el número de actualizaciones del optimizador (menos pasos), más que por los mecanismos de privacidad en sí mismos. Los controles de actualizaciones coincidentes reprodujeron entre el 66 % y el 132 % (media del 100 %) de la reducción de memorización vista en la transición V0→V1 únicamente mediante la reducción de los conteos de actualización.
2. Composición de Defensas: El documento evalúa la composición de DP-SGD y la pseudonimización HMAC. Encuentra que el DP-SGD añade garantías formales de $(\epsilon, \delta)$ pero no proporciona una reducción adicional significativa en la memorización más allá de lo logrado por las actualizaciones reducidas del optimizador en el régimen V1.
3. Eficacia de la Pseudonimización: La pseudonimización HMAC elimina con éxito el identificador original de la superficie de exposición (reduciendo la exposición entre un 40 % y un 61 %) sin crear un objetivo de memorización secundario. La exposición del propio slug de HMAC permanece dentro de ±0.65 bits del piso de azar (chance floor) en todos los modelos y variantes.
4. Identificación de la Brecha de Utilidad: Bajo el presupuesto de entrenamiento evaluado (3 épocas, 3.200 registros), los SLMs de 1–3B no alcanzan la utilidad operativa para la clasificación de severidad, con puntuaciones F1 que oscilan entre 0.19 y 0.28. Esto indica una "brecha condicionada al presupuesto" donde estos modelos no convergen a niveles de rendimiento útiles para esta tarea específica, independientemente del régimen de privacidad.

Resultos

• Memorización: Pasar de V0 a V1 redujo la exposición media entre un 36 % y un 66 %. Sin embargo, añadir DP-SGD (V2, V3) no produjo reducciones adicionales estadísticamente significativas tras corregir las tasas de falsos descubrimientos.
• Pseudonimización: La pseudonimización HMAC redujo la exposición de los canarios originales en el régimen bruto (V0) entre un 40 % y un 61 %. Crucialmente, el modelo no memorizó los slugs de HMAC; la exposición de los slugs se mantuvo cerca de la línea base aleatoria (aprox. 1 bit) en las 16 celdas de modelos y variantes.
• Utilidad: Las puntuaciones F1-macro para la clasificación de severidad se mantuvieron bajas (0.19–0.28) en los 96 adaptadores, apenas superando la línea base de "siempre-Medio" (0.125) y muy por debajo de los umbrales operativos (≥0.5). La ingeniería de prompts en los modelos base mostró una utilidad baja similar, confirmando que la brecha no es solo un artefacto del ajuste fino, sino una limitación del tamaño del modelo y la formulación de la tarea bajo el presupuesto dado.
• Riesgo de Despliegue: El estudio identificó un problema de compatibilidad donde el DP-SGD falla en arquitecturas de SLM multimodales (por ejemplo, Gemma 4, Qwen3-VL) porque los módulos de atención para las torres de no-texto no reciben gradientes, lo que provoca la aborto del optimizador. Esto requiere expresiones regulares de exclusión específicas de la arquitectura.

Significancia y Reivindicaciones
El documento afirma ser el primer estudio empírico que descompone la reducción de la memorización en SLMs de 1–3B ajustados con datos estructurados de CSIRT bajo defensas compuestas. Su principal significancia radica en aclarar que:

• Las actualizaciones del optimizador son el factor dominante: El beneficio percibido de las "pilas de preservación de la privacidad" (QLoRA + batching) es en gran medida un subproducto de la reducción de los pasos de entrenamiento, no del mecanismo de privacidad en sí.
• La pseudonimización es segura: La pseudonimización criptográfica oculta eficazmente los identificadores originales sin desplazar el riesgo de memorización hacia los pseudónimos.
• Limitaciones operativas: Los SLM actuales de 1–3B, incluso con ajuste fino, pueden no ser operativamente viables para tareas de clasificación de vulnerabilidades estructuradas bajo restricciones estándar de hardware on-premise, lo que sugiere la necesidad de modelos más grandes o formulaciones de tareas diferentes.

Los autores declaran explícitamente que sus hallazgos son específicos para el régimen de 1–3B y datos estructurados, y no pretenden que estos resultados se generalicen a modelos más grandes (≥7B) o datos narrativos no estructurados, donde trabajos previos sugieren una mayor utilidad.