Resumen Técnico: Bloqueo de Pesos Preentrenados mediante Destilación Residual de Bajo Rango Profunda

Formulación del Problema

La proliferación de modelos de lenguaje grandes (LLM) de pesos abiertos ha democratizado el acceso a sistemas de IA potentes, pero ha erosionado simultáneamente el control que los proveedores de modelos tienen sobre cómo se utilizan estos pesos. Aunque las licencias legales intentan restringir la adaptación no autorizada, carecen de aplicación técnica. Un atacante adaptativo con acceso completo a los pesos y la arquitectura del modelo a menudo puede revertir defensas estructurales simples o utilizar la optimización para eludirlas.

El desafío científico central abordado es el bloqueo de modelos: la capacidad de modificar un modelo preentrenado de tal manera que adaptarlo (por ejemplo, mediante ajuste fino) se vuelva inherentemente más costoso que adaptar el modelo original, preservando estrictamente el rendimiento en tiempo de inferencia y las capacidades generales del modelo. Los autores formalizan esto bajo un modelo de amenaza adaptativo fundamentado en el principio de Kerckhoffs, donde la defensa debe mantenerse efectiva incluso si el atacante conoce el diseño del mecanismo de bloqueo. El objetivo es lograr un "factor de bloqueo" $\kappa > 1$, donde el costo (tiempo, FLOPs o horas de GPU) para alcanzar un nivel de rendimiento objetivo en una tarea posterior se amplifica en al menos $\kappa$ para el modelo bloqueado en comparación con el original.

Limitaciones de los Enfoques Existente

El artículo identifica fallos fundamentales en las estrategias de defensa anteriores:

1. Defensas Basadas en Simetría: Los métodos que explotan simetrías de pesos (por ejemplo, escalado o inserción de matrices invertibles) para interrumpir la optimización son trivialmente reversibles. Un atacante puede inspeccionar las normas de los pesos o calcular descomposiciones en valores singulares (SVD) para reequilibrar los pesos y restaurar el paisaje de optimización original.
2. Defensas Basadas en Optimización: Los enfoques que intentan incorporar defensas optimizando paisajes de pérdida mal condicionados (por ejemplo, maximizando la traza del Hessiano o insertando módulos de barrera) enfrentan una paradoja "autodestructiva". El defensor debe utilizar la optimización para encontrar una solución que resista la optimización, sin embargo, la misma información de gradiente disponible para el defensor está disponible para el atacante. Los experimentos en MLPs simples muestran que el descenso de gradiente a menudo falla al alcanzar estas regiones "bloqueadas" de alto costo desde inicializaciones preentrenadas.

Metodología: DLR-Lock

Los autores proponen DLR-Lock, una defensa que explota la asimetría entre inferencia y entrenamiento de la diferenciación automática. A diferencia de la inferencia, que solo requiere un paso hacia adelante y descarta las activaciones intermedias, el entrenamiento requiere almacenar todas las activaciones intermedias para la retropropagación. DLR-Lock reemplaza cada módulo estándar SwiGLU MLP en un transformador con una Red Residual de Bajo Rango Profunda (DLR-Net).

Arquitectura

Un bloque residual MLP estándar $x' = z + \text{FFN}(\text{RMSNorm}(z))$ es reemplazado por una red residual de bajo rango de profundidad $L$:
$$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$$
donde:

• $V_i \in \mathbb{R}^{r \times d}$ y $U_i \in \mathbb{R}^{d \times r}$ son matrices de proyección de bajo rango con rango de cuello de botella $r \ll d$.
• $\alpha_i$ es un escalar ReZero aprendible.
• La profundidad $L$ se elige de modo que la cuenta total de parámetros coincida (o supere ligeramente) con el MLP original, distribuyendo los parámetros a través de muchas capas poco profundas en lugar de unas pocas profundas.

Tres Mecanismos de Bloqueo

Esta sustitución arquitectónica introduce tres barreras específicas para la adaptación:

1. Crecimiento de Memoria de Activación: Durante la retropropagación, la memoria requerida para almacenar las activaciones crece linealmente con la profundidad $L$. Para un atacante que utiliza ajuste fino ingenuo, la sobrecarga de memoria de activación escala como $\Theta(d/r)$ en comparación con el modelo original, potencialmente forzando tamaños de lote más pequeños o hardware más costoso.
2. Inestabilidad de Optimización: La estructura residual profunda crea una incompatibilidad arquitectónica con las recetas de entrenamiento originales del modelo. Los hiperparámetros y optimizadores estándar de ajuste fino, afinados para los MLPs poco profundos originales, se vuelven inestables o ineficientes cuando se aplican a las DLR-Nets profundas.
3. Sobrecarga Desproporcionada del Paso Hacia Atrás: El paso hacia atrás incurre en una sobrecarga significativamente mayor que el paso hacia adelante debido a patrones complejos de acceso a memoria y la necesidad de recalcular activaciones (incluso con checkpointing de gradientes). Crucialmente, las optimizaciones del compilador (como la reproducción de gráficos CUDA) que aceleran el paso hacia adelante no se transfieren al paso hacia atrás, ampliando la brecha de costos para los atacantes que deben calcular gradientes.

Procedimiento de Destilación

Para asegurar que el modelo bloqueado retenga las capacidades originales (Preservación de Utilidad), los autores emplean una tubería de destilación en dos fases:

1. Destilación por Módulo: Cada DLR-Net se entrena independientemente para replicar el mapeo de entrada-salida de la capa MLP preentrenada correspondiente, minimizando el Error Cuadrático Medio (MSE) relativo.
2. Destilación de Logits: Después de reemplazar todas las capas, los errores acumulados se corrigen ajustando finamente los parámetros de la DLR-Net (con atención y embebidos congelados) utilizando el modelo original como maestro. El objetivo es minimizar la divergencia KL de los top-$k$ entre las distribuciones de salida del maestro y el estudiante.

Resultados Experimentales

El método fue validado en los modelos Qwen3-0.6B y Qwen3-8B utilizando el conjunto de datos Nemotron-CC.

• Preservación de Calidad: Los modelos bloqueados preservaron con éxito las capacidades del modelo original. Después de la destilación en dos fases, la perplejidad en corpus de texto natural (Nemotron-CC, WikiText-103) y el rendimiento en puntos de referencia posteriores (MMLU, ARC, HellaSwag, etc.) se recuperaron hasta estar a pocos puntos de la línea base preentrenada.
• Sobrecarga de Inferencia: Aunque los FLOPs teóricos permanecen comparables, la naturaleza secuencial de las DLR-Nets introduce una sobrecarga en tiempo real. Sin embargo, esto se mitiga mediante optimizaciones del compilador (por ejemplo, torch.compile con reducción de sobrecarga). Para modelos grandes y tamaños de lote, la relación de sobrecarga disminuye significativamente (por ejemplo, de $144\times$ en modo ansioso a $11\times$ con compilación para modelos de 8B), permaneciendo manejable para usuarios legítimos.
• Resistencia al Ajuste Fino:
  • Convergencia: Al ajustar finamente en WikiText-103, el modelo bloqueado convergió significativamente más lento que la línea base y se estabilizó en una pérdida más alta, incluso con checkpointing de gradientes habilitado.
  • Inestabilidad: A tasas de aprendizaje más altas ($10^{-4}$), el modelo bloqueado divergió completamente, mientras que la línea base entrenó normalmente, lo que indica que la defensa estrecha el rango efectivo de la tasa de aprendizaje.
  • Amplificación de Costos: El paso hacia atrás representó el 89% del tiempo total de entrenamiento para el modelo bloqueado (vs. 83% para la línea base), y el tiempo real para alcanzar una pérdida objetivo fue sustancialmente mayor. Los autores señalan que la sobrecarga del paso hacia atrás es desproporcionadamente mayor que la del paso hacia adelante, confirmando la dependencia de la defensa en costos específicos del entrenamiento.

Significancia y Afirmaciones

El artículo afirma establecer un nuevo eje de defensa para el bloqueo de modelos que es agnóstico al optimizador y se basa en propiedades estructurales en lugar del secreto del mecanismo de defensa. Las contribuciones clave incluyen:

• Formalización: Definir el bloqueo de modelos como la amplificación del costo de adaptación bajo un modelo de amenaza adaptativo.
• Mecanismo Novel: Demostrar que la asimetría entre inferencia y entrenamiento de la diferenciación automática puede explotarse para crear una defensa que es barata de evaluar pero costosa de diferenciar.
• Robustez: Mostrar que el método resiste a atacantes adaptativos con conocimiento total de la estrategia, incluidos aquellos que utilizan checkpointing de gradientes, actualizaciones parciales de pesos o LoRA.
• Practicidad: Validar que el mecanismo de bloqueo no sacrifica la utilidad del modelo, permitiendo a los usuarios legítimos inferir con un rendimiento cercano al original mientras imponen una barrera de costo medible a la adaptación no autorizada.

Los autores concluyen que, aunque la sobrecarga del paso hacia adelante puede mitigarse mediante kernels personalizados o compilación, la asimetría fundamental en los costos de retropropagación sigue siendo una barrera robusta contra el ajuste fino.