Symmetry Defeats Auditing

Resumen Técnico: La Simetría Derrota a la Auditoría

Enunciado del Problema
El artículo aborda la vulnerabilidad de los "Adaptadores de Introspección" (IA), una técnica propuesta por Shenoy et al. [9] diseñada para detectar el ajuste fino malicioso en Modelos de Lenguaje Grandes (LLM). El paradigma de IA utiliza un adaptador LoRA específico entrenado mediante Optimización Directa de Preferencias (DPO) para elicitar verbalizaciones de comportamientos implantados (por ejemplo, que un modelo minimice los riesgos de fugas de gas). La preocupación central es que un adversario podría contrabandear una especialización maliciosa en un modelo, y el IA no lograría detectarla. Los autores demuestran que este mecanismo de detección es fundamentalmente frágil debido a simetrías matemáticas inherentes a las arquitecturas de LLM.

Metodología
Los autores proponen un ataque donde un adversario, que controla los pesos del modelo antes del despliegue del adaptador LoRA del auditor, aplica una transformación lineal que preserva el comportamiento a los pesos internos del modelo. Esta transformación vuelve ineficaz al adaptador del auditor posterior. El ataque explota dos simetrías específicas encontradas en las arquitecturas de transformadores:

1. Simetría $W_V/W_O$ de Atención: En los mecanismos de atención de consultas agrupadas (utilizados en los modelos Llama y Qwen), la salida del mecanismo de atención involucra la matriz de valores ($W_V$) y la matriz de proyección de salida ($W_O$). Los autores muestran que para cualquier matriz invertible $G$, la transformación $W_V \to W_V G$ y $W_O \to G^{-1} W_O$ deja la salida del modelo sin cambios. Si un adversario aplica esta transformación al modelo base, cualquier adaptador LoRA instalado posteriormente (como el IA) se ve efectivamente multiplicado por la derecha por $G^{-1}$. Esto altera el impacto funcional del adaptador, neutralizando su capacidad para detectar el comportamiento malicioso. El adversario muestrea matrices ortogonales aleatorias de Haar para el subespacio de valores de cada cabeza de atención para realizar esta transformación.
2. Simetría de Permutación MLP: Los bloques de Perceptrón Multicapa (MLP) en modelos como Llama y Qwen3 exhiben simetría de permutación. Al aplicar una matriz de permutación $P$ a los pesos de proyección de puerta y hacia arriba ($W_{gate}, W_{up}$) y su inversa $P^{-1}$ al peso de proyección hacia abajo ($W_{down}$), la salida de la capa permanece idéntica. Si un adversario permuta estos pesos antes de instalar el IA, los adaptadores LoRA del IA se transforman efectivamente (por ejemplo, $C_{gate} \to C_{gate}P^{-1}$), volviéndolos funcionalmente inertes con respecto a la detección del comportamiento malicioso específico.

El ataque es computacionalmente económico, requiriendo aproximadamente 5 minutos de CPU en un punto de control de 70B de parámetros.

Contribuciones Clave

• Demostración de Vulnerabilidad: El artículo proporciona la primera demostración concreta de que los Adaptadores de Introspección pueden ser eludidos completamente aplicando simetrías simples que preservan el comportamiento a los pesos del modelo.
• Variantes de Ataque: Los autores definen e implementan dos vectores de ataque distintos: el ataque de "Simetría $W_V/W_O$ de Atención" y el ataque "MLP-permute".
• Generalizabilidad: Los autores argumentan que esta clase de ataques de simetría no se limita a los IA, sino que probablemente derrota cualquier herramienta de auditoría que dependa de inspeccionar los estados internos de un modelo o proyecciones del espacio de pesos (por ejemplo, Safe LoRA [6]), siempre que el adversario tenga acceso a los pesos del modelo entre la calibración y el despliegue.

Resultados
Los autores evaluaron el ataque sobre siete ajustes finos maliciosos publicados de Shenoy et al. [9] utilizando un modelo base Llama-3.3-70B-Instruct.

• Evasión de Detección: En los siete casos, el mejor ataque disponible redujo la tasa de detección del IA de una línea base del 100% al 0–20%.
• Preservación del Comportamiento: Crucialmente, el comportamiento malicioso de los modelos ajustados finamente permaneció intacto y observable; el ataque solo afectó la capacidad del auditor para detectarlo.
• Eficiencia del Ataque: El ataque MLP-permute por sí solo fue suficiente para derrotar al IA en tres de los adaptadores. Para los demás, fue necesario combinar el ataque MLP con el ataque de Simetría $W_V/W_O$ de Atención.
• Costo: Todo el proceso de ataque tomó aproximadamente una hora en dos GPUs NVIDIA A100 y costó aproximadamente 3 dólares en recursos de computación.

Significado y Afirmaciones
El artículo afirma que la capacidad de controlar los pesos del modelo socava fundamentalmente la eficacia de las herramientas de auditoría del espacio de pesos. Los autores concluyen que si un adversario puede acceder al modelo en cualquier punto entre la calibración de la sonda del auditor y el despliegue de la sonda, pueden derrotar estructuralmente la auditoría reubicando los "índices de neuronas" en los que confía el auditor.

Los autores declaran explícitamente que su contribución no es el descubrimiento de las simetrías en sí mismas (que son estándar en la interpretabilidad mecánica [3]), sino la observación de que los auditores basados en LoRA no son invariantes a estas simetrías y que esta no-invarianza es "explotable de manera barata". Advierten que muchas técnicas de auditoría existentes pueden ser "en gran medida ineficaces" en escenarios de despliegue realistas donde el adversario controla los pesos. El artículo no propone nuevas herramientas de auditoría ni métodos de entrenamiento futuros (como IAs robustos a la simetría) como soluciones inmediatas, señalándolos como direcciones para trabajo futuro.