Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

1. El Problema

La proliferación de modelos de lenguaje grandes (LLM) de pesos abiertos (como Llama, Qwen, DeepSeek) ha democratizado el acceso a la IA, pero ha creado un desafío crítico de seguridad y transparencia: la falta de acceso a los datos de entrenamiento completos.

• Limitación de los métodos actuales: Las técnicas de interpretabilidad existentes se basan principalmente en el análisis de activaciones (las salidas intermedias de la red). Estos métodos requieren o asumen que los datos de prueba son distribucionalmente similares a los datos de entrenamiento (por ejemplo, para entrenar autoencoders dispersos o clasificadores).
• La brecha de seguridad: Esto es insuficiente para detectar amenazas novedosas como puertas traseras (backdoors) o comportamientos maliciosos inyectados, que por definición son fuera de distribución (OOD) y no aparecen en conjuntos de datos de referencia estándar. Si no se tienen los datos de entrenamiento originales, los métodos basados en activaciones no pueden identificar anomalías raras o intencionalmente ocultas.

Pregunta central: ¿Podemos entender y auditar modelos de pesos abiertos sin acceso a su distribución de entrenamiento?

2. Metodología: WeightWatch

Los autores proponen WeightWatch, un enfoque novedoso que interpreta directamente los pesos del modelo en lugar de sus activaciones, eliminando la necesidad de datos de calibración o entrenamiento.

Concepto Central

La premisa fundamental es que la diferencia de pesos entre un modelo ajustado (fine-tuned) y su modelo base original ($\Delta W = W_{post} - W_{base}$) contiene una estructura rica que codifica los nuevos comportamientos adquiridos durante el ajuste.

Algoritmo Técnico

1. Descomposición de la Diferencia de Pesos:

   • Se calcula la diferencia de pesos $\Delta W$ para las capas lineales clave (proyección de salida de la atención $O_{proj}$ y proyección hacia abajo del MLP $W_{down}$).
   • Se aplica una Descomposición en Valores Singulares (SVD) a $\Delta W$:
     $$\Delta W = U \Sigma V^T = \sum_i u_i \sigma_i v_i^T$$
   • Los vectores singulares izquierdos ($u_i$) correspondientes a los valores singulares más grandes ($\sigma_i$) se identifican como las direcciones principales de cambio. Estos se denominan "vectores de comportamiento".

2. Monitoreo (Detección):

   • Durante la inferencia, se calcula la similitud del coseno entre las activaciones de los tokens de entrada y los vectores de comportamiento identificados.
   • Se establece un rango "normal" de similitud utilizando una pequeña muestra de datos de calibración (o incluso sin ella, basándose en la distribución teórica).
   • Si la similitud de un token cae fuera de este rango normal, la entrada se marca como anómala (ej. contiene un disparador de puerta trasera o consulta sobre un tema "olvidado").

3. Control (Dirección/Steering):

   • Una vez detectada una dirección anómala, se puede intervenir ortogonalizando las activaciones:
     $$a_{steered} = a - (a \cdot u)u$$
   • Esto elimina la componente del comportamiento indeseado, permitiendo "revertir" el ajuste fino o forzar al modelo a comportarse como su versión base.

3. Contribuciones Clave

• Independencia de Datos: Es el primer método capaz de detectar y controlar comportamientos inyectados (backdoors) o capacidades eliminadas (unlearning) sin necesidad de acceder a los datos de entrenamiento o de ajuste fino.
• Detección de Backdoors: Capacidad para identificar disparadores de puertas traseras en tiempo real con alta precisión, incluso si los disparadores son desconocidos para el auditor.
• Auditoría de Modelos "In-the-Wild": Permite descubrir sesgos, prioridades de ajuste y comportamientos emergentes en modelos comerciales (OLMo, Llama, Qwen) simplemente analizando sus pesos.
• Recuperación de Información: Demuestra que es posible "desaprender" o "reaprender" capacidades mediante la manipulación de activaciones basadas en vectores de pesos.

4. Resultados Experimentales

A. Detección y Mitigación de Backdoors

• Escenarios: Evaluado en modelos ajustados con LoRA, Fine-tuning de Parámetros Completos (FFT) y RLHF envenenado (PPO) con diversos tipos de disparadores (BadNet, CTBA, MTBA, Sleeper, etc.).
• Rendimiento:
  • Tasa de Detección: Logra detectar entre el 93% y el 100% de las utilidades de puertas traseras en la primera vista.
  • Falsos Positivos: Mantiene una tasa de falsos positivos (FPR) inferior al 1% en datos benignos y en conjuntos de validación estándar (MMLU).
  • Comparativa: Supera significativamente a métodos de última generación basados en activaciones (como BEAT) y baselines de diferencia de normas, que fallan en escenarios de datos desbalanceados o desconocidos.

B. Verificación y Recuperación de "Unlearning" (Olvido)

• Detección: Detecta consultas sobre temas que el modelo supuestamente "olvidó" (ej. Harry Potter en WHP, conocimientos bio/ciberseguridad en Zephyr-RMU) con tasas de detección de 36.21% a 95.42%.
• Recuperación (Steering):
  • En el modelo Zephyr-RMU, el método logró recuperar el 76.92% del rendimiento original en tareas de bioseguridad (WMDP-Bio) y 38.61% en ciberseguridad, simplemente desviando las activaciones.
  • En el modelo Circuit Breaker, combinando la dirección de control con un prefijo de prompt simple, se logró un 82.08% de éxito en ataques de jailbreak (bypass de seguridad), demostrando que la seguridad basada en representaciones puede ser revertida.

C. Auditoría de Modelos en el Mundo Real (In-the-Wild)

Al aplicar WeightWatch a OLMo 7B, Qwen 2.5 7B y Llama 3.1 8B, se descubrieron prioridades de ajuste fino no documentadas:

• Qwen: Alto enfoque en uso de emojis (2.3% de direcciones), contenido ideológico chino y traducción multilingüe.
• Llama: Fuerte enfoque en razonamiento matemático paso a paso y resolución de problemas.
• Todos los modelos: Se detectaron direcciones específicas para la generación de prompts de Midjourney, revelando exposición a datos de generación de imágenes durante el ajuste.
• Validación: Estos hallazgos se corroboraron empíricamente (ej. Qwen usa emojis en el 50% de las respuestas apropiadas) y mediante el análisis de los datos de entrenamiento públicos de OLMo.

5. Significado e Impacto

• Seguridad Proactiva: WeightWatch proporciona una herramienta esencial para auditar modelos antes de su despliegue o en producción, especialmente cuando los proveedores no revelan sus datos de entrenamiento.
• Dual-Use (Doble Uso): El artículo reconoce honestamente que la técnica es de doble uso. Si bien es una poderosa herramienta de defensa para detectar backdoors, también puede ser utilizada por actores maliciosos para revertir alineaciones de seguridad (jailbreaking) o recuperar conocimientos peligrosos eliminados, como se demostró con el modelo Circuit Breaker.
• Cambio de Paradigma: Marca un paso hacia la interpretabilidad basada en pesos, sugiriendo que la información crítica sobre el comportamiento de un modelo reside en la estructura de sus parámetros, no solo en sus activaciones temporales.

En conclusión, WeightWatch demuestra que es posible entender, monitorear y controlar el comportamiento de LLMs ajustados de manera no supervisada y sin datos, ofreciendo una nueva línea de defensa crítica en el ecosistema de IA abierta, aunque también plantea nuevos desafíos éticos sobre la reversibilidad de la seguridad.