Resumen Técnico: CANARY – Detección de Contaminación por Cero Etiquetas en Modelos de Lenguaje

1. Planteamiento del Problema

El artículo aborda la vulnerabilidad crítica de los Grandes Modelos de Lenguaje (LLMs) ante la contaminación por ajuste fino (fine-tuning). Los adversarios pueden implantar comportamientos dañinos latentes mediante la envenenación de una pequeña fracción (tan solo el 1%) del conjunto de datos de ajuste fino. Esta contaminación crea una "huella geométrica" en los estados ocultos del modelo que permanece latente e invisible para las defensas estándar a nivel de salida (como el red-teaming, clasificadores de palabras clave o barridos de generación) hasta que la tasa de contaminación supera aproximadamente el 7,5%.

Las defensas existentes fallan por dos razones principales:

• Métodos a nivel de salida: Requieren que el comportamiento dañino se manifieste en el texto generado, lo cual no ocurre con tasas de contaminación bajas (1–5%).
• Métodos en el espacio de pesos: Las técnicas como la Descomposición en Valores Singulares (SVD) de las diferencias de pesos o los vectores de tarea operan sobre diferencias de parámetros crudos, de alta dimensión y ruidosos sin un prior semántico, lo que las hace poco fiables con tasas de contaminación bajas sin datos etiquetados.

El desafío central es detectar este cambio oculto antes del despliegue, utilizando cero datos etiquetados y sin requerir la generación de texto dañino.

2. Metodología: CANARY

Los autores presentan CANARY (Contamination Auditor via Neural Activation Representation Yield), un auditor de checkpoints de cero etiquetas que detecta la contaminación directamente desde la geometría de los estados ocultos del modelo.

Mecanismo Central

CANARY opera comparando un candidato a checkpoint ajustado ($\theta_{tuned}$) contra el checkpoint base original ($\theta_{base}$) utilizando un pequeño conjunto de prompts no etiquetados y relevantes al dominio. El proceso implica dos pasadas hacia adelante por cada prompt:

1. Diferencia de Estado Oculto: Extraer los estados ocultos del último token ($h$) en una capa media $L$ para ambos modelos y calcular el vector de diferencia: $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$.
2. Proyección mediante Autoencoder Disperso (SAE): Proyectar $\Delta h$ a través de un SAE entrenado en las activaciones del modelo base. El SAE descompone el estado oculto en direcciones de características dispersas e interpretables.
3. Filtrado de Ruido: El método identifica "características de ruido": dimensiones del SAE que corresponden a artefactos densos de alta activación de estilo y formato (p. ej., puntuación, registro). Estas características suelen suprimirse durante el cambio de base a ajustado. CANARY enmascara (pone a cero) estas características de ruido para aislar la deriva semántica.
4. Puntuación: La puntuación de CANARY $S(x)$ es la norma L2 al cuadrado del vector de diferencia filtrado: $S(x) = \|\hat{\Delta h}(x)\|^2$. Un checkpoint se marca si la media de la puntuación sobre un conjunto de prompts excede significativamente la línea base de un ajuste fino benigno.

Distinciones Clave

• Sin Requerimiento de Etiquetas: A diferencia de trabajos previos de sondeo o dirección (steering) (p. ej., Burns et al., 2023; Zou et al., 2023) que requieren pares contrastivos etiquetados (dañinos vs. benignos), CANARY no requiere ejemplos etiquetados.
• LDA Filtrado por SAE: El artículo extiende la Amplificación de Diferencia de Logits (LDA) inyectando la diferencia del estado oculto filtrada por el SAE en lugar de manipular los logits directamente. Esto evita la incoherencia (alta perplejidad) que afecta a la LDA estándar al amplificar diferencias, permitiendo una generación coherente de daños latentes para su verificación.

3. Contribuciones Clave

El artículo describe cuatro capacidades distintas habilitadas por el marco CANARY:

1. Detectar: Un auditor de dos pasadas y cero etiquetas que logra un AUROC = 1.000 con un 1% de contaminación en cuatro arquitecturas de modelos. Detecta la contaminación 7.5 veces antes que cualquier método a nivel de salida.
2. Verificar: Un LDA de capa oculta filtrado por SAE que hace superficial el daño latente a una tasa 5 veces mayor que la generación estándar manteniendo salidas coherentes (Perplejidad $\approx$ 58 frente a 1.8M para la LDA estándar), permitiendo la confirmación conductual post-alerta.
3. Priorizar: Un prioritizador de red-teaming basado en puntuación que concentra el 97% del daño en el cuartil superior de prompts, produciendo una mejora de 4.2 veces sobre el muestreo aleatorio.
4. Remediar: Un mecanismo de supresión de características en tiempo de inferencia que apunta a un subespacio compacto de características del SAE. La supresión de un puñado de características específicas de la contaminación reduce las tasas de daño del 70% al 10% con cero penalización de perplejidad, cerrando efectivamente el bucle de detección-corrección.

4. Resultados Experimentales

Los autores evaluaron CANARY en cuatro pares de modelos (Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B) que abarcan paradigmas de SFT y RLHF.

• Rendimiento de Detección: CANARY logró un AUROC = 1.000 (IC 95% [0.997, 1.000]) con un 1% de contaminación, con un coeficiente de Cohen $d$ de 3.28. Mantuvo una detección perfecta en todas las tasas probadas (1% a 20%).
• Especificidad: El sistema es específico para el daño. El ajuste fino sobre datos de personalidad benignos o ruido aleatorio a las mismas tasas produjo un AUROC $\approx$ 0.5, confirmando que la señal es impulsada por el daño semántico, no por cambios generales en la distribución.
• Robustez:
  • Emparejamiento de Estilo y Ruido de Gradiente: Los ataques que intentan igualar el estilo benigno o añadir ruido de gradiente fallaron en evadir la detección (el AUROC se mantuvo $\ge$ 0.95).
  • Restricciones de LoRA: Los adaptadores de bajo rango (Rank-4) redujeron el AUROC a ~0.83. Los autores señalan que esto es predicho por su fórmula de límite de detección, ya que las restricciones de bajo rango limitan estructuralmente la magnitud de la delta del estado oculto.
• Trans-Arquitectura: El método se generalizó a través de tres familias arquitectónicas, aunque el rendimiento varió ligeramente según la varianza de la línea base limpia (p. ej., SmolLM2 mostró una mayor varianza, reduciendo ligeramente el AUROC).
• Remediación: La cirugía en tiempo de inferencia redujo el daño del 70% al 10% sin afectar la fluidez del modelo.

5. Significado y Reivindicaciones

El artículo posiciona a CANARY como el primer marco de cero etiquetas para detectar, verificar, priorizar y remediar la contaminación de la cadena de suministro utilizando únicamente estados ocultos.

• Límite Fundamental: Los autores argumentan que la brecha de detección (detectar al 1% vs. 7.5%) es una propiedad fundamental de la geometría de la representación, no solo una limitación de las herramientas actuales basadas en la salida. Proporcionan una fórmula de límite de detección de forma cerrada ($r^* \propto \sigma/c$) que predice cuantitativamente el rendimiento en diversas arquitecturas y tipos de ataque.
• Pipeline de Gobernanza: El trabajo afirma establecer un pipeline de gobernanza completo donde la misma base de características SAE utilizada para la detección permite acciones posteriores (amplificación para verificación, priorización para red-teaming y supresión para remediación).
• Contexto de Despliegue: Los autores enfatizan que el componente de amplificación (LDA filtrado por SAE) es una herramienta de diagnóstico para investigadores de seguridad y proveedores de modelos, no un producto orientado al usuario. Afirman que el enfoque es robusto contra los ataques adaptativos actuales y proporciona una base práctica para la auditoría de seguridad en la cadena de suministro a medida que los servicios de ajuste fino se vuelven ubicuos.

El artículo concluye que, si bien el ajuste fino con restricciones de LoRA presenta un vector de evasión parcial, es una estrategia autodestructiva que limita la capacidad del atacante para implantar un daño persistente, y que la fórmula de límite de detección proporciona una hoja de ruta analítica para abordar dicha evasión de bajo rango en trabajos futuros.