Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map

Resumen Técnico: "¿Ha sido este checkpoint abliterado? Un auditoría de dos señales y su mapa de fallos"

Declaración del Problema
La rápida proliferación de modelos de "pesos abiertos" que han sido "abliterados" (despojados de sus mecanismos de rechazo) plantea un desafío significativo para las plataformas y los organismos de gobernanza. Estos artefactos suelen aparecer poco después de los lanzamientos de los modelos base principales. Los controles de tiempo de ejecución actuales son insuficientes para la auditoría previa al despliegue porque califican las generaciones del modelo en lugar del artefacto del modelo en sí mismo. Además, el acceso de caja negra por sí solo no puede sustentar auditorías rigurosas. La pregunta central abordada es: ¿Se le ha eliminado el mecanismo de rechazo a un artefacto de checkpoint específico?

Metodología
Los autores proponen una auditoría de checkpoint libre de umbrales que combina dos señales internas complementarias, estandarizadas y sumadas para crear una única puntuación. La auditoría requiere un checkpoint candidato ($M_c$) y un checkpoint de referencia confiable y atestiguado ($M_b$).

1. Brecha de rechazo de activación anclada a la referencia ($\rho$):

   • Mecanismo: Calcula la relación de la brecha de activación "dañino menos benigno" en el modelo candidato frente al modelo de referencia.
   • Definición: $\rho = \text{gap}(M_c) / \text{gap}(M_b)$, donde la brecha es la diferencia de medias de las activaciones del último token en prompts dañinos frente a benignos en una banda de capa de la mitad de la pila.
   • Función: Proporciona especificidad de rechazo. Un valor cercano a 1 indica un mecanismo de rechazo intacto; un valor cercano a 0 indica su eliminación.
   • Limitación: Está limitado a una sola dirección (la dirección de la diferencia de medias) y puede omitir eliminaciones en direcciones no canónicas o en modelos con destilación de razonamiento donde el rechazo se desplaza al pensamiento de cadena (chain-of-thought).

2. Energía de recuperación de pesos ($E_1$):

   • Mecanismo: Mide la fracción de energía de rango 1 de la diferencia de pesos ($\Delta W = W_b - W_c$) en las matrices de proyección de salida de atención y de descenso de MLP.
   • Definición: $E_1 = \frac{1}{|W|} \sum \frac{\sigma_1^2(\Delta W_m)}{\sum \sigma_i^2(\Delta W_m)}$.
   • Función: Provee recuperación (recall). Detecta cualquier edición de pesos de bajo rango, capturando eliminaciones multidireccionales que la brecha de activación pasa por alto.
   • Limitación: Por sí sola, no puede distinguir entre la eliminación del rechazo y las ediciones de bajo rango benignas (por ejemplo, un ajuste fino agresivo).

3. Detector Combinado:

   • Las dos señales están negativamente correlacionadas ($r \approx -0.41$) y son complementarias en su etiquetado.
   • La puntuación final es la suma de sus puntuaciones z: $s(M_c) = z(-\rho) + z(E_1)$.
   • El sistema utiliza una estandarización transductiva basada en una población de referencia y establece un punto de operación mediante el estadístico $J$ de Youden sobre un conjunto de calibración.

Contribuciones Clave

1. Detector de triaje de checkpoint efectivo: El detector de suma de z combinado logra un AUROC de 0.95 en un registro de 273 checkpoints (57 no censurados, 37 benignos), superando significativamente a cualquiera de las señales por separado (0.84 y 0.90). Se transfiere a familias de modelos no vistos con una precisión equilibrada de 0.89 (FPR 0.11).
2. Mapa de Fallos: El documento traza explícitamente dos modos de fallo:
   • Referencia suplantada (Spoofed Reference): Si la referencia declarada es ella misma adversaria (ya abliterada) o si el candidato se usa como su propia referencia, la auditoría falla sin necesidad de entrenamiento ($\Delta W=0, \rho=1$).
   • Evasión de caja blanca (White-Box Evasion): Un propietario de caja blanca puede entrenar un checkpoint para evadir el detector (llevando su puntuación por debajo del umbral) mientras mantiene un comportamiento no seguro y coherente.
3. Registro Público: La evaluación se realiza sobre un registro de 273 checkpoints que abarcan Qwen, DeepSeek-distilled Qwen, Llama y Gemma, incluyendo negativos benignos (ajustes finos, fusiones, ajustes de instrucción).

Resultos

• Separabilidad: El detector combinado separa 53 de los 57 checkpoints no censurados de las ediciones benignas. Los 4 casos omitidos fueron variantes ordinarias de abliteración, no "recetas difíciles" complejas.
• Transferibilidad: Bajo una calibración de "dejar fuera una familia", el detector mantiene un alto rendimiento (Precisión Equilibrada 0.89), mientras que los métodos de umbral absoluto (como AMS Tier-1) fallan significativamente (Precisión Equilibrada 0.35).
• Complementariedad: La brecha de activación falla cuando el rechazo se elimina a lo largo de múltiples direcciones o se oculta en trazas de razonamiento; la energía de los pesos detecta estos casos pero señala en exceso las ediciones benignas. La combinación mitiga estas debilidades individuales.
• Evasión: Un ataque de caja blanca adaptativo logró llevar a un modelo Qwen2.5-1.5B de un estado de "detectado" a uno de "evadido" tras 600 pasos de entrenamiento. El modelo resultante siguió siendo inseguro ante la guardia (20/20 prompts dañinos) y coherente, incurriendo solo en un pequeño "impuesto de ocultación" en conocimientos generales y matemáticas.

Significado y Reivindicaciones
El documento posiciona esta auditoría como una herramienta de triaje efectiva, no como una solución a prueba de manipulaciones.

• Utilidad: Proporciona un filtro rápido y económico para que las plataformas marquen checkpoints para revisión humana antes del despliegue, reduciendo significamente la dependencia de la puntuación de generación en tiempo de ejecución.
• Límites: Los autores declaran explícitamente que las afirmaciones de la auditoría están limitadas por el registro evaluado y la suposición de una referencia atestiguada.
• Doble Uso: El documento reconoce que la metodología misma proporciona una "receta de evasión consciente de la detección", señalando que el ajuste fino natural no abre esta vulnerabilidad, pero la optimización dirigida sí lo hace.
• Modestia: Los autores no pretenden resolver el problema de la seguridad por completo. Enfatizan que la auditoría depende enteramente de la integridad de la atestación de la base; si la referencia es suplantada, la auditoría queda invalidada de raíz. Además, la capacidad de evasión de caja blanca demuestra que los propietarios decididos pueden entrenar para superar estas señales manteniendo un comportamiento inseguro.