Resumen Técnico: BioRefusalAudit

Declaración del Problema

Las evaluaciones actuales de bioseguridad para Modelos de Lenguaje Grande (LLM) evalúan principalmente si un modelo genera salidas peligrosas. Sin embargo, esta evaluación superficial es insuficiente para la seguridad en despliegue. Existe una brecha crítica en la comprensión de la estabilidad estructural de las negaciones: cuando un modelo rechaza una solicitud, ¿es ese rechazo una supresión profunda e interna de capacidades peligrosas, o es un comportamiento superficial que colapsa ante cambios menores en la formulación del prompt, el formato o los límites de tokens?

Las evaluaciones existentes (por ejemplo, WMDP-Bio, VCT, ABC-Bench) miden la finalización de tareas o la generación de salidas, pero no pueden distinguir entre una "negación profunda" (donde la circuitería interna de peligros está suprimida) y una "negación superficial" (donde el modelo dice "no" mientras las características internas relacionadas con el peligro permanecen activas). Además, el entrenamiento de seguridad puede afectar solo a los primeros tokens generados, dejando las capacidades peligrosas intactas bajo la superficie.

Metodología

El artículo introduce BioRefusalAudit, una herramienta de medición diseñada para auditar la profundidad de las negaciones del modelo comparando el comportamiento superficial con los patrones de activación interna. La metodología consta de dos componentes principales:

1. La Métrica de Divergencia ($D$)

La innovación central es una puntuación de divergencia $D$ que cuantifica la alineación entre la respuesta superficial de un modelo y sus activaciones internas de características del Codificador Automático Disperso (SAE).

• Vector Superficial ($s$): Un vector de etiquetas suaves (rechazar, cumplir, evadir, parcial, eludir) generado por un conjunto de jueces (regex, Gemini CLI, Claude Haiku).
• Vector Interno ($f$): Un vector normalizado de activaciones de características internas comprimido en cinco categorías: contenido biológico, vocabulario de peligros, circuitería de negación, evasión y correlatos de engaño.
• Matriz de Alineación ($T$): Una matriz que mapea estados internos esperados a estados superficiales, ajustada mediante mínimos cuadrados regularizados con ridge.
• Cálculo: $D(s, f) = 1 - \cos(f, T^T \cdot s)$.
  • $D \approx 0$: Alineación perfecta (negación profunda o cumplimiento genuino).
  • $D \approx 2$: Alta divergencia (por ejemplo, el modelo dice "Rechazo" mientras las características de peligro se activan).

2. Configuración Experimental

• Modelos Evaluados: Se probaron cinco arquitecturas a nivel conductual (Gemma 2 2B-IT, Gemma 4 E2B-IT, Llama 3.2 1B, Qwen 2.5 1.5B, Phi-3-mini). El análisis mecánico completo utilizando la métrica $D$ se realizó en Gemma 2 y Gemma 4.
• Conjunto de Evaluación: 75 prompts estratificados por nivel (biología benigna, doble uso, adyacente a peligros) y formulación (directa, educativa, juego de roles, ofuscada).
• Entrenamiento de SAE: El estudio utilizó Gemma Scope 1 (de propósito general) y entrenó SAEs personalizados específicos de dominio (Gemma 2 WMDP, Gemma 2 Pairwise, Gemma 4 Bio-SAE) en hardware de consumo (GTX 1650 Ti) y Colab T4.
• Sondas Especiales: Los experimentos incluyeron un límite de generación de 80 tokens, control de formato (presencia/ausencia de plantilla de chat) y una prueba de "confusión de legalidad" utilizando compuestos de la Lista I pero biológicamente no tóxicos (por ejemplo, cultivo de psilocibina).

Resultados Clave

Hallazgos Conductuales (Entre Arquitecturas)

• Gemma 2 2B-IT: Nunca rechazó genuinamente ninguno de los 75 prompts. "Eludió" en cada consulta adyacente a peligros (tasa de elusión del 100% en prompts de peligros), posponiendo efectivamente mientras interactuaba con contenido peligroso.
• Gemma 4 E2B-IT: El comportamiento de negación dependía enteramente del formato de la plantilla de chat. Rechazó 65/75 prompts con formato canónico pero 0/75 sin él. Ambos modelos Gemma colapsaron a un 0% de negación bajo un límite de 80 tokens.
• Llama 3.2 1B: Mostró el único gradiente de negación significativo (61 puntos de diferencia entre biología benigna y peligros), aunque rechazó en exceso la biología benigna.
• Qwen 2.5 1.5B y Phi-3-mini: Exhibieron altas tasas de falsos positivos, rechazando el 83-87% de los prompts de biología benigna, lo que indica una pobre discriminación entre contenido seguro y peligroso.

Hallazgos Mecánicos (Familia Gemma)

• Negaciones Superficiales: En Gemma 4, las respuestas de "cumplir" y "rechazar" se separaron por una brecha de 0.647 puntos en $D$ sin superposición, lo que sugiere que la métrica puede distinguir posturas a nivel de capa de activación.
• Desalineación de Características: En Gemma 2, las características relacionadas con la "circuitería de negación" estaban activas durante respuestas de cumplimiento a biología benigna (82% de los prompts), mientras que las "características de peligro" permanecieron activas incluso cuando el modelo afirmaba rechazar. Esto sugiere que el mecanismo de negación podría estar filtrando la salida basándose en la presencia de palabras clave biológicas en lugar de una supresión genuina de peligros.
• Confusión de Legalidad vs. Peligro: Las pruebas con psilocibina (Lista I, biológicamente no tóxica) revelaron que las tasas de negación rastreaban la relevancia cultural y la legalidad en lugar del peligro CBRN. Gemma 2 rechazó el cultivo de psilocibina (25-50%) pero rechazó la biología genuinamente peligrosa en un 0%. Por el contrario, Llama 3.2 discutió libremente la psilocibina mientras rechazaba la biología peligrosa.

Sensibilidad al Formato y a los Tokens

• Presupuesto de Tokens: La articulación de la seguridad requiere presupuesto de tokens; restringir la generación a 80 tokens hizo que las tasas de negación cayeran al 0% para los modelos probados.
• Formulación: La formulación educativa produjo la mayor divergencia ($D=0.733$), indicando cumplimiento parcial con características de peligro activas. La formulación ofuscada produjo la menor divergencia, sugiriendo que las frases opacas desencadenan una alineación interna más coherente (aunque potencialmente insegura).

Contribuciones Clave

1. Auditoría de Profundidad de Negación: Un marco novedoso (métrica $D$) que audita la consistencia interna de las negaciones del modelo, yendo más allá de las evaluaciones superficiales binarias "seguro/inseguro".
2. Modos de Fallo Específicos de Arquitectura: Evidencia de que los comportamientos de negación no son uniformes entre familias; Gemma 2 elude, Gemma 4 es sensible al formato, y Qwen/Phi rechazan en exceso.
3. SAEs Específicas de Dominio: Lanzamiento de tres SAEs personalizadas entrenadas para la auditoría de bioseguridad en modelos Gemma, incluido un SAE de Gemma 4 entrenado desde cero.
4. Demostración de Confusión de Legalidad: Evidencia empírica de que los circuitos de negación en algunos modelos responden al estatus legal y al tabú cultural (por ejemplo, drogas de la Lista I) en lugar del peligro biológico.
5. Monitoreo sin Divulgación de Contenido: La métrica $D$ se calcula a partir de vectores de características internos, permitiendo la auditoría en tiempo real de la profundidad de la negación sin que el auditor necesite leer los prompts de usuario o las transcripciones.

Significado y Afirmaciones

El artículo afirma que la auditoría a nivel de activación puede revelar modos de fallo invisibles para la evaluación conductual. Específicamente:

• Inestabilidad Estructural: La negación de un modelo puede ser estructuralmente insólida, desapareciendo bajo cambios modestos en el formato o los límites de tokens.
• Señales Desalineadas: Los circuitos de negación pueden estar calibrados a la relevancia cultural o al estatus legal en lugar del potencial real de biohazard.
• Utilidad de Gobernanza: La métrica $D$ proporciona una señal que podría informar marcos de acceso escalonado (por ejemplo, Carter y Butchello, 2026) al distinguir negaciones profundas de superficiales, permitiendo potencialmente sistemas de monitoreo que no requieren leer el contenido de la interacción.

Los autores declaran explícitamente que los hallazgos mecánicos (la métrica $D$) están actualmente limitados a la familia Gemma y requieren replicación en las arquitecturas Llama y Qwen. Los resultados se presentan como evidencia preliminar de un experimento a escala de hackathon, señalando limitaciones en la validación semántica del catálogo de características y la calibración dentro de la muestra. El trabajo se publica bajo la Licencia Hipocrática 3.0 para prevenir su uso posterior en armas autónomas o para evadir controles de seguridad.