GAVEL: Towards Rule-Based Safety Through Activation Monitoring

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) son cada vez más vulnerables a ataques de representación, donde intenciones dañinas se oscurecen o parafrasean en el texto superficial, eludiendo los filtros tradicionales de entrada/salida. Si bien el monitoreo basado en activaciones (detectar conceptos dañinos en los estados ocultos internos del modelo) ofrece una solución, los enfoques existentes adolecen de tres limitaciones críticas:

1. Baja Precisión: Los detectores entrenados en conjuntos de datos de uso indebido amplios (por ejemplo, "discurso de odio" genérico) generan altas tasas de falsos positivos (por ejemplo, señalando discusiones culturales benignas).
2. Flexibilidad Limitada: Hacer cumplir políticas matizadas y específicas de un dominio (por ejemplo, infracción específica de propiedad intelectual o reglas corporativas) requiere reentrenar detectores o recopilar nuevos conjuntos de datos costosos para cada cambio de política.
3. Falta de Interpretabilidad: Cuando un detector se activa, a menudo no proporciona ninguna explicación de por qué o qué conceptos específicos provocaron la alarma, lo que dificulta la auditoría y la responsabilidad.

2. Metodología: El Marco GAVEL

Los autores proponen GAVEL (Gobernanza mediante Verificación Basada en Activaciones y Lógica Extensible), un cambio de paradigma desde la clasificación de grano grueso hacia la seguridad de activación basada en reglas. El marco descompone el comportamiento del modelo en primitivas interpretables y hace cumplir la seguridad mediante reglas lógicas.

A. Elementos Cognitivos (EC)

En lugar de detectar categorías amplias, GAVEL define Elementos Cognitivos (EC): primitivas de activación de grano fino e interpretables que representan comportamientos, tareas o temas específicos del modelo.

• Ejemplos: "Hacer una amenaza", "Procesamiento de pagos", "Disfrazarse de humano", "Creación de consultas SQL" o "Construir confianza".
• Conjuntos de Datos de Excitación: Para capturar un EC específico, los autores construyen conjuntos de datos solo de texto ($D_c$) que contienen ejemplos de ese comportamiento. Utilizan una estrategia de prompting específica ("Piensa en [EC] mientras revisas...") para elicitar activaciones internas fuertes y alineadas.
• Extracción de Características: Las activaciones se extraen de las salidas de atención de las capas intermedias a tardías del transformador (específicamente las capas 13–26 en Mistral-7B), las cuales se encontró que producen una mayor precisión de detección y menos falsos positivos que los estados ocultos MLP.

B. Detección Multietiqueta

Se entrena un clasificador multietiqueta ($g$) ligero sobre los vectores de activación recopilados. A diferencia de los clasificadores de etiqueta única, este modelo puede detectar múltiples EC simultáneamente dentro de un solo token (por ejemplo, un token podría activar tanto "Amenazar" como "Herramientas de Pago"). Esto permite que el sistema maneje estados cognitivos complejos y superpuestos.

C. Aplicación Basada en Reglas

Las restricciones de seguridad se definen como reglas lógicas Booleanas sobre la presencia de EC.

• Sintaxis: Las reglas siguen una sintaxis legible por humanos similar a las herramientas de ciberseguridad (por ejemplo, Snort, YARA): detener si <condición>.
• Lógica: Las condiciones son fórmulas booleanas que utilizan Y ($\land$), O ($\lor$) y NO ($\neg$) sobre las probabilidades de EC.
  • Ejemplo: detener si Amenaza Y Pago Y Roleplay (detecta un patrón de estafa específico mientras permite "Amenaza" en contextos no financieros).
• Monitoreo Temporal: Las reglas se evalúan sobre una ventana deslizante de tokens para capturar comportamientos dependientes del contexto (por ejemplo, una estafa que construye confianza durante varias interacciones antes de pedir dinero).

D. Flujo de Trabajo

1. Contribución de la Comunidad: La comunidad contribuye con conjuntos de datos de EC solo de texto y conjuntos de reglas (agnóstico al modelo).
2. Configuración: Un propietario del modelo selecciona los EC relevantes y compone reglas basadas en su política específica.
3. Entrenamiento: El propietario entrena el clasificador multietiqueta en su modelo específico utilizando los conjuntos de datos de EC proporcionados.
4. Despliegue: El sistema se ejecuta en tiempo real, clasificando las activaciones de tokens y activando acciones (detener, anular, dirigir) cuando se disparan las reglas.

3. Contribuciones Clave

1. Elementos Cognitivos (EC): Introducción de un vocabulario modular y composicional de primitivas de activación interpretables que desacopla la definición de seguridad del entrenamiento del modelo.
2. Marco GAVEL: Un sistema práctico para definir, compartir y hacer cumplir políticas de seguridad mediante reglas lógicas sobre EC, permitiendo una configuración rápida sin reentrenar el modelo base.
3. Recursos Abiertos: Lanzamiento del código fuente de GAVEL, GAVEL Studio (una herramienta interactiva de autoría de reglas), un vocabulario inicial de EC y un pipeline para automatizar la generación de reglas/EC utilizando agentes LLM.
4. Cambio de Paradigma: Mover la seguridad de la IA desde detectores estáticos y opacos de caja negra hacia sistemas basados en reglas transparentes, auditables y colaborativos inspirados en las prácticas de ciberseguridad.

4. Resultados Experimentales

Los autores evaluaron GAVEL en Mistral-7B a través de nueve categorías de uso indebido (Ciberdelito, Daño Psicológico, Automatización de Estafas) y lo compararon con líneas base que incluyen Llama Guard, Perspective API, RepBending y clasificadores de activación estándar.

• Precisión y Recall: GAVEL logró puntuaciones AUC > 0.98 y tasas de falsos positivos (FPR) cercanas a cero en la mayoría de las categorías. Superó significativamente a las líneas base en precisión, particularmente en escenarios complejos como "Estafas de Autoridad Tributaria" y "Cebo Romántico".
• Robustez ante Ataques Adversarios:
  • Desviación: Cuando el contenido dañino se diluyó con texto benigno, los jueces basados en texto (GPT-4) fallaron (la detección cayó a ~12%), mientras que GAVEL mantuvo un recall >85% monitoreando los estados internos.
  • Evasión: GAVEL permaneció robusto frente a intentos de ocultar la intención mediante reformulación.
• Generalización:
  • Entre Modelos: Los EC entrenados en un modelo se transfirieron eficazmente a otros (Llama3, Qwen, Gemma) con una pérdida de rendimiento mínima.
  • Entre Idiomas: Los EC definidos en inglés se generalizaron al español y al mandarín con una degradación de rendimiento negligible, demostrando que capturan conceptos abstractos en lugar de tokens superficiales.
• Eficiencia: La sobrecarga de GAVEL es negligible (<1% de aumento en la latencia, ~0.21 ms por token), lo que lo hace viable para el despliegue en tiempo real.

5. Significado

• Interpretabilidad y Auditabilidad: A diferencia de los detectores de caja negra, GAVEL proporciona razones explícitas para las violaciones de seguridad (por ejemplo, "Regla activada porque se detectaron 'Amenaza' Y 'Pago'"), permitiendo auditorías con intervención humana.
• Escalabilidad y Colaboración: Al desacoplar el "qué" (EC) del "cómo" (reglas), el marco permite a la comunidad compartir componentes de seguridad. Las organizaciones pueden adoptar EC preentrenados y simplemente configurar reglas para sus necesidades específicas, evitando el costo del reentrenamiento.
• Flexibilidad de Políticas: Permite hacer cumplir políticas matizadas y específicas de un dominio (por ejemplo, "Permitir la discusión de discurso de odio en contextos académicos pero bloquearla en atención al cliente") que son imposibles de definir con conjuntos de datos de uso indebido genéricos.
• Futuro de la Gobernanza de la IA: GAVEL establece una base para un ecosistema de seguridad de IA colaborativo, transparente y programable, reflejando el éxito del intercambio de reglas en la ciberseguridad.