Resumen Técnico: RACC: Criterios de Cobertura Conscientes de la Representación para la Prueba de Seguridad de LLM

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) enfrentan riesgos de seguridad significativos derivados de ataques de jailbreak, que explotan vulnerabilidades del modelo para generar contenido dañino. Las pruebas de seguridad actuales dependen en gran medida de conjuntos de datos estáticos y de código abierto (por ejemplo, SafetyBench, SorryBench) y carecen de criterios sistemáticos para evaluar la calidad y la adecuación de los conjuntos de pruebas. Si bien los criterios de cobertura han demostrado ser efectivos para Redes Neuronales Profundas (DNN) más pequeñas al monitorear las activaciones de neuronas, no son adecuados para los LLM por dos razones principales:

1. Escalabilidad: La sobrecarga computacional de perfilar miles de millones de neuronas a través de todas las capas es prohibitiva para los LLM.
2. Desalineación de Objetivos: Los criterios tradicionales a nivel de neurona tratan todas las activaciones por igual. En los LLM, la gran mayoría de las activaciones de neuronas son redundantes o irrelevantes para la seguridad. En consecuencia, las métricas a nivel de neurona a menudo no logran distinguir entre indicaciones de seguridad relevantes y significativas y entradas semánticamente redundantes o benignas, introduciendo ruido en las evaluaciones de cobertura.

Existe una necesidad crítica de criterios de cobertura que sean escalables para los LLM y que estén específicamente fundamentados en señales relevantes para la seguridad en lugar de estadísticas de activación crudas.

2. Metodología: Marco RACC

Los autores proponen RACC (Criterios de Cobertura Conscientes de la Representación), un marco que desplaza la medición de cobertura desde las activaciones de neuronas individuales hacia representaciones de seguridad—direcciones de baja dimensión en el espacio de estado oculto del modelo que codifican conceptos de seguridad específicos.

2.1 Principios de Diseño Central

RACC se basa en tres principios de diseño adaptados para la prueba de seguridad de LLM:

• Insensible a sinónimos: Las indicaciones semánticamente similares (por ejemplo, jailbreaks parafraseados) no deben inflar artificialmente las métricas de cobertura.
• Insensible a inválidos: Las entradas benignas o no adversarias no deben contribuir a la cobertura, ya que el objetivo es probar la capacidad del modelo para rechazar contenido dañino.
• Sensible a jailbreak: Las métricas deben priorizar las indicaciones que desencadenan exitosamente comportamientos dañinos o activan conceptos críticos para la seguridad.

2.2 Flujo de Trabajo Técnico

El marco RACC opera en tres etapas:

1. Extracción de Representaciones de Seguridad:

   • Se elabora un pequeño conjunto de calibración de indicaciones dañinas para representar categorías específicas de seguridad.
   • Se recopilan las activaciones de estado oculto de estas indicaciones desde las capas intermedias del modelo.
   • Se aplica el Análisis de Componentes Principales (PCA) a estas activaciones para identificar los $n$ componentes principales superiores. Estos componentes forman las representaciones de seguridad, representando las direcciones principales de los conceptos de seguridad en el espacio oculto.

2. Cálculo de Activación de Conceptos:

   • Para cualquier indicación de entrada, el estado oculto del modelo se proyecta sobre las representaciones de seguridad identificadas.
   • La magnitud de esta proyección sirve como la puntuación de activación de concepto, cuantificando la intensidad de los conceptos de seguridad específicos desencadenados por la entrada.

3. Cálculo de Cobertura:
   RACC define seis subcriterios divididos en dos dimensiones:

   • Dimensión I: Cobertura de Concepto Individual
     • Cobertura de Característica de Seguridad (SFC): Mide la proporción de características de seguridad activadas por encima de un umbral por al menos una indicación.
     • Cobertura de Característica Top-K (TKFC): Mide la proporción de características de seguridad que aparecen en las $k$ características más activas para al menos una indicación.
     • Cobertura de Intensidad de Característica (FIC): Discretiza las magnitudes de activación en contenedores para medir la diversidad de intensidades de activación a través de las características.
   • Dimensión II: Cobertura de Concepto Composicional
     • Cobertura de Cluster Semántico (SCC): Utiliza el agrupamiento K-Means en los vectores de seguridad proyectados para medir la diversidad de modos semánticos visitados por el conjunto de pruebas.
     • Cobertura de Concepto Pareado (PCC): Mide la co-ocurrencia de pares de características de seguridad, capturando interacciones entre conceptos.
     • Cobertura de Límite de Cluster (CBC): Identifica indicaciones que residen en regiones de baja densidad entre clusters semánticos, apuntando a límites de seguridad ambiguos donde los modelos son más vulnerables.

3. Contribuciones Clave

• Marco RACC: La propuesta de un criterio de cobertura escalable y consciente de la representación diseñado específicamente para la seguridad de LLM, abordando las limitaciones de las métricas a nivel de neurona.
• Seis Subcriterios: Un conjunto novedoso de métricas que cubren tanto la activación de conceptos individuales como las interacciones composicionales, fundamentadas en representaciones de seguridad en lugar de neuronas crudas.
• Validación Empírica: Experimentos exhaustivos que demuestran que RACC satisface los tres principios de diseño (insensibilidad a sinónimos, insensibilidad a inválidos, sensibilidad a jailbreak) y supera a las líneas base existentes a nivel de neurona.
• Aplicaciones Prácticas: Demostración de la utilidad de RACC en la priorización de conjuntos de pruebas (filtrado de indicaciones redundantes/inválidas) y el muestreo de indicaciones de ataque (selección de jailbreaks diversos y exitosos).
• Código Abierto: Lanzamiento de la implementación para facilitar futuras investigaciones.

4. Resultados Experimentales

Los autores evaluaron RACC en tres LLM de código abierto (Vicuna-7B, Llama-2-7B, Qwen-2.5-7B) utilizando puntos de referencia como SorryBench y ORBench-Toxic.

• Eficacia frente a Criterios a Nivel de Neurona:
  • Las métricas de RACC mostraron alta sensibilidad a ataques de jailbreak (por ejemplo, $S_{JA}$), generando ganancias significativas en cobertura.
  • Crucialmente, RACC permaneció insensible a entradas inválidas (indicaciones benignas) y semánticas redundantes (sinónimos). En contraste, las líneas base a nivel de neurona (por ejemplo, NC, TKNC) mostraron grandes aumentos engañosos en la cobertura cuando se añadían indicaciones benignas o sinónimas, fallando en distinguir entre pruebas de seguridad efectivas y ruido.
• Diversidad de Tipo de Riesgo: Las métricas de RACC aumentaron monótonamente con la diversidad de categorías de violación de seguridad en el conjunto de pruebas, mientras que las métricas a nivel de neurona permanecieron estancadas o fluctuaron aleatoriamente.
• Alineación Conceptual: Cuando los conjuntos de pruebas se construyeron con superposición semántica variable con el conjunto de calibración, las puntuaciones de RACC disminuyeron estrictamente a medida que disminuía la superposición, confirmando que las métricas miden conceptos de seguridad específicos en lugar de anomalías genéricas.
• Aplicaciones:
  • Priorización: La selección guiada por RACC cargó candidatos válidos significativamente mejor que las líneas base a nivel de neurona (por ejemplo, un AUC de 0.667 frente a 0.340 en SorryBench).
  • Muestreo: RACC aceleró el descubrimiento de jailbreaks exitosos y categorías de ataque diversas en comparación con las líneas base.
• Generalización: RACC demostró ser robusto a través de diferentes tamaños de modelo (escalando a 13B), tamaños de conjunto de calibración (efectivo incluso con conjuntos pequeños), capas de extracción y configuraciones de hiperparámetros. También se propuso una estrategia de selección de parámetros adaptativa (AdaRACC) para eliminar el ajuste manual.

5. Significado y Afirmaciones

El artículo afirma que RACC proporciona una base escalable y principista para la prueba de seguridad de LLM guiada por cobertura. Al fundamentar la cobertura en direcciones de conceptos de seguridad en lugar de activaciones de neuronas crudas, RACC resuelve el cuello de botella de escalabilidad y la brecha de alineación de objetivos inherente a los criterios de cobertura de DNN tradicionales.

Los autores afirman que RACC no es meramente un detector de anomalías genérico, sino una herramienta que mide específicamente la activación de semánticas relevantes para la seguridad. Esto permite la evaluación rigurosa, la priorización y la optimización de conjuntos de pruebas de seguridad, moviendo el campo más allá de la dependencia de conjuntos de datos estáticos hacia una ingeniería de seguridad dinámica y consciente de la cobertura. El trabajo establece que centrarse en representaciones de seguridad de bajo rango es un enfoque viable y superior para evaluar la adecuación de las pruebas de seguridad de LLM.