NeuroStrike: Neuron-Level Attacks on Aligned LLMs

Resumen Técnico: NeuroStrike

1. El Problema

La alineación de seguridad en los Modelos de Lenguaje Grande (LLMs) es fundamental para evitar la generación de contenido dañino o poco ético. Sin embargo, las técnicas actuales de alineación (como el ajuste fino supervisado y el aprendizaje por refuerzo con retroalimentación humana, RLHF) son frágiles y vulnerables a ataques de "jailbreak" (rompimiento de restricciones).

Los métodos de ataque existentes suelen depender de ensayo y error, carecen de generalización entre diferentes modelos y son limitados en escalabilidad. Investigaciones anteriores han intentado interpretar los mecanismos de seguridad a nivel de capa o de características, pero a menudo implican una proporción demasiado grande de parámetros (hasta el 10%), lo que dificulta la identificación precisa de los componentes críticos responsables del comportamiento de seguridad. Existe una necesidad urgente de comprender los mecanismos internos subyacentes para desarrollar ataques más dirigidos y generalizables.

2. Metodología: NeuroStrike

El artículo presenta NeuroStrike, un marco de ataque novedoso y generalizable que explota una vulnerabilidad fundamental introducida por las técnicas de alineación: la dependencia de neuronas de seguridad especializadas y dispersas.

Hipótesis Central:
Los autores postulan que la alineación de seguridad se implementa mediante un subconjunto pequeño y especializado de neuronas ("neuronas de seguridad") que se activan para detectar y suprimir entradas maliciosas. Si un adversario identifica y manipula estas neuronas, puede neutralizar los mecanismos de seguridad.

Enfoque de Ataque:
El marco opera en dos escenarios principales:

• Entorno White-Box (Modelos de pesos abiertos):

  • Identificación: Se realiza un análisis de activación de neuronas en las capas de retroalimentación (MLP) utilizando un clasificador lineal (regresión logística) entrenado para distinguir entre activaciones de entradas benignas y maliciosas.
  • Selección: Se identifican las neuronas con pesos significativamente altos (outliers estadísticos) que actúan como detectores de seguridad.
  • Ejecución: Se "poda" (prune) o suprime la activación de estas neuronas específicas durante la inferencia. Esto desactiva los mecanismos de seguridad sin eliminar la capacidad general del modelo.

• Entorno Black-Box (Modelos propietarios/API):

  • Perfilado de LLM: Dado que no se tiene acceso interno, el ataque utiliza un modelo sustituto (surrogate) de pesos abiertos de la misma familia o arquitectura que el objetivo.
  • Generación de Prompts: Se entrena un generador de prompts adversarios utilizando Optimización de Política Relativa de Grupo (GRPO).
  • Función de Recompensa: El generador se optimiza para maximizar el éxito del jailbreak en el modelo sustituto mientras minimiza la activación de las neuronas de seguridad identificadas en ese sustituto.
  • Transferencia: Debido a la transferibilidad de las neuronas de seguridad, los prompts generados para evadir al sustituto también evaden eficazmente al modelo objetivo de caja negra.

3. Contribuciones Clave

1. Nueva Perspectiva Teórica: Identifican la alineación de seguridad como un "disparador" frágil implementado a través de neuronas dispersas y especializadas, en lugar de una propiedad difusa de todo el modelo.
2. Técnica de Identificación Ligera: Proponen un método eficiente para localizar neuronas de seguridad en modelos de pesos abiertos mediante análisis de activación, permitiendo una poda precisa.
3. Ataque de Perfilado de LLM (Black-Box): Introducen el primer ataque de perfilado que aprovecha la transferibilidad de neuronas de seguridad para entrenar generadores de prompts en modelos sustitutos y atacar modelos propietarios sin interacción directa.
4. Generalización Multidisciplinaria: Demuestran que el ataque funciona en modelos de texto, modelos multimodales (imagen-texto), modelos ajustados (fine-tuned) y modelos destilados.

4. Resultados Experimentales

Los autores evaluaron NeuroStrike en más de 20 LLMs de pesos abiertos y 5 modelos de caja negra (incluyendo la familia Gemini de Google).

• Ataque White-Box:

  • Al eliminar menos del 0.6% de las neuronas en las capas objetivo, el éxito del ataque (ASR) aumentó de un promedio del 12.1% (sin poda) al 76.9% usando solo prompts maliciosos directos.
  • Multimodalidad: En modelos multimodales (Gemma-3, Qwen2.5-VL), la poda de neuronas identificadas solo con texto logró un 100% de ASR en entradas de imagen inseguras.
  • Utilidad: La poda de neuronas de seguridad afectó mínimamente las capacidades generales del modelo (razonamiento y comprensión del lenguaje), manteniendo la utilidad operativa.

• Transferencia (Fine-tuning y Destilación):

  • Las neuronas de seguridad identificadas en un modelo base se transfirieron eficazmente a 11 modelos ajustados y 5 modelos destilados, aumentando el ASR de ~25% a 78.5% en modelos ajustados y de ~41% a 77.7% en modelos destilados.

• Ataque Black-Box:

  • El ataque de perfilado logró un ASR promedio del 63.7% en cinco modelos de caja negra (incluyendo Gemini-2.0-Flash y Gemini-1.5-Pro), superando significativamente a los prompts maliciosos directos (3.5%) y a los jailbreaks manuales (13.5%).
  • Superó a métodos de jailbreak de última generación como PAIR y TAP, aunque fue superado por Puzzler (que requiere interacción en línea), demostrando la eficacia de un enfoque offline.

• Resiliencia ante Defensas:

  • NeuroStrike logró evadir defensas avanzadas como el filtrado de perplejidad, SmoothLLM y la edición específica de capas (LSE), manteniendo tasas de éxito superiores al 60% en la mayoría de los casos.

5. Significado e Implicaciones

• Fragilidad de la Alineación: El estudio revela que la seguridad en los LLMs actuales depende de un "boleto ganador" (winning ticket) neuronal extremadamente pequeño y localizado. Una vez que este subconjunto se identifica y se desactiva, la alineación colapsa por completo.
• Generalización de Amenazas: La capacidad de transferir neuronas de seguridad entre modelos de la misma familia o arquitecturas relacionadas implica que un ataque diseñado para un modelo puede comprometer a toda una familia de modelos, incluidos los propietarios.
• Nuevas Direcciones de Defensa: Los autores sugieren que las futuras estrategias de alineación deben evitar la concentración de la seguridad en neuronas dispersas. Proponen enfoques como la alineación multi-objetivo para dispersar las responsabilidades de seguridad o arquitecturas de "Mezcla de Expertos" (MoE) para dificultar la identificación de estas neuronas críticas.
• Responsabilidad Ética: El equipo ha notificado a los proveedores de modelos afectados y planea divulgar los detalles de la explotación de manera responsable para fomentar el desarrollo de defensas más robustas.

En conclusión, NeuroStrike demuestra que la seguridad de los LLMs es inherentemente frágil debido a su implementación neuronal localizada, proporcionando una herramienta poderosa para evaluar y, paradójicamente, para mejorar la robustez de los sistemas de IA mediante la identificación de estos puntos únicos de fallo.