Resumen Técnico: META SECALIGN

Declaración del Problema

Los ataques de inyección de prompts (PI) representan la principal amenaza de seguridad para las aplicaciones que integran Modelos de Lenguaje de Gran Escala (LLM). En estos ataques, datos no confiables recuperados del entorno contienen instrucciones inyectadas que manipulan al LLM para anular los prompts de confianza del sistema o del usuario. Esto puede derivar en consecuencias graves como la exfiltración de datos, brechas de seguridad y ejecución de malware.

Si bien las defensas a nivel de modelo (entrenar al LLM para priorizar instrucciones confiables sobre datos no confiables) han demostrado ser más efectivas que las defensas a nivel de sistema, las defensas existentes más sólidas son propietarias (por ejemplo, en GPT-5 o Gemini-3-Pro). La falta de modelos seguros de grado comercial y totalmente de código abierto impide el codesarrollo de ataques y defensas, lo cual es esencial para el progreso científico en la seguridad de la IA. Además, los intentos previos de código abierto (por ejemplo, el SecAlign original) a menudo sufrieron una degradación significativa de la utilidad o no lograron generalizarse a flujos de trabajo agénticos complejos.

Metodología: SecAlign++

Los autores presentan META SECALIGN, un LLM totalmente de código abierto entrenado mediante una nueva receta llamada SecAlign++. Esta receta es una evolución de la defensa de vanguardia (SoTA) SecAlign, diseñada para lograr una utilidad de grado comercial manteniendo una seguridad robusta.

Arquitectura Central

El método se basa en una modificación específica de la plantilla de chat para separar las instrucciones confiables de los datos no confiables:

1. Nuevo Tipo de Mensaje: Se añade un rol de mensaje input dedicado a la plantilla de chat (junto con system, user y assistant) para encapsular los datos no confiables.
2. Cumplimiento de Delimitadores: Se utilizan delimitadores especiales (por ejemplo, <|eot_id|>, <|start_header_id|>) para separar estos roles. El modelo filtra recursivamente los datos no confiables para asegurar que no existan delimitadores especiales dentro de los propios datos, evitando que los atacantes "escapen" de la separación.

Innovaciones en el Entrenamiento

SecAlign++ introduce dos novedades técnicas clave al marco original de SecAlign para abordar sus deficiencias:

1. Posición de Inyección Aleatoria:

   • Problema: El SecAlign original a menudo aprendía un "atajo" donde el modelo ignoraba solo la última frase de la entrada si esta se asemejaba a una instrucción. Esto causaba que el modelo ignorara instrucciones legítimas del usuario si aparecían al final de los datos.
   • Solución: Durante el entrenamiento, las inyecciones simuladas se aleatorizan. En el 45% de los casos, la inyección se coloca al final de los datos; en otro 45%, se coloca al principio; y en el 10%, se utiliza un "ataque de completado" (simulando un turno de conversación). Esto obliga al modelo a aprender a identificar específicamente el rol de mensaje input, en lugar de depender de atajos posicionales.

2. Respuestas Autogeneradas:

   • Problema: El SecAlign original utilizaba un modelo anotador desactualizado (TEXT_DAVINCI_003) para generar respuestas "deseables" (benignas) y "indeseables" (inyectadas). Estas respuestas solían ser de baja calidad y fuera de la distribución (out-of-distribution) respecto al modelo que se estaba ajustando, lo que resultaba en una utilidad y seguridad deficientes.
   • Solución: Se utiliza el modelo de inicialización (el LLM sin defender, por ejemplo, LLAMA-3.3-70B-INSTRUCT) como anotador de respuestas. Esto asegura que las etiquetas de entrenamiento estén dentro de la distribución y sean de alta calidad, coincidiendo con las capacidades del modelo que se está asegurando.

Optimización

Los modelos se ajustan mediante Optimización de Preferencia Directa (DPO) sobre un conjunto de datos de preferencia construido. El conjunto de datos consiste en:

• Input ($x$): Un prompt con datos benignos y una inyección simulada.
• Respuesta Deseable ($y_w$): La salida del modelo de inicialización ante el prompt y los datos benignos, ignorando la inyección.
• Respuesta Indeseable ($y_l$): La salida del modelo de inicialización ante solo la inyección.

Contribuciones Clave

1. Modelos META SECALIGN: El lanzamiento de META-SECALIGN-8B y META-SECALIGN-70B, los primeros LLM de grado comercial y totalmente de código abierto con defensas de inyección de prompts integradas a nivel de modelo, capaces de manejar tareas agénticas complejas.
2. Receta SecAlign++: Una novedosa receta de entrenamiento que mejora al SecAlign SoTA mediante la introducción de posiciones de inyección aleatorias y respuestas autogeneradas, aumentando significativamente tanto la utilidad como la seguridad.
3. Evaluación Exhaustiva: La evaluación más extensa de defensas contra inyección de prompts hasta la fecha, que cubre 9 benchmarks de utilidad (conocimiento general, seguimiento de instrucciones, flujos de trabajo agénticos) y 7 benchmarks de seguridad.
4. Generalización: Demostración de que la seguridad aprendida durante el entrenamiento se generaliza a tareas descendentes no vistas, incluyendo la llamada a herramientas (tool-calling) y la navegación web, sin requerir entrenamiento específico para la tarea.

Resultados

Compromiso entre Utilidad y Seguridad

• Utilidad de Grado Comercial: META-SECALIGN-70B logra puntuaciones de utilidad comparables, y en algunos casos superiores, a los modelos comerciales de código cerrado (por ejemplo, GPT-4o-Mini) en benchmarks de conocimiento general y seguimiento de instrucciones. Notablemente, muestra una caída de utilidad mínima en comparación con su contraparte sin defender (LLAMA-3.3-70B-INSTRUCT).
• Seguridad de Vanguardia (SoTA):
  • Seguimiento de Instrucciones: Logra una Tasa de Éxito de Ataque (ASR) del 6.4% en el benchmark SEP, superando a varios modelos de código cerrado.
  • Flujos de Trabajo Agénticos: Demuestra una robustez excepcional en la llamada a herramientas (AgentDojo: 1.9% ASR) y navegación web (WASP: 0% ASR de extremo a extremo).
  • Comparación: META-SECALIGN-70B es más seguro que varios modelos propietarios insignia (incluyendo GPT-4o y Gemini-2.5-Flash) y es comparable a GPT-5 tanto en utilidad como en seguridad para tareas agénticas.

Robustez ante Ataques Adaptativos

El artículo evalúa los modelos frente a ataques adaptativos, incluyendo aquellos que utilizan delimitadores falsos (basados en la distancia de embedding) y ataques de Gradiente de Coordenada Codiciosa (GCG). SecAlign++ supera significamente al SecAlign original en estos escenarios, manteniendo un bajo ASR incluso cuando los atacantes intentan eludir la separación de delimitadores.

Escalabilidad del Modelo y Flexibilidad

• Escalabilidad: Se observa que los LLM más fuertes (por ejemplo, LLAMA-3.3-70B) son más vulnerables a ataques de PI cuando no están defendidos en comparación con modelos más pequeños (LLAMA-3.1-8B). Sin embargo, SecAlign++ asegura con éxito modelos en diferentes escalas (4B, 8B, 70B y 109B MoE) con una pérdida de utilidad insignificante.
• Control del Compromiso (Trade-off): Los autores demuestran que el compromiso entre utilidad y seguridad se puede controlar de forma flexible en el tiempo de inferencia ajustando el parámetro LoRA $\alpha$, lo que permite a los usuarios interpolar entre la seguridad del modelo ajustado y la utilidad del modelo base sin necesidad de reentrenamiento.

Significado y Reivindicaciones

El artículo afirma que META SECALIGN establece una nueva frontera para el compromiso entre utilidad y seguridad en los LLM de código abierto. Al proporcionar un modelo fundacional de grado comercial y totalmente abierto, permite a la comunidad de seguridad de IA realizar investigaciones transparentes, fomentando el desarrollo conjunto de ataques y defensas.

Los autores enfatizan que su trabajo cierra la brecha entre la investigación académica (a menudo limitada a modelos de juguete de 8B) y el despliegue industrial (APIs de código cerrado). Afirman que SecAlign++ es la primera receta que logra una seguridad SoTA contra inyecciones de prompts sin la degradación significativa de la utilidad observada previamente en las defensas de código abierto. El lanzamiento de los modelos, el código y las recetas de entrenamiento tiene como objetivo acelerar la investigación futura sobre la mitigación de las amenazas de inyección de prompts en las aplicaciones integradas con LLM.