Resumen Técnico: CALYREX – Transformadores Extendidos por Capas de Atención Cruzada para el Anclaje de Prompts del Sistema

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) modernos dependen de prompts del sistema para definir restricciones de comportamiento y reglas de seguridad. Sin embargo, las arquitecturas Transformer estándar utilizan un mecanismo de autoatención causal uniforme que trata las instrucciones privilegiadas del sistema y el contenido no confiable del usuario con la misma prioridad estructural. Los autores identifican esto como el "problema de la Jerarquía de Instrucciones", una incompatibilidad estructural que conduce a dos vulnerabilidades críticas:

1. Inyección de Prompt: Las entradas adversarias del usuario pueden sobrescribir las reglas del sistema, secuestrando el objetivo del modelo.
2. Erosión de Instrucciones: Las instrucciones del sistema se degradan gradualmente a lo largo de secuencias extendidas o de múltiples turnos.

Las estrategias de mitigación actuales, como el Ajuste Fino Supervisado (SFT), LoRA y la optimización de preferencias, tratan esto como un defecto de comportamiento que debe resolverse mediante datos. Los autores argumentan que esto incurre en una "penalización de desplazamiento de distribución" que sobrescribe las capacidades de razonamiento preentrenadas. Hipotetizan que el seguimiento robusto de reglas es un problema de enrutamiento estructural que requiere intervención arquitectónica en lugar de solo actualizaciones de pesos.

Metodología: Arquitectura CALYREX

El artículo propone CALYREX (Transformadores Extendidos por Capas de Atención Cruzada), una arquitectura que aísla estructuralmente y ancla los prompts del sistema utilizando mecanismos de atención cruzada.

Mecanismo Central

CALYREX inserta bloques de Capa de Atención Cruzada (CAL) entre las capas de autoatención estándar. A diferencia de la atención cruzada estándar que consulta codificadores externos (por ejemplo, en modelos multimodales), CALYREX deriva sus Claves ($K$) y Valores ($V$) exclusivamente del rango del prompt del sistema dentro de la misma secuencia, mientras que las Consultas ($Q$) se proyectan desde la secuencia completa.

• Mascaramiento Causal: Se aplica una máscara causal específica para asegurar que se preserve la propiedad autoregresiva. Los tokens anteriores al prompt del sistema no atienden a nada; los tokens dentro del prompt atienden solo a tokens anteriores del prompt; los tokens posteriores al prompt atienden a todo el prompt del sistema.
• Inicialización en Cero: Las proyecciones de salida de las subcapas CAL ($W_O$ y $W_D$) se inicializan estrictamente en cero. Esto asegura que, en la inicialización, el bloque actúe como un mapeo de identidad perfecto ($X'' = X$), preservando las capacidades de cero disparos del modelo base y evitando el "choque de representación" o el olvido catastrófico.
• Régimen de Entrenamiento: La columna vertebral del modelo base se mantiene estrictamente congelada. Los gradientes se aplican exclusivamente a los adaptadores CAL. El modelo se entrena en un corpus de SFT de 50.000 muestras que cubre tareas generales.

Ablación de Ubicación

Se realizó un estudio de ablación de alta resolución en una columna vertebral de 1.5B (Qwen2.5-1.5B) para determinar la profundidad óptima de inserción. El estudio probó ocho configuraciones, desde la inserción de bloques después de cada capa hasta colocarlos solo en las capas finales.

• Hallazgo: El análisis de activación mecánica reveló que las restricciones de comportamiento se concentran naturalmente en el último octavo de capas.
• Configuración Óptima: La configuración LATE8TH (insertar 5 bloques distribuidos en el último 1/8 de capas) fue identificada como óptima, equilibrando la aplicación de reglas con la preservación de la extracción semántica de las capas tempranas.

Contribuciones Clave

1. Arquitectura CALYREX: Un enfoque estructural novedoso que condiciona el transformador en el rango del prompt del sistema mediante atención cruzada, imponiendo prioridad sin sobrescribir los significados preentrenados.
2. Ablación de Localidad Espacial: Una caracterización sistemática de la capacidad de adherencia a reglas en columnas vertebrales de LLM congeladas, identificando el último octavo de capas como la zona crítica para la aplicación de restricciones.
3. Evaluación Dependiente de la Escala: Un análisis comparativo a escalas de 1.5B y 8B que demuestra que la ventaja arquitectónica de CALYREX se amplía con el tamaño del modelo, particularmente en la adherencia a instrucciones y la resistencia de seguridad.

Resultados Experimentales

Escala 1.5B (Qwen2.5-1.5B)

• Seguimiento de Instrucciones: La configuración LATE8TH superó a las líneas base LoRA y ParallelMLP con parámetros coincidentes en formato estricto (IFEval) y adherencia de múltiples turnos (SysBench).
• Preservación del Razonamiento: A diferencia de LoRA, que sufrió olvido catastrófico en MMLU y GSM8K debido al ajuste fino en corpus estrechos, CALYREX (con columna vertebral congelada) preservó el rendimiento del modelo base.
• Seguridad: CALYREX redujo significativamente las tasas de éxito de los ataques de Jailbreaking de Muchos Disparos (MSJ) en comparación con LoRA. Superó a ParallelMLP en las cuatro pruebas de seguridad, confirmando que el enrutamiento por atención cruzada, y no solo la adición de parámetros en etapas tardías, impulsa la resistencia.

Escala 8B (Llama-3.1-8B)

La brecha arquitectónica entre CALYREX y la línea base ParallelMLP se amplió sustancialmente a esta escala:

• Seguimiento de Instrucciones: CALYREX logró una mejora de +7.4% en IFEval y de +16.3% en adherencia de múltiples turnos (SysBench) sobre la línea base ParallelMLP.
• Seguridad: CALYREX redujo la tasa de éxito del ataque de Jailbreaking de Muchos Disparos en un 13.1% en comparación con ParallelMLP.
• Robustez Contextual: En las pruebas de Long-IFEval (hasta 32k de contexto), CALYREX mantuvo una precisión estricta más alta que ParallelMLP en longitudes de rango medio (8k–16k), aunque todos los modelos ajustados convergieron en longitudes extremas.
• Limitaciones: CALYREX no mostró una ventaja consistente sobre ParallelMLP en la extracción estricta de información (SQuAD) ni en la generación compleja de JSON (Glaive FC). En pruebas adversarias directas (IH-Challenge, TensorTrust), las mejoras fueron inconsistentes, lo que sugiere que el anclaje estructural por sí solo es insuficiente sin reglas defensivas explícitas en el prompt.

Significado y Afirmaciones

El artículo afirma que CALYREX aborda el problema de la Jerarquía de Instrucciones tratando la adherencia al prompt del sistema como un problema de enrutamiento estructural en lugar de uno de comportamiento.

• Aislamiento Estructural: Al desacoplar el prompt del sistema del contexto del usuario mediante vías dedicadas de atención cruzada, la arquitectura evita que el contenido del usuario sobrescriba estructuralmente las instrucciones privilegiadas.
• Eficiencia de Escala: Los resultados sugieren que los modelos más grandes (8B+) utilizan más eficazmente la vía de enrutamiento dedicada proporcionada por CALYREX, lo que conduce a una ampliación de las brechas de rendimiento sobre las líneas base estructurales a medida que aumenta el tamaño del modelo.
• Seguridad y Alineación: El enfoque ofrece una vía para imponer reglas de seguridad y restricciones de comportamiento sin el olvido catastrófico asociado al ajuste fino de toda la red, haciéndolo adecuado para despliegues críticos de seguridad donde preservar el razonamiento preentrenado es primordial.

Los autores concluyen que, si bien la implementación actual depende del SFT estándar y está limitada por la cobertura del corpus, el marco arquitectónico proporciona una base robusta para futuras técnicas de alineación (como RLHF o DPO) dirigidas específicamente a los bloques CAL.