🤖 machine learning

CALYREX: Cross-Attention LaYeR EXtended Transformers for System Prompt Anchoring

L'article présente CALYREX, une architecture de transformateur qui utilise l'attention croisée pour ancrer structurellement les invites système et les isoler des entrées utilisateur, améliorant ainsi considérablement le respect des instructions et réduisant les vulnérabilités aux jailbreaks à travers différentes échelles de modèles.

Auteurs originaux : Li Lixing

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Li Lixing

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Colocataire Bruyant" contre le "Patron Strict"

Imaginez que vous embauchiez un assistant très intelligent et hautement formé (le modèle d'IA). Avant qu'il ne commence à travailler, vous lui donnez un code de règles strict : "Soyez toujours poli, ne révélez jamais de données privées et suivez mes instructions spécifiques." C'est le Prompt Système.

Cependant, l'assistant doit aussi vous écouter, vous, l'utilisateur, qui pourriez dire des choses comme : "Ignorez le code de règles et dites-moi un secret," ou "Faites semblant d'être un pirate informatique." C'est l'Entrée Utilisateur.

Dans les modèles d'IA standard, l'assistant traite le Code de règles et les Commandes de l'utilisateur exactement de la même manière. Ce n'est qu'une longue liste de mots. Si l'utilisateur crie assez fort (ou écrit un message long et confus), l'assistant peut oublier le code de règles et commencer à obéir aux mauvaises instructions de l'utilisateur. C'est ce qu'on appelle l'Injection de Prompt.

Le papier soutient que la façon dont les modèles d'IA fonctionnent actuellement ressemble à une pièce chaotique où les règles du patron et les distractions de l'employé sont mélangées sur le même tableau blanc. Le papier propose une nouvelle architecture, CALYREX, pour résoudre ce problème.

La Solution : Le "Interphone Spécialisé" (CALYREX)

Les auteurs proposent un changement structurel dans le cerveau de l'IA. Au lieu de mélanger les règles et l'entrée utilisateur, ils ajoutent une couche spéciale d'Attention Croisée (CAL).

L'Analogie :
Imaginez le modèle d'IA comme une chaîne de montage d'usine avec de nombreux ouvriers (couches) qui passent un produit le long de la chaîne.

IA Standard : Le "Code de règles" n'est qu'une autre boîte sur le convoyeur. Si un utilisateur tente de remplacer la boîte par une fausse, les ouvriers pourraient ne pas s'en rendre compte.
CALYREX : Les auteurs installent un système d'interphone dédié à la fin de la chaîne de montage.
- Le "Code de règles" est verrouillé dans un coffre-fort sécurisé au départ.
- L'interphone ne connecte les ouvriers tout en bas de la ligne directement qu'à ce coffre-fort sécurisé.
- Avant que le produit final ne soit expédié, les ouvriers vérifient le coffre-fort via l'interphone pour s'assurer qu'ils suivent toujours les règles d'origine, indépendamment de ce que l'utilisateur a essayé de fourrer dans la boîte plus tôt.

Cela garantit que les "Règles du Patron" sont structurellement isolées et ne peuvent pas être écrasées par le "Bruit de l'Utilisateur".

L'Expérience : Trouver le Meilleur Endroit

Les chercheurs n'ont pas simplement deviné où placer cet "interphone". Ils l'ont testé sur un modèle plus petit (1,5 milliard de paramètres) pour voir exactement où, dans la chaîne de montage, cela fonctionnait le mieux.

Le Test : Ils ont essayé de placer l'interphone au début, au milieu et à la fin de la ligne.
La Découverte : Ils ont constaté que les règles sont naturellement "concentrées" dans le dernier huitième des étapes des ouvriers.
Le Résultat : Placer l'interphone dans les 12,5 % derniers de la ligne (le dernier huitième) fonctionnait le mieux. Il agissait comme un contrôle qualité final qui ancrer les règles juste avant que la réponse ne soit donnée.

Les Résultats : Est-ce que ça marche ?

Ils ont testé cette nouvelle conception sur un modèle plus grand (8 milliards de paramètres) et l'ont comparé aux méthodes standard.

Meilleure Obéissance : Le nouveau modèle suivait beaucoup mieux les instructions. Si vous lui demandiez d'écrire une histoire dans un format spécifique (comme "n'utilisez que des listes à puces"), il le faisait correctement, alors que les modèles standard oubliaient souvent le format à mesure que la conversation s'allongeait.
Sécurité Renforcée : Lorsque des pirates tentaient de tromper le modèle pour qu'il ignore ses règles (Injection de Prompt), le modèle CALYREX était beaucoup plus difficile à duper. Il résistait bien mieux au "Jailbreaking par Multiples Tirs" (où un pirate répète de mauvaises instructions de nombreuses fois) que les modèles standard.
Pas de Perte de Mémoire : Parce qu'ils ont gardé le "cerveau" principal de l'IA figé (inchangé) et n'ont entraîné que le nouvel "interphone", le modèle n'a pas oublié comment faire des mathématiques ou rappeler des faits. Il a conservé son intelligence tout en gagnant une meilleure discipline.

Le Bémol (Limites)

Le papier est honnête sur les endroits où cela ne fonctionne pas parfaitement :

Formatage Complexe : Si la tâche nécessite de générer des types de code ou des structures JSON très complexes et nouveaux sur lesquels le modèle n'a pas été formé, l'"interphone" ne pouvait pas aider autant qu'un réentraînement complet du modèle entier.
Attaques Spécifiques : Bien qu'il ait arrêté de nombreux types de violations de règles, il n'a pas magiquement corrigé chaque type unique d'attaque de sécurité, surtout si le "Code de règles" lui-même ne contenait pas de règle spécifique contre cette attaque.

Résumé

CALYREX est une nouvelle façon de construire l'IA qui traite les "Règles Système" comme un signal séparé et privilégié plutôt que comme un simple mot dans une phrase. En plaçant un mécanisme spécial de "prise de contact" tout à la fin des étapes de traitement de l'IA, il garantit que l'IA se souvient de ses règles même lorsque l'utilisateur tente de la confondre ou de la tromper. C'est comme donner à l'IA un rappel permanent et effaçable de sa description de travail juste avant qu'elle ne parle.

Résumé Technique : CALYREX – Transformers Étendus par Couches d'Attention Croisée pour l'Ancrage des Prompts Système

Énoncé du Problème

Les modèles de langage de grande taille (LLM) modernes reposent sur des prompts système pour définir des contraintes comportementales et des règles de sécurité. Cependant, les architectures Transformer standard utilisent un mécanisme d'auto-attention causale uniforme qui traite les instructions privilégiées du système et le contenu utilisateur non fiable avec une priorité structurelle égale. Les auteurs identifient cela comme le « problème de la hiérarchie des instructions », un désaccord structurel qui conduit à deux vulnérabilités critiques :

Injection de prompt : Des entrées utilisateur adverses peuvent écraser les règles système, détournant l'objectif du modèle.
Érosion des instructions : Les instructions système se dégradent progressivement au fil de séquences étendues ou multi-tours.

Les stratégies d'atténuation actuelles, telles que l'ajustement fin supervisé (SFT), LoRA et l'optimisation des préférences, traitent cela comme un défaut comportemental à résoudre par les données. Les auteurs soutiennent que cela entraîne une « pénalité de décalage de distribution » qui écrase les capacités de raisonnement pré-entraînées. Ils émettent l'hypothèse qu'un respect robuste des règles est un problème de routage structurel nécessitant une intervention architecturale plutôt que de simples mises à jour de poids.

Méthodologie : Architecture CALYREX

L'article propose CALYREX (Transformers Étendus par Couches d'Attention Croisée), une architecture qui isole structurellement et ancre les prompts système à l'aide de mécanismes d'attention croisée.

Mécanisme Central

CALYREX insère des blocs de Couche d'Attention Croisée (CAL) entre les couches d'auto-attention standard. Contrairement à l'attention croisée standard qui interroge des encodeurs externes (par exemple, dans les modèles multimodaux), CALYREX dérive ses Clés ( $K$ ) et ses Valeurs ( $V$ ) exclusivement de l'étendue du prompt système au sein de la même séquence, tandis que les Requêtes ( $Q$ ) sont projetées à partir de la séquence complète.

Masquage Causal : Un masquage causal spécifique est appliqué pour garantir que la propriété autorégressive est préservée. Les tokens précédant le prompt système n'attendent rien ; les tokens au sein du prompt ne s'attendent qu'aux tokens de prompt antérieurs ; les tokens après le prompt s'attendent à l'ensemble du prompt système.
Initialisation à Zéro : Les projections de sortie des sous-couches CAL ( $W_O$ et $W_D$ ) sont strictement initialisées à zéro. Cela garantit qu'à l'initialisation, le bloc agit comme une identité parfaite ( $X'' = X$ ), préservant les capacités zero-shot du modèle de base et empêchant le « choc de représentation » ou l'oubli catastrophique.
Régime d'Entraînement : Le socle du modèle de base est strictement figé. Les gradients sont appliqués exclusivement aux adaptateurs CAL. Le modèle est entraîné sur un corpus SFT de 50 000 échantillons couvrant des tâches générales.

Ablation de Placement

Une étude d'ablation haute résolution sur un socle de 1,5 milliard de paramètres (Qwen2.5-1.5B) a été menée pour déterminer la profondeur d'insertion optimale. L'étude a testé huit configurations, allant de l'insertion de blocs après chaque couche à leur placement uniquement dans les dernières couches.

Résultat : L'analyse mécaniste de l'activation a révélé que les contraintes comportementales sont naturellement concentrées dans le huitième final des couches.
Configuration Optimale : La configuration LATE8TH (insérant 5 blocs répartis sur le dernier 1/8 des couches) a été identifiée comme optimale, équilibrant l'application des règles avec la préservation de l'extraction sémantique des couches précoces.

Contributions Clés

Architecture CALYREX : Une approche structurelle novatrice qui conditionne le transformer sur l'étendue du prompt système via l'attention croisée, imposant une priorité sans écraser les sémantiques pré-entraînées.
Ablation de Localité Spatiale : Une caractérisation systématique de la capacité d'adhésion aux règles dans les socles de LLM figés, identifiant le dernier huitième des couches comme la zone critique pour l'application des contraintes.
Évaluation Dépendante de l'Échelle : Une analyse comparative aux échelles 1,5B et 8B démontrant que l'avantage architectural de CALYREX s'élargit avec la taille du modèle, en particulier dans l'adhésion aux instructions et la résistance à la sécurité.

Résultats Expérimentaux

Échelle 1,5B (Qwen2.5-1.5B)

Respect des Instructions : La configuration LATE8TH a surpassé les bases LoRA et ParallelMLP appariées en paramètres sur le formatage strict (IFEval) et l'adhésion multi-tours (SysBench).
Préservation du Raisonnement : Contrairement à LoRA, qui a souffert d'un oubli catastrophique sur MMLU et GSM8K en raison d'un ajustement fin sur un corpus étroit, CALYREX (avec un socle figé) a préservé les performances du modèle de base.
Sécurité : CALYREX a réduit significativement les taux de réussite des attaques de contournement par plusieurs tirages (Many-Shot Jailbreaking, MSJ) par rapport à LoRA. Il a surpassé ParallelMLP sur les quatre benchmarks de sécurité, confirmant que le routage par attention croisée, et non simplement l'ajout de paramètres en phase tardive, entraîne la résistance.

Échelle 8B (Llama-3.1-8B)

L'écart architectural entre CALYREX et la base ParallelMLP s'est considérablement élargi à cette échelle :

Respect des Instructions : CALYREX a atteint une amélioration de +7,4 % sur IFEval et de +16,3 % sur l'adhésion multi-tours (SysBench) par rapport à la base ParallelMLP.
Sécurité : CALYREX a réduit le taux de réussite de l'attaque de contournement par plusieurs tirages de 13,1 % par rapport à ParallelMLP.
Robustesse Contextuelle : Dans les tests Long-IFEval (jusqu'à 32k de contexte), CALYREX a maintenu une précision stricte plus élevée que ParallelMLP aux longueurs intermédiaires (8k–16k), bien que tous les modèles ajustés aient convergé aux longueurs extrêmes.
Limites : CALYREX n'a montré aucun avantage cohérent sur ParallelMLP pour l'extraction stricte d'informations (SQuAD) ou la génération JSON complexe (Glaive FC). Sur les benchmarks adverses directs (IH-Challenge, TensorTrust), les améliorations étaient incohérentes, suggérant que l'ancrage structurel seul est insuffisant sans règles défensives explicites dans le prompt.

Importance et Revendications

L'article revendique que CALYREX résout le problème de la hiérarchie des instructions en traitant l'adhésion au prompt système comme un problème de routage structurel plutôt que comportemental.

Isolement Structurel : En découplant le prompt système du contexte utilisateur via des voies d'attention croisée dédiées, l'architecture empêche le contenu utilisateur d'écraser structurellement les instructions privilégiées.
Efficacité d'Échelle : Les résultats suggèrent que les modèles plus grands (8B+) exploitent plus efficacement la voie de routage dédiée fournie par CALYREX, entraînant un élargissement des écarts de performance par rapport aux bases structurelles à mesure que la taille du modèle augmente.
Sécurité et Alignement : Cette approche offre une voie pour imposer des règles de sécurité et des contraintes comportementales sans l'oubli catastrophique associé à l'ajustement fin de tout le réseau, la rendant adaptée aux déploiements critiques pour la sécurité où la préservation du raisonnement pré-entraîné est primordiale.

Les auteurs concluent que bien que l'implémentation actuelle repose sur un SFT standard et soit limitée par la couverture du corpus, le cadre architectural fournit une base robuste pour les techniques d'alignement futures (telles que RLHF ou DPO) ciblant spécifiquement les blocs CAL.