💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

Le document introduit SyRuP, un cadre de décodage qui améliore l'adhérence des grands modèles de langage aux instructions système en entraînant une tête de récompense à attention croisée pour générer des scores d'adhérence au niveau du jeton pour le reclassement des candidats sans nécessuer d'ajustement du modèle de base.

Auteurs originaux : Seoyeon Kim, Minjae Kang, Jaehyung Kim

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seoyeon Kim, Minjae Kang, Jaehyung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot très intelligent et érudit qui a lu presque tous les livres de la bibliothèque. Ce robot est un Modèle de Langage Étendu (LLM). Habituellement, quand vous lui posez une question, il répond en se basant sur son entraînement. Mais parfois, vous voulez lui donner un ensemble de règles spécifiques avant qu'il ne commence à parler. Vous pourriez dire : « Agis comme un pirate grincheux », ou « Réponds uniquement en rimes », ou « Ne mentionne jamais la violence ». Ces règles sont appelées prompts système (ou instructions système). Elles sont comme la fiche de poste ou le costume que le robot porte pour une conversation spécifique.

Le problème est que ces robots sont habitués à suivre des instructions qui apparaissent à l'intérieur de la conversation, et non des règles gravées dans le marbre avant le début du chat. Quand les règles deviennent compliquées — comme « sois un pirate, mais utilise aussi une grammaire du XIXe siècle, évite la lettre 'e', et reste drôle » — le robot oublie souvent les règles en cours de route. Il peut commencer à parler comme un pirate, puis soudainement passer au mode adolescent moderne, ou oublier d'éviter la lettre 'e'. Les scientifiques ont essayé de correr cela en réentraînant le robot (ce qui est coûteux et lent) ou en essayant de deviner la meilleure réponse après qu'elle a déjà été écrite (ce qui revient à éditer un roman après que l'auteur a déjà fini). La grande question est : pouvons-nous guider le robot pour qu'il suive ces règles complexes pendant qu'il écrit, sans changer son cerveau ou attendre la fin ?

C'est là qu'intervient une nouvelle méthode appelée SYRUP. Considérez le cerveau du robot comme une immense bibliothèque gelée que nous n'avons pas le droit de réorganiser. SYRUP est comme un bibliothécaire minuscule et super intelligent qui se tient juste à côté du robot pendant qu'il écrit. Chaque fois que le robot choisit le mot suivant à dire, ce bibliothécaire vérifie deux choses : « Est-ce que ce mot correspond à l'histoire ? » et « Est-ce que ce mot correspond au costume de pirate ? ».

Voici comment cela fonctionne en pratique. Le robot possède une liste de ses 10 mots préférés pour dire la suite. Habituellement, il choisit simplement son favori numéro un. Mais SYRUP intervient. Il regarde le « prompt système » (le costume de pirate) comme une carte mémoire séparée et spéciale. Il utilise un outil spécial appelé tête de récompense par attention croisée (cross-attention reward head) pour demander aux pensées actuelles du robot : « Hé, si tu dis ce mot, est-ce que cela correspond à l'ambiance pirate ? ». Le bibliothécaire donne ensuite un score à chacun des 10 mots préférés. Si le robot veut dire « Bonjour », mais que le costume de pirate exige « Ahoy », le bibliothécaire augmente le score pour « Ahoy » et baisse celui de « Bonjour ». Le robot choisit alors le mot avec le score combiné le plus élevé.

L'article suggère que cette approche est bien meilleure que les anciennes méthodes. Les chercheurs ont testé SYRUP sur trois cerveaux de robots différents et ont constaté qu'il aidait systématiquement ces derniers à mieux suivre des règles complexes que le simple fait de donner un meilleur prompt ou d'essayer de reclasser les réponses après qu'elles ont été écrites. En fait, lors d'un test, SYRUP a amélioré la performance du robot d'environ 5,6 % par rapport à la méthode suivante la plus performante. Cela peut paraître peu, mais dans le monde de l'IA, c'est un bond énorme.

L'article écarte également d'autres idées. Il montre que le simple fait de fusionner les règles dans le texte principal de la conversation (comme cacher les instructions du pirate à l'intérieur de la question de l'utilisateur) ne suffit pas ; le robot a besoin que les règles soient traitées comme une mémoire distincte et séparée pour vraiment les suivre. Il a également découvert que, bien que l'on puisse amener le robot à mieux suivre les règles en le réentraînant de zéro, cela prend trop de temps et d'argent. SYRUP est une méthode de « décodage en temps réel » (decoding-time), ce qui signifie qu'elle fonctionne pendant que le robot réfléchit, gardant le cerveau original gelé et n'entraînant qu'un ajout minuscule et léger.

Il est intéressant de noter que les chercheurs ont découvert que SYRUP fonctionne même sur des règles qu'il n'a jamais vues auparavant. Ils l'ont entraîné sur un ensemble d'instructions complexes et l'ont ensuite testé sur un ensemble de règles complètement différentes (comme un formatage strict ou des décomptes de mots), et il a tout de même bien performé. Cela suggère que la méthode enseigne au robot une compétence générale pour « écouter le patron » plutôt que de simplement mémoriser des réponses spécifiques.

Cependant, l'article note prudemment que ce n'est pas une baguette magique qui résout tout. La méthode ajoute un tout petit peu de temps supplémentaire au processus de réflexion du robot car le bibliothécaire doit vérifier les mots. Mais les auteurs suggèrent que ce coût est très faible par rapport aux autres méthodes complexes qui tentent de faire la même chose. Ils préviennent également que si vous poussez trop fort le « respect des règles », le robot pourrait commencer à paraître bizarre ou artificiel ; il faut donc trouver un équilibre.

En résumé, SYRUP suggère que si vous voulez qu'un robot suive un ensemble complexe de règles sans réentraîner tout son cerveau, vous ne devriez pas simplement espérer qu'il s'en souvienne. Au lieu de cela, vous devriez lui donner un guide dédié en temps réel qui vérifie chaque mot qu'il veut dire par rapport aux règles, garantissant que l'histoire finale reste fidèle au costume qu'il portait depuis le tout début.

Résumé Technique : SyRuP – Améliorer le respect des instructions de système via une prédiction guidée par la récompense

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus contrôlés via des instructions de système (system prompts) qui définissent des rôles, des styles, des formats et des contraintes de sécurité. Cependant, les modèles actuels suivent ces instructions de manière implicite par l'apprentissage en contexte (in-context learning), ce qui s'avère souvent insuffisant pour des instructions complexes ou compositionnelles. Les solutions existantes font face à des compromis importants :

Les méthodes au moment de l'entraînement (ex: SFT, RLHF) nécessitent des mises à jour coûteuses des paramètres et peuvent entraîner une « taxe d'alignement », dégradant les capacités générales.
Les méthodes au moment du décodage reposent souvent sur un suivi d'instruction implicite ou traitent l'instruction de système simplement comme une partie d'une séquence de contexte fusionnée. Par conséquent, l'instruction de système perd son rôle distinct de source de conditionnement séparée, et les approches antérieures guidées par la récompense se sont concentrées sur des attributs fixes (ex: toxicité, sentiment) plutôt que sur l'adhérence spécifique à une instance d'instruction de système.

Il existe un manque de cadres qui traitent explicitement l'instruction de système comme une source de mémoire distincte pour fournir un guidage au niveau du jeton (token-level) pendant l'inférence sans modifier le modèle de base.

Méthodologie : SyRuP

Les auteurs proposent SyRuP (System-prompt following via Reward-guided Prediction), un cadre de décodage qui maintient le LLM de base gelé et n'entraîne qu'une tête de récompense légère. L'innovation centrale est de reformuler le respect de l'instruction de système comme un problème d'adhérence conditionnelle au niveau du jeton.

1. Tête de Récompense par Attention Croisée (Cross-Attention Reward Head)

Contrairement aux modèles de récompense standards qui fusionnent l'instruction de système, l'entrée de l'utilisateur et le préfixe généré en une séquence unique, SyRuP maintient l'instruction de système comme une mémoire Clé-Valeur (KV) distincte.

Architecture : La tête de récompense utilise un mécanisme d'attention croisée où les états cachés de l'instruction de système ( $H(s)$ ) servent de clés ( $K_s$ ) et de valeurs ( $V_s$ ).
Construction de la Requête (Query) : La requête ( $Q_t$ ) est dérivée de la concaténation de l'entrée utilisateur et du préfixe généré ( $H(x), H(y_{<t})$ ).
Scoring : La sortie de l'attention croisée porte attention aux parties les plus pertinentes de l'instruction de système pour l'état actuel de la génération. Elle est fusionnée avec la représentation du contexte et transmise à un MLP à deux couches pour produire un score d'adhérence au niveau du jeton ( $r_t(v)$ ) pour chaque candidat potentiel.
Entraînement : La tête est entraînée sur des paires de préférences conditionnées par l'instruction de système $(s, x, y^+, y^-)$ en utilisant un objectif de Bradley-Terry. Le modèle de langage de base reste gelé ; seules les projections d'attention croisée et le MLP de fusion sont mis à jour.

2. Décodage Guidé par la Récompense

Lors de l'inférence, SyRuP reclasse les $k$ meilleurs candidats issus des logits du modèle de base. Le score de sélection final combine trois composantes :
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : Logits du modèle de base (fluidité).
$r_t(v)$ : Score de récompense appris au niveau du jeton (adhérence explicite).
$\Delta_t(v)$ : Un signal contrastif optionnel mesurant le décalage de logit induit par l'instruction de système par rapport à une instruction neutre ( $\ell_t(v) - \ell^{neu}_t(v)$ ).
$\lambda_r, \lambda_c$ : Hyperparamètres contrôlant la force des signaux de récompense et de contraste.

Contributions Clés

Conditionnement de Système Explicite : SyRuP est le premier cadre de décodage qui traite l'instruction de système comme une source de mémoire distincte via l'attention croisée, permettant une évaluation de l'adhérence explicite au niveau du jeton plutôt que de compter sur une absorption de contexte implicite.
Contrôle Léger au Moment de l'Inférence : La méthode ne nécessite aucune mise à jour des paramètres du LLM de base, seulement une petite tête de récompense entraîable, offrant une alternative pratique au réglage fin complet (full fine-tuning).
Guidage Hybride : L'introduction d'une variante hybride qui combine le guidage par récompense explicite avec un signal contrastif pour capturer les changements de distribution induits par le système, fournissant des signaux complémentaires pour orienter la génération.

Résultats Expérimentaux

Les auteurs ont évalué SyRuP sur Multifaceted-Bench (en domaine) et IFEval (hors domaine) en utilisant trois modèles de base (Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B).

Performance : SyRuP surpasse systématiquement tous les modèles de référence, y compris les méthodes de prompting (ex: Few-shot, Marked Prompting) et les bases de décodage (ex: OPAD, GenARM, ARGS, BoN, DeAL).
- Sur Multifaceted-Bench, il a obtenu le meilleur score moyen sur les 15 combinaisons modèle-tâche, améliorant la meilleure base de 5,61 % sur Qwen-2.5-1.5B.
- Sur IFEval, sans aucun entraînement spécifique à la tâche, SyRuP a obtenu la meilleure précision moyenne stricte au niveau de l'instruction, démontrant une forte généralisation aux contraintes vérifiables.
Efficacité : SyRuP offre un compromis favorable entre adhérence et coût.
- La variante « récompense seule » n'augmente la latence que de 1,04× par rapport au modèle de base.
- La variante hybride complète induit une augmentation de latence de 2,18×, ce qui reste nettement inférieur aux autres bases de décodage comme ARGS (5,13×) et DeAL (16,83×).
- L'utilisation de la mémoire GPU de pointe est restée proche du modèle de base (3,1 Go contre >10 Go pour certaines bases).
Analyse : Les études d'ablation ont confirmé que le conditionnement par attention croisée explicite surpasse le conditionnement implicite à flux unique (single-stream). De plus, les signaux de récompense et de contraste se sont révélés complémentaires, l'approche combinée produisant des choix de jetons uniques qui n'auraient pas été sélectionnés par l'un ou l'autre signal seul.

Signification et Revendications

L'article affirme que SyRuP valide l'hypothèse selon laquelle un guidage explicite au niveau du jeton est un mécanisme efficace et pratique pour un respect fiable des instructions de système. En découplant l'instruction de système du contexte de génération et en la traitant comme une source de mémoire dédiée, SyRuP permet aux modèles d'adhérer à des contraintes complexes, diverses et spécifiques à une instance sans le coût de calcul du réentraînement ou les coûts d'inférence élevés du décodage par recherche.

Les auteurs positionnent SyRuP comme une étape vers une génération de LLM plus contrôlable, particulièrement pour les scénarios où les instructions de système définissent des rôles critiques, des directives de sécurité ou des exigences de formatage que l'apprentissage en contexte standard ne parvient pas à imposer de manière cohérente. Ils reconnaissent des limites, telles que la charge supplémentaire du signal contrastif hybride et le risque de sur-pilotage (over-steering), suggérant des travaux futurs dans le pondération adaptative et le filtrage de sécurité.