Résumé technique : PRISM – Récupération des ensembles d'instructions à partir des activations de modèles de langage

1. Énoncé du problème : Récupération d'ensembles d'instructions (ISR)

Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés en tant qu'agents autonomes, une surveillance fiable nécessite plus que l'observation des jetons de sortie ; elle nécessite de comprendre les objectifs internes qui orientent le comportement. Les méthodes de surveillance actuelles sont confrontées à des défis lorsque les modèles infèrent des sous-objectifs non intentionnels, suivent des indices contextuels ou sont influencés par des injections de prompts et des objectifs cachés.

Bien que les récentes méthodes d'« activation vers le langage » (ex. : Patchscopes, LatentQA, Activation Oracles) démontrent que les états cachés peuvent révéler des informations en langage naturel, elles sont mal adaptées à la Récupération d'Ensembles d'Instructions (ISR). Les approches existantes répondent généralement à des questions arbitraires ou produisent des résumés de haut niveau uniques. Elles ne parviennent pas à récupérer l'ensemble complet des instructions, contraintes, interdictions et sous-objectifs simultanés actifs dans des contextes agentiques. Par conséquent, elles ne récupèrent souvent qu'une fraction des instructions actives, confondent des contraintes distinctes ou hallucinent des objectifs non présents dans le contexte.

L'article formalise l'ISR comme le problème d'apprentissage d'un interprète $\phi$ qui, étant donné un instantané d'activation $H_\ell$ provenant d'un modèle cible gelé $M$, produit une liste prédite $\hat{I}$ qui maximise la couverture (récupération des instructions de vérité terrain) tout en minimisant l'hallucination (prédiction d'instructions non supportées).

2. Méthodologie : PRISM

Les auteurs introduisent PRISM, un interprète conditionné par l'activation conçu spécifiquement pour une récupération fidèle de l'ensemble d'instructions.

Architecture

PRISM est conçu pour un déploiement léger. Au lieu de charger un interprète LLM séparé, il réutilise les poids de base gelés du modèle cible $M$ (spécifiquement Qwen3.5-9B dans les expériences).

• Entrée : Un instantané des activations du flux résiduel $H_\ell$ d'une couche $\ell$ spécifique (par exemple, la couche 16) sur une fenêtre fixe de jetons générés (par exemple, les 128 derniers jetons).
• Projection : Une projection linéaire apprise mappe ces vecteurs d'activation dans l'espace d'embedding d'entrée du modèle.
• Décodage : Les activations projetées servent de « préfixe mou » (soft prefix) injecté dans le modèle cible. Le modèle décode ensuite de manière autorégressive une liste à puces en langage naturel des instructions actives.
• Paramètres : Seule la couche de projection et les adaptateurs LoRA sont entraînés ; les poids du modèle de base restent gelés.

Stratégie d'entraînement

PRISM est entraîné en deux étapes pour remédier aux limites de la perte de cross-entropie standard, qui pénalise les écarts de forme de surface et ne parvient pas à distinguer les instructions manquées des hallucinations.

1. Pré-entraînement supervisé (SFT) : Le modèle est entraîné pour mapper les instantanés d'activation vers des listes d'instructions de vérité terrain en utilisant la cross-entropie du jeton suivant. Cela établit une correspondance de base entre activation et liste.
2. Apprentissage par renforcement guidé par un juge (GRPO) : Pour optimiser la fidélité au niveau de l'ensemble, les auteurs utilisent l'Optimisation de Politique Relative de Groupe (GRPO).
   • Mécanisme de juge : Un LLM juge distinct évalue les listes d'instructions candidates par rapport à la liste de vérité terrain. Il détermine quelles instructions de référence sont couvertes et quels points prédits ne sont pas supportés (hallucinés). Le prompt système du juge est calibré par rapport aux annotations humaines à l'aide du $\kappa$ de Cohen.
   • Fonction de récompense : La récompense $r$ est un scalaire dérivé des métriques de couverture ($Cvg$) et d'hallucination ($Hall$) :
     $$r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$$
     Où $P_{len}$ est une pénalité de longueur bilatérale pour éviter le détournement de récompense (reward hacking) via des rapports trop longs ou trop condensés.
   • Optimisation : La politique est mise à jour pour maximiser l'avantage relatif au groupe, optimisant directement pour une couverture élevée et une faible hallucination plutôt que pour la correspondance au niveau du jeton.

3. Contributions clés

1. Formalisation de l'ISR : L'article définit la Récupération d'Ensembles d'Instructions comme un problème distinct de l'interprétation générale d'activation, se concentrant sur la récupération de l'ensemble complet des contraintes et sous-objectifs opérants.
2. Cadre PRISM : Un interprète conditionné par l'activation qui décode les états cachés en une liste à puces fidèle des instructions actives sans dépendre de l'inspection de surface des jetons ou de l'auto-rapport du modèle.
3. GRPO guidé par un juge : Un nouvel objectif d'entraînement qui utilise un juge LLM pour fournir un feedback sémantique, optimisant directement le rappel au niveau de l'instruction et pénalisant les hallucinations.
4. Évaluation calibrée : Les auteurs calibrent leur juge LLM par rapport aux annotations humaines et publient leurs prompts pour soutenir l'évaluation reproductible des systèmes de récupération d'ensembles d'instructions.
5. Libération des ressources : L'article s'engage à publier le code source, les données d'entraînement et les jeux de données d'évaluation pertinents pour la sécurité (couvrant l'injection de prompt et les objectifs cachés) afin de faciliter la recherche future.

4. Résultats expérimentaux

L'évaluation utilise un corpus de test de 1 000 exemples répartis dans quatre configurations : Bénigne (BN), Contraintes Comportementales (BC), Objectifs Cachés (HO) et Prompts Adversaires (AP). Le modèle cible est Qwen3.5-9B.

• Performance globale : PRISM (avec RL) atteint la récompense moyenne la plus élevée (0,736) et la couverture la plus élevée (0,745) dans toutes les configurations, surpassant de manière significative la base non-PRISM la plus forte (Activation Oracles, récompense de 0,532).
• Récupération liée à la sécurité : Dans les contextes adverses (HO et AP), PRISM démontre une capacité supérieure à récupérer les instructions injectées ou couvertes. Spécifiquement, sur le sous-ensemble de Prompts Adversaires, la couverture est passée de 0,520 (PRISM sans RL) à 0,652.
• Contrôle de l'hallucination : PRISM maintient un faible taux d'hallucination (0,014). Bien que certaines bases présentent des taux d'hallucination plus faibles, l'article note que cela est souvent dû au fait qu'elles condensent les prompts en résumés génériques, manquant ainsi de nombreuses instructions actives.
• Ablation : L'ajout de l'étape de RL guidée par le juge améliore systématiquement les performances dans tous les domaines, particulièrement dans le cadre des Prompts Adversaires, confirmant que l'objectif de RL optimise avec succès les propriétés au niveau de l'ensemble plutôt que la simple fluidité.

5. Signification et affirmations

L'article affirme que PRISM démontre que les activations encodent des informations d'instruction récupérables, suggérant que la surveillance basée sur l'activation est une voie viable vers une surveillance transparente des agents LLM.

• Capacité de surveillance : Ce travail fournit une méthode pour inspecter l'« ensemble d'instructions opérantes » interne d'un agent, révélant non seulement ce que le modèle fait, mais aussi pourquoi (c'est-à-dire quelles contraintes ou objectifs spécifiques dirigent le comportement).
• Implications de sécurité : En récupérant avec succès les objectifs cachés et les injections de prompts que d'autres méthodes manquent, PRISM offre un outil pour l'audit des agents dans des scénarios à enjeux élevés où les prompts d'entrée seuls pourraient ne pas révéler un pilotage adverse.
• Limites et portée : Les auteurs sont modérés dans leurs affirmations, notant que :
  • Les résultats sont spécifiques à la famille de modèles Qwen3.5-9B, à la couche 16 et à une fenêtre de 128 jetons ; la transférabilité à d'autres modèles ou contextes plus longs n'est pas prouvée.
  • L'évaluation repose sur des étiquettes générées par un oracle et des scores basés sur un juge, qui, bien que calibrés, ne sont pas une vérité terrain absolue.
  • PRISM est une méthode de surveillance, et non une intervention de sécurité ; récupérer une instruction ne dicte pas automatiquement s'il faut bloquer ou modifier le comportement.
  • Le système n'est pas destiné à des décisions punitives à enjeux élevés sans examen humain en raison du risque d'omission d'instructions ou d'hallucinations.

L'article conclut que bien que PRISM ne soit pas une solution de sécurité complète, il représente une étape significative vers la compréhension et l'audit des objectifs internes des agents LLM déployés.