Résumé technique : Génération guidée par optimisation basée sur le gradient sur des caractéristiques de requêtes clairsemées

1. Énoncé du problème

Le déploiement des grands modèles de langage (LLM) dans des scénarios réels nécessite une adhésion précise aux contraintes définies par l'utilisateur concernant le style, la sécurité et la cohérence logique. Bien que l'ingénierie de prompts soit une stratégie répandue, elle s'avère souvent inefficace pour des contraintes complexes, en particulier dans les modèles open-source plus petits, car les instructions peuvent être diluées dans de longs contextes ou nécessiter des démonstrations excessives d'apprentissage en contexte qui entraînent une surcharge computationnelle élevée.

Les méthodes existantes de guidage dans l'espace latent (ingénierie des activations) interviennent directement dans les activations internes du modèle à l'aide de vecteurs de guidage statiques. Cependant, ces méthodes opèrent généralement sur des espaces d'activation denses (par exemple, le flux résiduel), qui souffrent de l'hypothèse de superposition où des caractéristiques sémantiques distinctes sont entrelacées. Les interventions dans ces espaces denses peuvent écraser le contexte, induire des effets secondaires non intentionnels et manquer de la précision requise pour des contraintes strictes (par exemple, la validité logique) ou un contrôle stylistique nuancé.

2. Méthodologie

Les auteurs proposent un Guidage Clairsemé Basé sur des Prototypes, un cadre qui combine des Autoencodeurs Clairsemés (SAE) avec une optimisation basée sur le gradient pour guider la génération au moment de l'inférence. L'hypothèse centrale est que les activations de requêtes d'attention servent de surface de contrôle haute fidélité, offrant une guidabilité plus précise que les interventions d'état générales.

2.1. Site d'intervention : Activations de requêtes

Au lieu de modifier le flux résiduel, la méthode intervient sur les activations de requêtes d'auto-attention. Les requêtes paramètrent la manière dont les tokens récupèrent des informations du contexte. Les auteurs soutiennent que la modification des requêtes permet un contrôle localisé sur les informations récupérées sans écraser directement l'état résiduel accumulé, réduisant ainsi la distorsion globale.

2.2. Représentation clairsemée via SAE

Pour désentrelacer les caractéristiques, le cadre applique un Autoencodeur Clairsemé (SAE) aux activations de requêtes à une couche d'intervention spécifique $\ell$.

• Architecture : Un autoencodeur ReLU à couche unique ($Enc$ et $Dec$) est entraîné par tête d'attention de requête.
• Objectif : Le SAE est entraîné pour reconstruire l'activation $s$ à partir d'une représentation latente clairsemée $z$, en minimisant la perte de reconstruction, une pénalité de clairsemage L1 ($\lambda \|z\|_1$) et un terme de décroissance de biais.
• Résultat : Cela décompose les activations de requêtes denses en un ensemble clairsemé de caractéristiques interprétables, factorisant les directions de contrôle.

2.3. Optimisation basée sur le gradient avec prototypes

Plutôt que d'ajouter un vecteur de guidage statique, la méthode traite le contrôle comme un problème d'optimisation.

1. Définition du prototype : Pour chaque classe d'attribut cible $k$ (par exemple, "Chemin sûr", "Évaluer" dans la taxonomie de Bloom), un centre de prototype $c_k$ est calculé comme la moyenne des représentations latentes clairsemées d'un ensemble de support d'exemples d'entraînement.
2. Objectif d'optimisation : Étant donnée une génération initiale, la représentation latente clairsemée $z$ est optimisée par ascension de gradient pour maximiser la vraisemblance de l'attribut cible $k_T$. La vraisemblance est définie par un softmax sur les distances négatives vers tous les prototypes de classe :
   $$P_\phi(a = k_T | z) = \frac{\exp(-d_{k_T})}{\sum_{j=1}^K \exp(-d_j)}$$
   où $d_k = \|z - c_k\|_2^2$.
3. Procédure : Le latent $z$ est mis à jour itérativement ($z^{(t+1)} = z^{(t)} + \eta \nabla_z \log P_\phi$) jusqu'à convergence. Le latent optimisé est ensuite décodé vers l'espace d'activation et injecté dans le modèle pour poursuivre la génération.

3. Contributions clés

1. Optimisation de requêtes clairsemées basée sur des prototypes : La formulation du contrôle au moment de l'inférence comme une optimisation basée sur le gradient sur des latents de requêtes clairsemés, utilisant un objectif de distribution de prototypes. Cela permet un guidage adaptatif tout en maintenant les poids du modèle de base fixes.
2. Fidélité du contrôle au niveau des requêtes : Preuves quantitatives démontrant que les activations de requêtes d'attention fournissent un site d'intervention plus local et à moindre distorsion que le flux résiduel. Les interventions au niveau des requêtes présentent une déviation d'activation inter-couche bornée et une divergence de Jensen–Shannon (JSD) du prochain token plus faible à des forces de guidage équivalentes.
3. Données d'évaluation orientées guidage : La construction d'un nouvel ensemble de données pour le guidage de style cognitif basé sur la taxonomie de Bloom et un sous-ensemble filtré de Textualized Gridworld (TGW) conçu pour des chemins sûrs, courts et longs mutuellement distincts afin de permettre une évaluation basée sur des règles.
4. Validation expérimentale : Évaluation complète sur des contraintes de planification strictes (TGW), un contrôle de style cognitif souple (Taxonomie de Bloom) et un guidage de véracité (TruthfulQA).

4. Résultats

4.1. Contraintes strictes (Textualized Gridworld)

Dans l'environnement TGW, où les chemins doivent satisfaire des contraintes de validité et d'attribut strictes (plus court, plus sûr, plus long) :

• Performance : La méthode proposée (SAE-OPT) a obtenu les taux de réussite les plus élevés ou égaux aux plus élevés sur trois modèles à poids ouverts (Qwen, Phi, LLaMA) par rapport aux bases de référence incluant l'apprentissage en contexte (ICL), l'ajout d'activation contrastive (CAA) et le guidage SAE statique.
• Validité : Crucialement, la méthode a maintenu de faibles taux de violation logique. Contrairement aux interventions denses sur le flux résiduel qui brisaient souvent la validité du chemin, le guidage au niveau des requêtes réorientait les chemins dans la variété valide.
• Comparaison : L'optimisation de prototypes basée sur le gradient a surpassé les vecteurs de guidage statiques, en particulier sur des cibles difficiles comme les chemins "Sûr" et "Long".

4.2. Contrôle sémantique souple (Taxonomie de Bloom)

Dans un domaine de feedback éducatif, la méthode a guidé la complexité cognitive du feedback (Se souvenir, Comprendre, Appliquer, Analyser, Évaluer, Créer) :

• Précision : SAE-OPT a obtenu les taux de réussite moyens les plus élevés dans la classification du niveau cognitif visé, avec des gains significatifs sur des cibles discriminatives comme "Se souvenir" et "Créer".
• Pertinence : La méthode a maintenu une pertinence élevée par rapport au code d'entrée, tandis que les méthodes sur le flux résiduel ont montré une pertinence plus faible, suggérant que les interventions de requêtes redirigent le style sans déplacer l'ancrage.
• Évaluation AxBench : La méthode a obtenu les scores de moyenne harmonique les plus élevés sur 5 des 6 niveaux de Bloom, démontrant une meilleure adhésion aux concepts sans sacrifier le suivi des instructions ni la fluidité.

4.3. Véracité et coût distributionnel (TruthfulQA)

• Précision vs Distorsion : Sur TruthfulQA, la méthode basée sur le gradient (Dense-opt) a obtenu des scores de véracité/informativité (%T×I) plus élevés tout en réduisant la JSD moyenne (coût distributionnel) d'un ordre de grandeur par rapport aux bases de référence d'ajout de vecteurs statiques.
• Axe d'optimisation : Cela confirme que les mises à jour basées sur le gradient entraînent une distorsion distributionnelle plus faible que l'ajout de vecteurs statiques, même lorsqu'elles sont appliquées au même site d'intervention.

4.4. Avantages de la clairsemance

Comparaison de la régularisation L1 (clairsemée) et L2 (dense) dans l'autoencodeur :

• Désentrelacement : La régularisation L1 a considérablement réduit la "dérive non cible" (mouvement collatéral dans la géométrie du prototype non cible). L1 a fourni une interface de guidage plus propre, atteignant la convergence vers la cible avec moins d'interférence sur les autres attributs.

5. Signification et revendications

L'article revendique que les représentations de requêtes clairsemées fournissent le désentrelacement nécessaire pour un contrôle unifié et interprétable tant sur la planification logique que sur la nuance stylistique.

• Mécanisme : En ciblant les requêtes d'attention, la méthode évite les effets d'"écrasement" des interventions sur le flux résiduel, préservant la validité structurelle dans les tâches à contraintes strictes.
• Optimisation : En utilisant une optimisation basée sur le gradient sur des prototypes clairsemés plutôt que sur des vecteurs statiques, la méthode atteint une fidélité de contrôle plus élevée avec un coût distributionnel plus faible.
• Généralisabilité : L'approche s'est avérée efficace sur des domaines divers, allant de la planification rigide dans des mondes en grille aux styles cognitifs nuancés du feedback éducatif, et se généralise à des tailles de grille plus grandes et à différentes architectures de modèles.

Les auteurs positionnent ce travail comme un mécanisme principiel pour la génération contrôlable qui va au-delà de l'ingénierie d'activation statique vers une intervention adaptative, clairsemée et localisée.