Résumé Technique : UniSteer

Énoncé du Problème

Le contrôle par activation est apparu comme un paradigme léger et modulaire pour orienter les grands modèles de langage (LLM) en intervenant sur les représentations internes durant l'inférence, évitant ainsi la nécessité de mises à jour des paramètres. Cependant, les méthodes existantes rencontrent des limitations significatives en matière de flexibilité et de compositionnalité :

• Directions Fixes : Des méthodes comme l'ajout d'activation contrastive (CAA) et l'ingénierie de représentation (RepE) reposent sur des directions d'orientation prédéfinies et fixes, dérivées d'exemples contrastifs.
• Modules Spécifiques aux Tâches : Les méthodes d'intervention apprises (par exemple, LoReFT, ODESteer) entraînent des modules séparés pour chaque comportement cible.
• Échec de la Composition : Ces approches peinent à gérer des concepts granulaires ou des contraintes compositionnelles (par exemple, « soyez utile, inoffensif et concis ») car les directions apprises indépendamment interfèrent souvent les unes avec les autres dans les espaces d'activation de haute dimension.

Le défi central consiste à développer un mécanisme unifié capable d'orienter les LLM vers des comportements, des concepts et des exigences multi-contraintes arbitraires en utilisant le langage naturel, sans ajuster de modèles séparés pour chaque cible.

Méthodologie : UniSteer

Les auteurs proposent UniSteer, un modèle d'appariement de flux d'activation guidé par le texte qui apprend une distribution conditionnelle sur les activations du flux résiduel. Au lieu d'apprendre des vecteurs fixes, UniSteer apprend un champ de vitesse conditionnel universel dans l'espace d'activation.

1. Appariement de Flux d'Activation Conditionné par le Texte

UniSteer modélise la distribution conditionnelle $p_\theta(a^{(\ell)}_i | c, \ell, i)$, où $a$ est l'activation du flux résiduel à la couche $\ell$ et au token $i$, et $c$ est une condition en langage naturel (par exemple, « Soyez méchant » ou « Soyez concis et inoffensif »).

• Objectif d'Entraînement : Le modèle apprend un champ vectoriel conditionnel $v_\theta$ en minimisant la perte d'appariement de flux. Il interpole entre un état de bruit antérieur $a_0 \sim \mathcal{N}(0, I)$ et une activation cible $a_1$ en utilisant un chemin de probabilité linéaire $a_t = (1-t)a_0 + ta_1$. La vitesse cible est $u_t = a_1 - a_0$. Le modèle est entraîné pour prédire cette vitesse conditionnée par le texte $c$.
• Architecture : Le modèle de flux est implémenté comme un transformateur de style DiT avec une attention croisée vers un encodeur de texte figé (Qwen3-0.6B) et des embeddings appris pour les positions de couche et de token.

2. Orientation d'Activation au Moment de l'Inférence par Inversion de Flux

Pour orienter un LLM figé, UniSteer effectue une inversion de flux plutôt qu'un échantillonnage à partir de zéro :

1. Inversion Partielle : Une activation source $a_{src}$ (observée durant la génération) est transportée en arrière le long du flux conditionné par la condition source $c_{src}$ vers un état latent intermédiaire bruyant $a_\tau$ (où $\tau = 1 - \lambda$, et $\lambda$ est l'intensité de l'édition).
2. Régénération Vers l'Avant : L'état latent est ensuite transporté vers l'avant le long du flux conditionné par la condition cible $c_{tgt}$ pour générer une activation éditée $\hat{a}_{edit}$.
3. Injection : L'activation éditée est réinjectée dans le flux résiduel du LLM figé pour influencer la génération ultérieure.

3. Classification dans l'Espace d'Activation

UniSteer fonctionne également comme un classificateur sans tête séparée. Étant donné un ensemble de candidats d'étiquettes textuelles, le modèle reconstruit l'activation d'entrée sous chaque condition. L'étiquette produisant l'énergie de reconstruction conditionnelle la plus faible ($\|a - \tilde{a}(c_j)\|^2_2$) est sélectionnée comme prédiction.

Contributions Clés

1. Formulation Unifiée : L'article formule l'orientation d'activation comme un transport d'activation conditionné par le texte, introduisant un modèle d'appariement de flux conditionnel qui apprend un champ de vitesse unique pour des cibles de contrôle hétérogènes (traits comportementaux, concepts granulaires et multi-contraintes).
2. Inversion de Flux pour l'Édition : Les auteurs proposent un mécanisme d'inversion de flux permettant à un modèle unique de gérer à la fois l'orientation comportementale simple et l'orientation compositionnelle en inversant partiellement et en régénérant les activations basées sur des conditions en langage naturel.
3. Interface Unifiée pour l'Édition et la Classification : Le même modèle d'activation conditionnel sert à deux fins : orienter la génération par inversion de flux et classifier les états internes via l'énergie de reconstruction, éliminant ainsi le besoin de classificateurs ou de modules d'intervention spécifiques à la tâche.

Résultats Expérimentaux

Les auteurs ont évalué UniSteer sur trois LLM cibles (Llama-3.2-1B, Qwen2.5-1.5B et Qwen2.5-7B) dans cinq configurations :

• Contrôle Comportemental (Persona) : UniSteer a obtenu les scores de traits cibles les plus élevés sur tous les modèles pour des traits comme « méchant » et « flatteur », surpassant les bases de référence comme CAA et RepE.
• Orientation de la Véracité (TruthfulQA) : UniSteer a amélioré le score Truth*Info par rapport aux modèles originaux, démontrant la capacité à orienter vers l'exactitude factuelle plutôt que vers le simple style.
• Orientation de Concepts Granulaires (AxBench) : UniSteer a obtenu des performances compétitives ou supérieures dans l'orientation de concepts (par exemple, « soyez bref ») par rapport aux bases de référence spécifiques aux concepts, malgré l'utilisation d'un modèle unique partagé.
• Suivi d'Instructions Multi-Contraintes (RECAST) : UniSteer a géré avec succès des contraintes simultanées (par exemple, 5 ou 10 contraintes), surpassant les bases de référence qui peinent avec les interférences entre plusieurs directions fixes.
• Classification dans l'Espace d'Activation (ToxiGen) : En utilisant l'énergie de reconstruction, UniSteer a atteint une précision et une AUC à la pointe de l'art ou égales aux meilleures pour classifier le contenu toxique par rapport au contenu non toxique, validant sa capacité à capturer les distributions d'activation dépendantes de la condition.
• Analyse au Niveau du Token : L'analyse des contraintes « commencer_par » a montré qu'UniSteer applique les éditions de manière consciente de la position, s'alignant fortement avec les directions de contrainte à des positions de token spécifiques (par exemple, le début d'une réponse) plutôt qu'en appliquant des perturbations globales.

Importance et Revendications

L'article revendique qu'UniSteer fournit une interface unifiée pour l'orientation et la classification des LLM. En passant de directions fixes ou de modules spécifiques à la tâche à un champ de vitesse conditionné par le texte, la méthode gère naturellement les contraintes compositionnelles et les concepts granulaires que les méthodes existantes ont du mal à combiner.

Les auteurs soulignent que cette approche permet :

• Polyvalence : Un modèle unique peut gérer des tâches diverses (persona, véracité, contraintes) simplement en changeant la condition textuelle.
• Compositionnalité : Les exigences multi-contraintes sont exprimées directement dans le texte de la condition, évitant les problèmes d'interférence liés à la combinaison de vecteurs d'orientation séparés.
• Interprétabilité : La capacité du modèle à classifier les activations via l'énergie de reconstruction suggère que le flux appris capture efficacement la structure sémantique des états internes du modèle.

Les auteurs notent des limites, notamment un manque d'évaluation sur la génération de longs textes, la stabilité sur plusieurs tours et les tâches de raisonnement complexe. Ils soulignent également les considérations de sécurité, reconnaissant que le même mécanisme utilisé pour améliorer l'utilité pourrait théoriquement être utilisé pour amplifier des comportements indésirables, nécessitant ainsi des filtres de sécurité et des audits futurs.