Résumé technique : Localisation de l'utilisation d'outils induite par l'apprentissage par renforcement (RL) à une seule caractéristique de Crosscoder

Énoncé du problème

Bien que le réglage fin par apprentissage par renforcement (RL) permette efficacement aux grands modèles de langage (LLM) d'exécuter des comportements agentiques, tels que l'invocation structurée d'outils, la base mécaniste de ces changements de représentations internes reste mal comprise. Plus précisément, il n'est pas clair quelles caractéristiques émergent lors du RL, lesquelles sont préservées, et si ces caractéristiques peuvent être isolées pour permettre un contrôle comportemental sans réentraînement. Les outils existants d'interprétabilité mécaniste, tels que les auto-encodeurs creux (SAEs) et les crosscoders, offrent des cadres pour décomposer les activations des modèles, mais leur capacité à isoler les différences de capacités spécifiques entre un modèle de base et un modèle ajusté par RL n'a pas été évaluée de manière systématique.

Méthodologie

Les auteurs étudient ces questions en utilisant une architecture de Crosscoder à Caractéristiques Dédiées (DFC - Dedicated Feature Crosscoder) appliquée à une paire de modèles partageant l'architecture Qwen2.5-3B :

• Modèle A (RL) : Une variante ajustée par ToolRL capable d'invocation structurée d'outils.
• Modèle B (Base) : L'original Qwen2.5-3B, non modifié.

Architecture et entraînement :
Le DFC partitionne un dictionnaire creux conjoint en trois sous-dictionnaires : A-exclusif, B-exclusif et partagé. Le masquage de gradient impose l'exclusivité, forçant chaque modèle à lire et à écrire uniquement dans sa partition désignée. L'objectif d'entraînement minimise la perte de reconstruction (MSE) tout en appliquant des contraintes de parcimonie (Top-k) et des pénalités spécifiques ($\lambda_{excl}$) aux partitions exclusives pour tester si elles agissent comme des « puits » (isolant toutes les différences de capacité) ou des « filtres ».

Conception expérimentale :

• Balayage d'hyperparamètres : Les auteurs ont entraîné et évalué 48 variantes (36 DFC et 12 Crosscoders standards) à travers un balayage systématique de la taille du dictionnaire ($D$), du budget de parcimonie ($k$), de la part de la partition exclusive ($p$) et de l'ampleur de la pénalité ($\lambda_{excl}$).
• Métriques d'évaluation : La performance a été mesurée via la justesse_outil (correspondance floue entre les outils appelés et l'invite) et la précision_format (présence de la structure JSON correcte).
• Protocole de pilotage (Steering) : Les caractéristiques ont été classées par le $d$ de Cohen (différence d'activation entre les contextes d'utilisation d'outils et de texte général). Le pilotage ciblé impliquait l'ajout d'un vecteur de correction au flux résiduel du Modèle A basé sur des sous-ensembles de caractéristiques spécifiques ($S$).

Contributions clés et résultats

1. Débordement de capacité et fidélité de reconstruction

L'étude démontre qu'un débordement de capacité (capability spillover) se produit : le passage des activations du modèle de base gelé (Modèle B) à travers un crosscoder entraîné conjointement et la reconstruction de celles-ci transfère passivement la capacité d'appel d'outils sans réentraînement.

• Résultat : La justesse d'appel d'outils du Modèle B est passée de 0 % à 6,8 % ± 5,0 pp après reconstruction.
• Implication : L'intention d'appel d'outils est délocalisée dans les poids du décodeur partagés lors de l'entraînement conjoint. Cependant, la précision du format (la forme de surface spécifique XML/JSON) n'a pas débordé, suggérant que si l'intention sémantique est partagée, la machinerie du modèle structurel reste isolée dans des caractéristiques étroites spécifiques au RL.

2. Le DFC comme filtre, et non comme puits

Les auteurs ont testé si la partition exclusive isolait parfaitement les capacités induites par le RL (un « puits »).

• Constat : Pénaliser la partition exclusive ($\lambda_{excl} > 0$) a dégradé la fidélité du Modèle A, repoussant l'information pertinente pour l'outil vers la partition partagée.
• Conclusion : La partition exclusive agit comme un filtre qui concentre les caractéristiques les plus fortes propres au modèle, mais ne parvient pas à désengager totalement le contenu spécifique à la capacité du substrat représentationnel partagé.

3. Saturation du pilotage par une seule caractéristique

Une découverte majeure est que la capacité d'utilisation d'outils induite par le RL peut être localisée à un ensemble minimal de caractéristiques, souvent un seul neurone.

• Résultat : Le pilotage d'un seul neurone A-exclusif ($|S|=1$) a permis d'obtenir une augmentation de +65,0 pp de la justesse d'appel d'outils (IC 95 % [+47,9, +82,1]).
• Comparaison : Cette intervention sur un seul neurone a égalé la performance du pilotage des 7 neurones A-exclusifs disponibles. En revanche, un CrossCoder standard nécessitait le pilotage de 33 caractéristiques pour atteindre son pic de performance.
• Généralisation : Cet effet de saturation par un seul neurone s'est généralisé à la majorité des couches sondées (7 sur 9), avec une amélioration moyenne de +43,3 pp.

4. Séparation géométrique

L'analyse UMAP des poids du décodeur a confirmé que l'architecture DFC crée des régions spatialement distinctes pour les caractéristiques A-exclusives, B-exclusives et partagées. En revanche, les Crosscoders standards (sans masquage de gradient) présentaient un mélange uniforme des caractéristiques biaisées, indiquant que la séparation nette est un artefact de la partition architecturale, et non simplement un effet de déséquilibre des étiquettes.

5. Interférence dans le pilotage combiné

Le pilotage simultané des caractéristiques A-exclusives et partagées a entraîné une interférence destructrice, produisant une performance inférieure (+35,0 pp) au pilotage des seules caractéristiques A-exclusives (+65,0 pp). Cela suggère que les directions non orthogonales du décodeur amplifient le bruit lorsqu'elles sont pilotées avec des coefficients égaux.

Signification et affirmations

L'article affirme que les Crosscoders à Caractéristiques Dédiées (DFC) constituent un outil prometteur pour identifier et moduler les représentations introduites par le post-entraînement par RL. La signification réside dans trois domaines principaux :

1. Contrôle comportemental au runtime : La capacité de piloter des LLM agentiques via une seule caractéristique sans réentraînement offre un mécanisme de contrôle par inférence, sans gradient, pour la modification de la sécurité et du comportement. Cela positionne le pilotage basé sur le DFC comme une approche complémentaire au RLHF, au DPO et au SFT pour la sécurité et la modification du comportement.
2. Interprétabilité mécaniste : Les découvertes suggèrent que les capacités agentiques (spécifiquement l'utilisation d'outils) peuvent être compressées dans un ensemble de caractéristiques creuses et pilotables. Le phénomène de « débordement de capacité » souligne que les décompositions creuses conjointes peuvent involontairement réintroduire des capacités dans les modèles de base, une considération critique pour la sécurité et la publication des modèles.
3. Limites et modestie : Les auteurs notent explicitement que leurs métriques mesurent la propension à émettre des appels d'outils corrects sous des invites fixes, et non l'installation d'une capacité totalement nouvelle dans le modèle de base. Ils reconnaissent que le test t de l'effet d'architecture est sous-dimensionné (12 exécutions de CrossCoder contre 36 de DFC) et que les résultats de pilotage des meilleures cellules n'ont pas été répliqués sur un nouvel échantillon. Ils ne prétendent pas que le RL installe une capacité d'utilisation d'outils que le modèle de base ne possède absolument pas, mais qu'il en module la propension.

En résumé, ce travail démontre que l'utilisation d'outils induite par le RL n'est pas un changement diffus et ininterprétable, mais qu'elle est concentrée dans un ensemble de caractéristiques minimal et pilotable qui peut être isolé et manipulé via les DFC, permettant un contrôle comportemental précis et sans réentraînement.