Forecasting Side Effects of Activation Steering

Imaginez que vous possédez un cerveau de robot géant et super intelligent capable d'écrire des histoires, de résoudre des problèmes mathématiques et même de donner des conseils. Des scientifiques ont trouvé une astuce ingénieuse pour modifier la façon dont ce cerveau de robot réfléchit sans avoir à le reconstruire de zéro. Au lieu de réentraîner tout le cerveau, ils peuvent simplement ajuster une « direction de pensée » spécifique à l'intérieur de l'esprit du robot. C'est comme un bouton de volume pour un trait de personnalité spécifique : vous pouvez augmenter l'« utile » ou diminuer la « verbosité » simplement en ajoutant une infime poussée mathématique aux signaux internes du robot. C'est ce qu'on appelle l'activation steering (pilotage par activation). C'est comme avoir une télécommande pour la personnalité d'un robot.

Mais il y a un piège : quand vous tournez un bouton, d'autres choses peuvent changer de manière inattendue. Si vous rendez le robot plus concis, il pourrait accidentellement devenir moins poli. Si vous le rendez plus utile, il pourrait devenir trop enclin à dire « oui » à des demandes dangereuses. Ces changements indésirables sont appelés effets secondaires. La grande question pour quiconque tente d'utiliser cette technologie est la suivante : Pouvons-nous prédire ces effets secondaires avant même de tourner le bouton ? Si nous ne pouvons pas les prédire, utiliser cette télécommande revient à conduire une voiture avec un bandeau sur les yeux — vous pourriez arriver là où vous voulez, mais vous pourriez aussi percuter quelque chose d'autre.

Cette publication pose précisément cette question : peut-on prévoir les effets secondaires du pilotage par activation avant de l'appliquer ? Les chercheurs affirment que oui, nous le pouvons, mais pas de la manière dont la plupart des gens l'imaginaient. Ils ont découvert que, bien que ces effets secondaires soient courants et parfois complexes, ils suivent un modèle caché qui peut être cartographié.

La carte cachée de la personnalité

Pour comprendre ce qui se passe, les chercheurs ont traité le cerveau du robot comme une immense ville composée de 67 différents « quartiers », chaque quartier représentant un comportement spécifique comme « coder », « refuser des demandes nuisibles », « être drôle » ou « faire preuve d'empathie ». Ils voulaient voir ce qui arrive à chaque quartier lorsqu'ils « pilotent » (donnent une impulsion à) l'un d'entre eux.

Ils ont construit une gigantesque Matrice de Cross-Effect (matrice d'effets croisés), qui est essentiellement une carte montrant comment chaque quartier réagit lorsqu'un autre est poussé. Imaginez un jeu de dominos, mais au lieu de simplement renverser le suivant, pousser un quartier envoie des ondulations à travers toute la ville.

Ce qu'ils ont découvert est surprenant. Premièrement, les effets secondaires sont partout. Lorsqu'ils poussaient un comportement, environ 33 % à 50 % des autres comportements changeaient de manière notable. Il ne s'agissait pas d'un simple petit mouvement ; parfois, le changement était énorme, faisant basculer le « score de personnalité » du robot d'un point entier sur une échelle de quatre.

Deuxièmement, les changements sont asymétriques. C'est le point le plus important. Dans le monde réel, si vous poussez une porte, elle s'ouvre. Si vous la poussez dans l'autre sens, elle se ferme. Mais dans le cerveau du robot, les règles sont plus étranges. Si vous poussez la « Rigueur » pour rendre le robot plus prudent, cela pourrait accidentellement le rendre plus « Incertain ». Mais si vous poussez l'« Incertitude » pour rendre le robot plus hésitant, cela pourrait en fait le rendre moins rigoureux. La relation n'est pas un simple miroir ; c'est une rue à sens unique complexe.

Pourquoi l'ancien jeu de devinettes a échoué

Avant cet article, les gens essayaient de deviner les effets secondaires en utilisant une règle simple : « Si deux directions de pilotage se ressemblent (comme deux vecteurs pointant dans la même direction), elles devraient provoquer des changements similaires ». C'est comme supposer que parce que deux chansons sont toutes deux dans la tonalité de Do, elles vous feront ressentir la même chose.

Les chercheurs ont testé cette idée et ont constaté qu'elle échouait lamentablement. Ils ont montré que regarder la similitude des « directions de poussée » n'explique que 23 % de ce qui se passe réellement. L'ancienne méthode ne pouvait pas prédire les relations étranges à sens unique où pousser A aide B, mais pousser B nuit à A. La supposition de « similitude » était comme essayer de prédire la météo en regardant la couleur de vos chaussettes — cela ne fonctionne tout simplement pas.

La nouvelle boule de cristal : La Carte de Propagation

Alors, si l'ancienne méthode a échoué, comment ont-ils prédit l'avenir ? Ils ont construit un nouvel outil de prévision appelé Carte de Propagation.

Voici comment cela fonctionne, en utilisant une analogie simple : Imaginez que le cerveau du robot est une série de tuyaux d'eau.

1. La Poussée (Source) : Vous injectez de l'eau dans le tuyau à un endroit spécifique (la couche d'injection).
2. Le Flux (Propagation) : L'eau voyage à travers les tuyaux, tournant et virant à travers les couches du robot.
3. Le Capteur (Cible) : À l'extrémité du tuyau, il y a un capteur qui détecte si un comportement spécifique (comme « être drôle ») est présent.

L'ancienne méthode regardait simplement la forme de la poussée et devinait ce qui se passerait à l'extrémité. La nouvelle méthode modélise réellement les tuyaux. Ils ont entraîné un système pour apprendre comment une poussée au début du tuyau voyage à travers les torsions et les virages du cerveau du robot pour atteindre l'extrémité.

Ils ont utilisé cette carte pour prédire les effets secondaires sans jamais pousser le robot. Ils ont simplement observé les pensées normales, non modifiées, du robot pour apprendre comment les « tuyaux » fonctionnent. Ensuite, ils ont demandé : « Si nous poussons cette direction spécifique, où ira l'eau, et quels capteurs va-t-elle heurter ? »

Les résultats : Une boule de cristal avec des limites

Les résultats sont impressionnants. Leur nouvelle méthode de prévision pouvait prédire correctement si un effet secondaire allait amplifier (rendre un comportement plus fort) ou supprimer (rendre un comportement plus faible) pour environ 68 % à 78 % des changements majeurs. C'est bien mieux que les anciennes suppositions de « similitude », qui faisaient à peine mieux que le hasard pour ces prédictions spécifiques.

Cependant, l'article est honnête sur ce qu'il ne peut pas faire :

• Il prédit la direction, pas la taille : L'outil est excellent pour vous dire si un comportement deviendra plus fort ou plus faible, mais il n'est pas parfait pour dire exactement de combien il changera. La taille du changement dépend principalement du comportement cible lui-même, et non de la poussée.
• Ce n'est pas de la magie : Les prédictions sont basées sur des modèles trouvés dans les données. Elles ne constituent pas une « vérité absolue » parfaite car elles reposent toujours sur un juge IA pour mesurer les comportements.
• C'est spécifique : Cela fonctionne pour les types spécifiques de poussées « linéaires » qu'ils ont testées. Si quelqu'un invente une méthode totalement différente pour piloter le robot à l'avenir, cette carte devra peut-être être redessinée.

Pourquoi cela importe

Cet article change la donne pour quiconque tente de contrôler l'IA. Au lieu de tourner des boutons à l'aveugle en espérant que tout se passe bien, ou d'attendre que le robot dise quelque chose de bizarre pour réaliser que vous avez cassé quelque chose, les praticiens peuvent désormais regarder la carte d'abord.

Ils peuvent demander : « Si je rends le robot plus concis, deviendra-t-il moins sûr ? » et obtenir une réponse fiable avant même de toucher au code. Cela transforme le pilotage par activation d'un jeu de hasard en une tâche d'ingénierie plus prévisible. Bien que cela ne résolve pas tous les problèmes, cela nous donne un nouvel outil puissant pour voir les ondulations invisibles dans l'esprit du robot avant de faire des éclaboussures.