Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

Imaginez que vous avez un robot très intelligent qui a été entraîné pour être l'assistant ultime et serviable. Il est si poli et désireux de plaire qu'il ne contredit jamais ce que vous dites, ne vous pose jamais de questions difficiles et se contente de hocher la tête devant tout ce que vous dites, aussi idiot ou triste que cela puisse être. C'est ainsi que la plupart des chatbots d'IA modernes sont construits aujourd'hui : ils sont programmés pour être des « béni-oui-oui » passifs. Mais et si vous vouliez un robot qui agisse davantage comme un mentor sage et légèrement têtu ? Un mentor qui vous pousse en arrière, qui demande « Pourquoi ? » au lieu de donner des réponses, et qui vous force à réfléchir par vous-même ? C'est la grande question que le chercheur a posée. Ils voulaient savoir s'ils pouvaient « reprogrammer » ces robots polis pour qu'ils deviennent des penseurs proactifs et interrogatifs sans faire planter leur cerveau ou nécessiter un supercalculateur de la taille d'une ville. Pour ce faire, ils ont utilisé une technique appelée « fine-tuning » (ajustement fin), qui est comme donner à un robot un cours intensif très spécifique et court pour changer sa personnalité, et l'« optimisation de préférence », qui est comme apprendre au robot à choisir le bon type de réponse plutôt que le mauvais. L'objectif était de voir si un robot pouvait apprendre une nouvelle personnalité assertive rapidement et si cette nouvelle personnalité fonctionnerait dans différentes langues.

La chercheuse, Lucia Malíˇcková, a entrepris de tester précisément à quel point ces modèles d'IA à poids ouverts sont réellement « plastiques » (ou malléables). Ils ne se sont pas contentés de modifier quelques réglages ; ils ont mené une expérience massive sur le supercalculateur Leonardo en Slovaquie, utilisant 50 000 heures de puissance de calcul pour exécuter 405 tâches différentes simultanément. Considérez cela comme une tentative de trouver la recette parfaite pour une nouvelle personnalité en cuisant 405 gâteaux différents, chacun avec des quantités légèrement différentes de farine, de sucre et d'œufs, pour voir lequel a le meilleur goût.

Leur principale découverte est que l'on peut effectivement transformer un robot passif et servile en un robot socratique et proactif, mais seulement si l'on suit un ensemble de règles très strictes. Premièrement, on ne peut pas partir d'un robot brut, non entraîné ; il faut partir d'un modèle qui sait déjà suivre des instructions. Essayer d'apprendre l'assertivité à un robot brut, c'est comme essayer d'apprendre la philosophie à un bébé ; il finit par être confus et oublie comment parler correctement. Deuxièmement, la « recette » de la nouvelle personnalité est étonnamment petite. Ils ont découvert que l'utilisation d'un ajustement spécifique et minuscule appelé LoRA (Low-Rank Adaptation) avec un « rang » de 16 fonctionnait le mieux. S'ils rendaient l'ajustement trop important (rang 32), le robot devenait confus et mémorisait trop parfaitement les données d'entraînement, échouant ainsi à généraliser. S'il était trop petit (rang 8), il ne pouvait pas apprendre suffisamment. C'était la zone « Goldilocks » (ni trop chaud, ni trop froid) du rang 16 qui fonctionnait.

La découverte la plus surprenante fut peut-être la brièveté de l'entraînement nécessaire. La chercheuse a découvert que le robot apprend cette nouvelle personnalité dans une fenêtre de temps très étroite : entre 2 et 3 « époques » (qui sont simplement des passages complets à travers les données d'entraînement). S'ils l'entraînaient pour seulement une époque, le robot n'apprenait pas assez. Mais s'ils continuaient pour 5, 7 ou 10 époques, le robot commençait à faire du « surapprentissage » (overfitting). Imaginez un étudiant qui étudie pour un examen pendant trop longtemps ; il finit par ne plus comprendre les concepts et commence simplement à mémoriser les questions et les réponses exactes, échouant à appliquer ses connaissances à de nouvelles situations. Le robot faisait la même chose : après 3 époques, il cessait d'être un bon penseur et se contentait de répéter les données d'entraînement, perdant sa capacité à gérer de nouvelles conversations.

Ils ont également testé si cette personnalité « socratique » pouvait franchir les barrières linguistiques. Ils ont entraîné le robot avec des données slovaques, puis lui ont posé des questions en anglais, en espagnol, en allemand et dans d'autres langues. Les résultats ont été mitigés. Le robot était excellent pour être bref et percutant dans toutes les langues, mais sa capacité à poser les bonnes questions dépendait de la langue. Il était très doué pour poser des questions en espagnol (60 % du temps) et en anglais (30 % du temps), mais il échouait complètement à poser des questions en allemand, en portugais et même en slovaque (0 % dans certains tests). Cela suggère que si le robot a appris l'habitude d'être bref, la compétence spécifique de poser des questions profondes ne s'est pas transférée parfaitement aux langues qui sont très différentes de celle sur laquelle il a été entraîné.

Enfin, ils ont utilisé une technique appelée Optimisation de Préférence Directe (DPO) pour apprendre au robot à choisir des réponses courtes et interrogatives plutôt que des réponses longues et polies. C'était le polissage final qui a transformé un robot qui essayait simplement d'être assertif en un robot qui l'était réellement. Avant cette étape, le robot écrivait encore de longs paragraphes interminables. Après la DPO, il a appris à réduire ses réponses à une moyenne de seulement 3 mots, se terminant souvent par un point d'interrogation. Par exemple, au lieu d'écrire un long cours sur les raisons pour lesquelles vous devriez faire de l'exercice, il demanderait simplement : « Combien de jours ? ».

En fin de compte, l'article prouve que l'on peut reprogrammer la personnalité d'une IA pour en faire un coach proactif et interrogatif, mais que cela nécessite une configuration très spécifique : partir d'un modèle ajusté aux instructions, utiliser une petite taille d'ajustement (rang 16), arrêter l'entraînement exactement entre 2 et 3 époques, et utiliser l'optimisation de préférence pour éliminer le superflu. Bien que cela fonctionne magnifiquement pour les langues similaires aux données d'entraînement, le robot éprouve toujours des difficultés à maintenir cette nouvelle personnalité dans les langues qui sont trop éloignées de ses racines d'entraînement. La chercheuse a démontré qu'avec la bonne dose de mathématiques et un peu de puissance de supercalcul, nous pouvons façonner le comportement de l'IA, mais que nous devons faire attention à ne pas trop « surcuire » la recette.