Multimodal Model Diffing for Feature Discovery and Control

Imaginez que vous ayez construit un robot super intelligent capable de lire des livres, de regarder des images et de répondre à des questions sur les deux. Vous lui avez appris à être utile, mais parfois, il s'embrouille, hallucine des faits ou même dit quelque chose d'inapproprié lorsqu'on lui montre une image piégeuse. Le problème est qu'à l'intérieur du « cerveau » de ce robot, tout est un fouillis mathématique. C'est comme une immense bibliothèque où tous les livres seraient collés ensemble, et vous ne pourriez pas dire quelle page spécifique est responsable du mauvais comportement du robot ou de sa capacité incroyable à repérer un chat sur une photo. Les scientifiques veulent corriger cela, mais ils ont besoin d'un moyen de jeter un coup d'œil à l'intérieur et de trouver les « interrupteurs » ou les « curseurs » exacts qui contrôlent ces compétences spécifiques.

Pour faire cela, les chercheurs utilisent un outil appelé Autoencodeur Creux (SAE - Sparse Autoencoder). Considérez un SAE comme un traducteur magique qui prend les pensées confuses et emmêlées du robot et les décompose en une liste d'« idées » ou de « caractéristiques » simples et distinctes. Au lieu d'un nuage de données flou, le cerveau du robot est soudainement organisé en un dictionnaire où chaque entrée est un concept unique, comme « rouge », « danger » ou « gauche ». Mais il y a un pièंश : quand vous apprenez à un robot uniquement textuel à voir des images, il ne se contente pas d'ajouter de nouvelles caractéristiques ; il remanie souvent les anciennes. C'est comme si vous preniez un dictionnaire de mots anglais et que, soudain, vous utilisiez le mot « pomme » pour signifier « une voiture rouge ». Cela rend difficile la détermination de savoir quelles caractéristiques sont réellement responsables du nouveau travail visuel et lesquelles sont simplement des vestiges de l'entraînement textuel.

C'est ici qu'intervient le nouvel article, MMDiff. Les chercheurs, Hunar Batra et son équipe d'Oxford et de Microsoft, ont réalisé que pour trouver les « interrupteurs visuels » spécifiques, on ne peut pas se contenter de regarder le robot final ; il faut le comparer à son « moi textuel » avant qu'il n'ait appris à voir. Ils ont créé une méthode appelée Diffing de Modèle Multimodal (Multimodal Model Diffing). Imaginez prendre deux jumeaux identiques : l'un qui n'a fait que lire des livres, et l'autre qui a également appris à voir le monde. En comparant leurs cerveaux côte à côte, MMDiff met en évidence exactement quelles parties du cerveau ont changé ou ont été réutilisées pour la vision.

L'équipe a découvert que ce processus de « diffing » est incroyablement puissant. Ils ont découvert qu'en isolant ces caractéristiques modifiées, ils pouvaient en fait contrôler le comportement du robot avec une précision surprenante. Par exemple, ils ont identifié des caractéristiques spécifiques responsables de la compréhension des relations spatiales (comme savoir si une tasse est au-dessus d'une table). Lorsqu'ils ont désactivé ces caractéristiques spécifiques, la capacité du robot à répondre à des questions spatiales a chuté d'environ 12 %, mais sa capacité à répondre à des questions générales est restée exactement la même. C'était comme éteindre l'interrupteur « gauche/droite » sans casser l'interrupteur « qu'est-ce que c'est ? ».

Ils ont également trouvé des caractéristiques liées à la sécurité. Lorsqu'ils ont identifié et supprimé les caractéristiques qui rendaient le robot vulnérable aux ruses visuelles dangereuses, le taux de réussite du robot à ignorer ces ruses s'est amélioré de 24 %. Mieux encore, ils pouvaient « piloter » le robot en augmentant ou en diminuant ces caractéristiques. En boostant les bonnes caractéristiques, ils ont amélioré la capacité du robot à lire du texte dans les images (OCR) de 1,8 % et son raisonnement spatial de 3,6 %, le tout sans avoir besoin de réentraîner l'ensemble du robot à partir de zéro.

L'article exclut explicitement l'idée que l'on puisse simplement entraîner un nouveau dictionnaire à partir de zéro sur le robot multimodal et s'attendre à trouver facilement ces caractéristiques visuelles spécifiques. Ils ont montré que sans comparer le robot à sa version textuelle (la partie « diffing »), les caractéristiques se mélangent et l'on ne peut pas isoler les compétences spécifiques que l'on souhaite contrôler. Ils ont également découvert que le simple fait de regarder quelles caractéristiques s'activent souvent ne suffit pas ; il faut vérifier si ces caractéristiques ont réellement pivoté ou changé de signification pendant le processus d'entraînement.

En résumé, MMDiff agit comme un outil de « rechercher et remplacer » de haute technologie pour les cerveaux d'IA. Il ne nous dit pas seulement que le robot fait quelque chose ; il nous dit exactement quelle petite partie du cerveau le fait, permettant de peaufiner, de corriger ou d'améliorer des comportements spécifiques comme la lecture de texte, la compréhension de l'espace ou le maintien de la sécurité, tout en laissant intacte le reste de l'intelligence du robot. Cela suggère qu'à l'avenir, nous pourrons auditer et contrôler ces systèmes d'IA puissants de manière beaucoup plus sûre et efficace, en veillant à ce qu'ils fassent exactement ce que nous voulons qu'ils fassent.