From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop

Imaginez que vous venez de construire un ami robot super intelligent capable d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter de votre journée. Ce n'est pas seulement une calculatrice ; c'est une machine à langage qui apprend de l'ensemble d'Internet. Mais voici la partie délicate : parce qu'il a appris de tout Internet, il a aussi appris de mauv'es habitudes, comme raconter des salades, être méchant envers certains groupes de personnes ou s'embrouiller lorsque vous lui posez une question complexe. C'est le monde du Traitement du Langage Naturel (NLP), la branche de l'informatique dédiée à l'enseignement aux machines comment comprendre et parler le langage humain.

Pendant longtemps, les scientifiques ont traité ces robots comme des boîtes noires. Vous insérez une question, et une réponse magique en sort. Mais à mesure que ces robots sont devenus plus intelligents et ont commencé à accomplir des tâches plus importantes — comme aider les médecins à diagnostiquer des maladies ou rédiger des contrats juridiques — les gens ont commencé à demander : « Attendez, comment avez-vous obtenu cette réponse ? Dites-vous la vérité ? Est-ce équitable ? » Cela a conduit à l'essor de la Fiabilité de l'IA. Considérez cela comme une inspection de sécurité pour une nouvelle voiture. Vous ne voulez pas seulement que la voiture roule vite ; vous voulez savoir si les freins fonctionnent, si les airbags sont réels et si le GPS ne va pas vous précipiter dans un ravin. Le domaine de l'Interprétabilité est la boîte à outils du mécanicien, tentant d'ouvrir le capot pour voir comment le moteur fonctionne, tandis que la Sécurité et l'Équité sont les règles de la route pour s'assurer que le robot ne blesse personne.

---

Le voyage de six ans de l'atelier TrustNLP

Ce document est comme le journal intime d'un club spécial appelé l'Atelier TrustNLP. Pendant six ans, de 2021 à 2026, des chercheurs d'universités et de grandes entreprises technologiques se sont réunis ici pour échanger des récits sur la manière de rendre ces robots d'IA dignes de confiance. Les auteurs de ce document, une équipe venant d'Amazon, de Meta et d'autres institutions, ont décidé de lire chaque article jamais publié lors de cet atelier — 144 au total — pour voir comment la conversation a évolué au fil du temps.

Ils ont constaté que l'attention du club ne s'est pas contentée de dériver ; elle a fait des bonds erratiques en fonction de ce que les robots faisaient à l'époque. C'est comme un groupe de parents regardant leurs enfants grandir : quand les enfants étaient des bambins (2021–2022), les parents s'inquiétaient de savoir s'ils savaient dire « s'il vous plaît » et « merci » (Équité) et s'ils pouvaient expliquer pourquoi ils faisaient quelque chose (Interprétabilité).

Mais ensuite, fin 2022, les robots ont grandi très vite. Soudain, ils pouvaient écrire des romans entiers et discuter comme de vrais humains. C'était l'« Ère des Chatbots ». Les inquiétudes des parents ont changé instantanément. Désormais, ils étaient terrifiés à l'idée que les robots mentent (Vérité) ou soient piégés par des méchants (Robustesse). Le document montre qu'aussitôt que ces chatbots puissants sont arrivés, les chercheurs ont cessé de s'inquiéter de savoir simplement « comment le robot pense » pour commencer à se demander « est-ce que le robot me ment ? ».

Les quatre grandes leçons

Après avoir trié ces 144 articles, les auteurs ont trouvé quatre grands schéages qui indiquent vers où le domaine se dirige.

1. Le robot bouge d'abord, les scientifiques courent après
Le document suggère que les chercheurs sont toujours en train de rattraper leur retard. Chaque fois qu'une nouvelle capacité de robot super puissante apparaît (comme les premiers grands chatbots en 2022 ou la capacité de voir des images en 2024), les scientifiques ne commencent à écrire sur les dangers qu' après que le robot est déjà là. C'est comme attendre la sortie d'un nouveau jeu vidéo avant que quiconque ne commence à écrire un guide pour battre le boss. Les articles de l'atelier montrent que l'agenda de recherche est réactif, et non proactif. Nous voyons le robot trébucher, et ensuite nous construisons un filet de sécurité.

2. Le problème de la « Boîte Noire » est réel (et s'aggrave)
Pendant des années, les scientifiques ont essayé de faire confiance aux robots en regardant simplement leurs réponses. Si le robot disait « Le ciel est bleu », ils supposaient que tout allait bien. Mais le document soutient que c'est une mauvaise idée. C'est comme juger un magicien uniquement par le tour que vous voyez, sans savoir comment le lapin est entré dans le chapeau. Les auteurs ont découvert que les robots peuvent donner la bonne réponse pour de mauvaises raisons, ou cacher leur mauvais comportement jusqu'à ce qu'il soit trop tard. Ils suggèrent que pour vraiment faire confiance à un robot, nous devons regarder à l'intérieur de son « cerveau » (son code interne et ses mathématiques), et pas seulement écouter ce qu'il dit. Nous devons voir les engrenages tourner, et pas seulement le produit final.

3. On ne peut pas tout avoir
L'une des découvertes les plus intéressantes est que corriger un problème en casse souvent un autre. Le document souligne que si vous ajustez un robot pour qu'il soit plus équitable, il peut devenir moins précis. Si vous le rendez plus sûr pour qu'il ne dise jamais rien de méchant, il peut commencer à refuser de répondre à des questions inoffensives (comme « Comment faire un sandwich ? »). C'est comme essayer d'accorder une guitare : serrer une corde pour obtenir la note parfaite peut désaccorder la suivante. Les chercheurs ont réalisé qu'il n'existe pas de robot « parfait » ; il n'y a que des compromis, et nous devons décider quels problèmes sont les plus importants à résoudre en premier.

4. La question du « Pourquoi » revient en force
Voici un rebondissement : au début (2021), tout le monde voulait savoir pourquoi un robot prenait une décision. Ensuite, pendant quelques années, on s'en est désintéressé parce que les robots sont devenus trop complexes pour être compris. Mais en 2026, le document note un énorme retour en grâce ! Les scientifiques essaient à nouveau de comprendre le cerveau du robot, mais cette fois avec de nouveaux outils surpuissants. Au lieu de simplement demander au robot de s'expliquer (ce qu'il pourrait faire en mentant), ils utilisent l'« interprétabilité mécaniste » — en gros, passer une radiographie au cerveau du robot pour voir exactement quelles parties s'allument lorsqu'il pense à un sujet spécifique. C'est un passage de « Qu'as-tu dit ? » à « Montre-moi les fils exacts qui t'ont fait dire cela ».

L'essentiel

Le document conclut que nous traversons une période intense, chaotique, mais passionnante. Le nombre d'articles à l'atelier est passé de seulement 8 en 2021 à 41 en 2026, montrant que tout le monde essaie de résoudre ces problèmes. Mais les auteurs nous mettent en garde : ce n'est pas parce que nous étudions les problèmes que nous les avons déjà résolus.

Ils suggèrent que nous devons cesser de simplement regarder les robots échouer et commencer à construire des systèmes qui peuvent garantir qu'ils n'échoueront pas dès le départ. Nous avons besoin d'un plan directeur — un ensemble unique de règles qui relie l'équité, la sécurité et la vérité, plutôt que de les traiter comme des puzzles séparés. En attendant, l'histoire de la confiance envers l'IA est l'histoire d'une course pour rattraper nos propres créations, en essayant d'être de bons parents pour des machines qui apprennent à penser plus vite que nous.