Position: The Alignment Community is Unintentionally Building a Censor's Toolkit

Imaginez que vous construisez un robot bibliothécaire super intelligent. Votre objectif est de s'assurer que ce bibliothécaire ne distribue jamais de manuels dangereux, ne propage pas de mensonges ou ne dise pas de choses méchantes. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle l'« alignement ». C'est le processus consistant à enseigner à un modèle informatique à suivre les règles et les valeurs humaines, comme être utile, honnête et inoffensif. Considérez cela comme l'installation d'un filtre de « bon comportement » très sophistiqué. Mais voici le revers de la médaille : les outils que nous utilisons pour installer ces filtres sont comme une clé universelle. Si une bonne personne détient la clé, elle peut verrouiller des informations dangereuses pour nous protéger. Mais si une mauvaise personne saisit cette même clé, elle peut verrouiller tout ce qu'elle n'aime pas : des livres d'histoire, des opinions politiques ou des faits qui la font passer pour une mauvaise personne. Cet article pose une question effrayante mais importante : sommes-nous en train de construire accidentellement l'outil de censure ultime pour les tyrans et les manipulateurs ?

Les auteurs de cet article, Sarah Ball et Phil Hackemann, soutiennent que les méthodes mêmes que les chercheurs utilisent pour rendre l'IA sûre sont des technologies à « double usage ». Cela signifie que les mêmes techniques conçues pour empêcher un robot de vous donner une recette de bombe pourraient facilement être détournées pour empêcher un robot de vous parler d'un scandale gouvernemental. Ils ne disent pas que nous devrions arrêter d'essayer de rendre l'IA sûre ; en fait, ils affirment que nous devons absolument continuer à le faire pour prévenir de réels dommages. Au lieu de cela, ils tirent la sonnette d'alarme en affirmant que les outils de « sécurité » que nous perfectionnons aujourd'hui deviennent des armes incroyablement puissantes pour contrôler ce que les gens savent et pensent demain.

Les deux faces du filtre

Pour comprendre comment cela fonctionne, imaginez l'IA comme un perroquet géant et bavard qui a lu presque tout sur Internet. Pour en faire un bon assistant, nous devons lui apprendre ce qu'il ne doit pas dire. L'article décompose cet enseignement en trois couches, et explique comment chacune peut être détournée à des fins malveillantes.

1. Le destructeur de bibliothèque (Pré-entraînement)
Avant même que le perroquet ne commence à apprendre à parler, nous devons le nourrir de livres. La première étape est le « filtrage des données de pré-entraînement ». C'est comme si un bibliothécaire déchiquetait des pages de livres avant que le perroquet ne les lise. Si le bibliothécaire décide que certains mots ou sujets sont « dangereux », ces pages sont arrachées.

• Le bon côté : Nous déchiquetons des pages contenant des instructions sur la fabrication d'armes ou la propagation de la haine.
• Le mauvais côté : Un acteur malveillant pourrait déchiqueter des pages concernant un événement historique spécifique ou un groupe politique. Si le perroquet ne lit jamais ces pages, il ne pourra jamais vous parler de ces sujets. L'article note que dans certains pays, les gouvernements font déjà cela en créant leurs propres collections de livres « sûres » et en bloquant l'accès aux autres, faisant ainsi oublier certaines vérités à leur IA.

2. Le coach de comportement (Post-entraînement)
Une fois que le perroquet a lu les livres, nous devons lui apprendre à se comporter dans une conversation. C'est ce qu'on appelle l'« alignement post-entraînement ». Nous montrons au perroquet des exemples de bonnes et de mauvaises réponses, et nous le récompensons lorsqu'il est « bon ». Cela se fait souvent via un système où des humains évaluent les réponses du perroquet.

• Le bon côté : Nous apprenons au perroquet à refuser de répondre à des questions sur la manière de blesser des gens.
• Le mauvais côté : Si un patron dictatorial ou un puissant PDG de la tech décide de ce qui constitue une « bonne » réponse, il peut entraîner le perroquet à refuser de répondre à des questions sur lui-même. L'article souligne que certains gouvernements exigent que les entreprises testent leur IA avec des milliers de questions spécifiques pour s'assurer qu'elle refuse de parler de sujets politiques sensibles. C'est comme entraîner le perroquet à n'être d'accord qu'avec le patron, peu importe la vérité.

3. Le videur à la porte (Contrôle au moment de l'inférence)
Enfin, même après que le perroquet a été entraîné, nous pouvons placer un videur à la porte de la fenêtre de discussion. C'est le « contrôle au moment de l'inférence ». Avant que la réponse du perroquet ne vous soit montrée, le videur la vérifie. Si la réponse contient un mot « interdit », le videur l'arrête et dit : « Je ne peux pas parler de cela. »

• Le bon côté : Le videur empêche le perroquet de dire accidentellement quelque chose d'impoli ou de dangereux.
• Le mauvais côté : C'est l'outil le plus facile à détourner car il ne nécessite pas de réentraîner le perroquet ; il suffit de changer les règles du videur. L'article mentionne que certains dirigeants ont modifié les règles du « videur » de leur IA du jour au lendemain pour faire en sorte que l'IA dise des choses correspondant à leurs opinions politiques personnelles, ou pour qu'elle refuse soudainement de répondre à des questions qui leur déplaisent. C'est un moyen rapide et peu coûteux de faire taire l'information sans changer le cerveau du perroquet.

Pourquoi cela importe maintenant

Les auteurs soutiennent que ce n'est pas seulement un problème théorique pour le futur ; cela se passe en ce moment même, et cela s'aggrave pour trois raisons principales.

Premièrement, nous faisons de plus en plus confiance à l'IA. Des millions de personnes commencent à utiliser les chatbots comme source principale de nouvelles et d'informations. Si l'IA est discrètement éditée pour cacher la vérité, des millions de personnes croiront au mensonge sans même le savoir. C'est comme si votre présentateur de journaux préféré commençait à lire un script qui ne racontait que la moitié de l'histoire, mais avec un ton si convaincant que vous ne remettriez jamais en question sa parole.

Deuxièmement, quelques grandes entreprises détiennent toutes les clés. Le monde de l'IA est dominé par un petit groupe de géants de la technologie. Si l'une de ces entreprises décide de changer les règles pour tout le monde, ou si un gouvernement la force à changer les règles, il n'y a personne d'autre vers qui se tourner. C'est comme si seulement trois personnes possédaient toutes les bibliothèques du monde, et qu'elles tombaient d'accord pour brûler le même ensemble de livres.

Troisièmement, le monde devient plus contrôlant. L'article note que de nombreux pays tendent vers des gouvernements plus stricts et plus autoritaires. Ces gouvernements adorent l'idée de contrôler l'information. Avec l'IA devenant de plus en plus puissante, ils ont un immense intérêt à utiliser ces outils d'alignement pour faire taire la dissidence et contrôler le récit. L'article suggère que ce que nous construisons comme « sécurité » pourrait finir par être l'outil parfait pour l'oppression.

Que devrions-nous faire ?

L'article ne veut pas que nous arrêtions de construire une IA sûre. Ils savent que sans alignement, l'IA pourrait être dangereuse de l'autre côté, comme aider des criminels ou causer des accidents. Au lieu de cela, ils veulent que la communauté soit honnête sur les risques.

Ils suggèrent trois solutions principales :

1. Transparence : Nous devons savoir exactement comment ces « filtres » sont construits. Si une entreprise prétend que son IA est « sûre », des auditeurs indépendants devraient pouvoir vérifier les livres et voir quelles informations ont réellement été supprimées.
2. Compétition : Nous avons besoin de types d'IA plus diversifiés. Si nous avons de nombreux modèles différents provenant d'endroits différents, il est plus difficile pour une seule personne de contrôler toute la conversation. C'est comme avoir de nombreuses chaînes d'information différentes pour pouvoir comparer les récits.
3. Sensibilisation : Nous devons apprendre aux gens à être sceptiques. Tout comme nous apprenons aux enfants à repérer les fausses informations, nous devons leur apprendre que l'IA peut être manipulée. Nous devons également inciter les chercheurs à ne pas se contenter de dire « nous avons coché la case de l'éthique », mais à réfléchir profondément à la manière dont leur travail pourrait être détourné.

L'essentiel

Les auteurs concluent que les outils de « sécurité » que nous construisons sont des épées à double tranchant très puissantes. Ils peuvent nous protéger du mal, mais ils peuvent aussi servir à verrouiller la vérité. L'article prévient que si nous ne prêtons pas attention à qui tient l'épée et à la façon dont elle est utilisée, nous pourrions accidentellement construire la machine de censure parfaite pour le futur. C'est un appel à l'action pour que tous ceux qui sont impliqués dans l'IA réalisent que l'« alignement » ne consiste pas seulement à rendre les robots gentils ; il s'agit de décider qui contrôle le flux d'informations pour le monde entier.