From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

Imaginez que vous avez une boîte à outils. À l'intérieur, se trouvent des outils électriques comme des perceuses et des scies. Habituellement, nous considérons ces outils comme neutres ; une perceuse peut construire une maison ou abattre une porte, selon la personne qui la tient et la façon dont elle l'utilise.

Cet article soutient qu'avec l'Intelligence Artificielle (IA), la « perceuse » elle-même est construite avec une conception spécifique qui la rend beaucoup plus apte à abattre des portes et plus difficile à arrêter, peu importe qui la tient. Les auteurs, des chercheurs de Harvard et d'Oxford, ont examiné six systèmes d'IA différents utilisés dans des pays allant des États-Unis et du Royaume-Uni à la Chine et à la Russie. Ils voulaient voir si ces outils n'étaient dangereux que dans les « mauvais » pays (les autocraties) ou s'ils pouvaient transformer un « bon » pays (une démocratie) en un lieu où les gens sont surveillés et contrôlés également.

Voici la décomposition de leurs conclusions en utilisant des analogies simples :

1. La découverte fondamentale : Ce n'est pas seulement une question de « méchants »

La plus grande surprise de l'article est que l'autoritarisme (la pratique du contrôle des populations par la peur et la surveillance) n'est pas seulement une caractéristique des dictatures « maléfiques ».

Voyez cela comme une voiture qui roule trop vite. On pourrait penser que seuls les conducteurs imprudents dans des quartiers dangereux roulent trop vite. Mais cet article montre que même un conducteur prudent dans une banlieue riche et sûre peut finir par rouler trop vite si le régulateur de vitesse de la voiture est réglé trop haut, si les freins sont faibles et si les panneaux de limitation de vitesse sont ignorés. La conception de la voiture (le système d'IA) compte tout autant que le conducteur (le gouvernement).

Les auteurs ont constaté que les mêmes « caractéristiques dangereuses » apparaissent aussi bien dans les démocraties (comme les États-Unis et le Royaume-Uni) que dans les autocraties (comme la Chine et la Russie).

2. Les six « zones de danger » (Comment l'IA permet le contrôle)

Les chercheurs ont identifié six façons dont ces systèmes d'IA agissent comme une « boîte à outils de contrôle ». Voici comment ils fonctionnent, avec des analogies :

• Capacité de coercition (Le gros bâton) :
  • Ce que c'est : La capacité d'utiliser la force ou la menace de la force facilement.
  • L'analogie : Imaginez un agent de sécurité qui peut appeler une unité d'élite d'un simple clic sur un bouton. Dans le cas du système Lavender (utilisé par l'armée israélienne), l'IA aide à identifier des cibles pour des frappes aériennes. Parce que le système est intégré à des armes et présente une marge d'erreur élevée, il abaisse le « seuil » de l'usage de la force létale. Il rend la violence plus facile à déclencher.
• Érosion de la responsabilité (La main invisible) :
  • Ce que c'est : Rendre difficile de savoir qui est responsable quand les choses tournent mal.
  • L'analogie : Imaginez une partie de « patate chaude » où la patte est une erreur. Si un policier au Royaume-Uni utilise un fourgon de reconnaissance faciale en direct et arrête à tort quelqu'un, l'officier peut dire : « L'ordinateur me l'a dit », et l'entreprise peut dire : « Nous avons juste vendu le logiciel ». Personne ne prend la responsabilité. Le système est conçu de telle sorte que la responsabilité se perde dans le flux.
• Garde-fous symboliques (La ceinture de sécurité factice) :
  • Ce que c'est : Avoir des règles qui semblent bonnes sur le papier mais qui ne fonctionnent pas réellement.
  • L'analogie : C'est comme une voiture qui possède une ceinture de sécurité, mais dont la boucle est cassée. Le système Lavender comporte une règle stipulant qu'un humain doit vérifier la cible avant une attaque. Mais les rapports montrent que les humains ne passent que 20 secondes à vérifier, juste assez pour cocher une case. Le « garde-fou » existe, mais c'est une imposture.
• Contrôle de l'information (Le miroir sans tain) :
  • Ce que c'est : Le gouvernement sait tout sur vous, tandis que vous ne savez rien sur lui.
  • L'analogie : Imaginez une immense bibliothèque où le bibliothécaire peut lire chaque livre que vous avez emprunté, chaque note que vous avez écrite et chaque fois que vous êtes allé aux toilettes, mais vous ne pouvez pas voir ce que le bibliothécaire écrit dans son registre. Le système IJOP en Chine fait cela en combinant les données de police avec les dossiers médicaux, les factures de services publics et même les données de vente de voitures d'occasion pour construire un portrait total de la vie d'une personne.
• Répression anticipative (La boule de cristal) :
  • Ce que c'est : Punir les gens avant qu'ils ne fassent quoi que ce soit de mal, simplement parce que l'IA pense qu'ils pourraient le faire.
  • L'analogie : Imaginez un videur de club qui vous expulse parce que vous avez l'air « suspect » ou parce que vous avez changé de numéro de téléphone récemment, même si vous n'avez encore enfreint aucune règle. Le système Sfera en Russie utilise la reconnaissance faciale pour arrêter des personnes avant même qu'elles ne prévoient une manifestation, sur la base de l'idée qu'elles pourraient manifester.
• Contrôle des frontières (Le mur « Nous contre Eux ») :
  • Ce que c'est : Créer des catégories numériques qui traitent certains groupes de personnes comme moins humaines ou moins sûres.
  • L'analogie : Imaginez un filtre sur une application photo qui floute automatiquement les personnes ayant un certain accent ou une certaine carnation, les étiquetant comme « risquées ». Le système IJOP cible spécifiquement les musulmans Ouïghours, et le système SlimmeCheck aux Pays-Bas a été trouvé coupable de signaler plus souvent les citoyens non néerlandais pour fraude aux aides sociales que les locaux. L'IA apprend à voir certains groupes comme « l'ennemi ».

3. Les deux manières dont le système se brise : Centralisé vs Fragmenté

L'article souligne un point très important sur la manière dont ces systèmes sont organisés.

• Systèmes centralisés (Le Grand Patron) :
  • Exemple : L'IJOP en Chine ou Sfera en Russie.
  • Fonctionnement : Une seule grande autorité contrôle tout.
  • Le risque : C'est comme un seul et immense barrage. Si le barrage cède, toute la vallée est inondée. Parce qu'un seul groupe détient tout le pouvoir, il y a moins de personnes pour dire « Stop ».
• Systèmes fragmentés (L'Essaim) :
  • Exemple : FlockSafety aux États-Unis.
  • Fonctionnement : Il s'agit d'un réseau de caméras de lecture de plaques d'immatriculation appartenant à des milliers de quartiers, d'entreprises et de départements de police différents.
  • Le risque : C'est comme un essaim d'abeilles. Vous ne pouvez pas simplement tuer une abeille pour arrêter l'essaim. Parce que le système est dispersé, personne n'est vraiment aux commandes. Si une association de quartier abuse de la caméra, il est difficile de la réguler car il n'y a pas de « patron » central à licencier. L'article soutient que cet « essaim » est en réalité plus difficile à contrôler que le « Grand Patron » car la responsabilité est tellement diluée.

4. Le problème du « cycle de vie »

Les auteurs disent que nous regardons habituellement l'IA en demandant : « Est-ce que les mathématiques sont assez intelligentes ? » (Le Modèle). Ils disent que nous devrions plutôt demander : « Comment cet outil a-t-il été construit, vendu et utilisé ? » (Le Cycle de vie).

Ils ont comparé les systèmes à travers 10 étapes, de l'idée initiale à nos jours. Ils ont constaté que le danger ne réside pas seulement dans le produit final, mais dans les choix faits en cours de route :

• Qui l'a acheté ? (Souvent des entreprises privées en partenariat avec des gouvernements).
• Comment a-t-il été testé ? (Souvent de manière médiocre ou pas du tout).
• Qui surveille les surveillants ? (Souvent personne).

5. La conclusion

L'article conclut que l'autoritarisme assisté par l'IA est un choix de conception, et non un résultat inévitable de la technologie.

Ce n'est pas que l'IA est « mauvaise » par nature. C'est que les développeurs, les gouvernements et les utilisateurs ont fait des choix pour :

1. Connecter l'IA à trop de données.
2. Ignorer les règles censées protéger les gens.
3. Construire des systèmes difficiles à arrêter une fois lancés.

Les auteurs avertissent que ce n'est pas seulement un problème pour les « mauvais » pays. Les démocraties sont aussi à risque, surtout lorsqu'elles utilisent ces outils pour l'« efficacité » ou la « sécurité » sans réaliser qu'elles construisent lentement une cage. Ils exhortent les développeurs à intégrer des « freins » dans le système et les gouvernements à s'assurer que les « ceintures de sécurité » fonctionnent réellement avant de laisser la voiture rouler.