The Foreign Policy AI Evaluation Gap
Cet article soutient que les complexités structurelles uniques et les risques catastrophiques inhérents à l'art de la politique étrangère nécessitent de toute urgence un programme de recherche fondé sur la littérature pour développer un cadre d'évaluation du côté de la demande qui décompose les flux de travail à enjeux élevés en sous-tâches évaluables, comblant ainsi l'actuelle lacune critique de la gouvernance technique de l'IA pour ce domaine.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La vue d'ensemble : Conduire un char dans une zone de guerre embrumée
Imaginez que vous enseigniez à une voiture autonome comment conduire. Dans une ville normale, vous pouvez la tester sur une piste, mesurer sa vitesse de freinage et voir si elle heurte un cône. Si elle échoue, il suffit de réinitialiser la voiture et de réessayer.
Maintenant, imaginez que cette même voiture autonome soit utilisée pour conduire un char à travers une zone de guerre embrumée où les règles changent chaque minute, où l'ennemi tente activement de tromper les capteurs, et où une seule erreur pourrait déclencher une guerre nucléaire ou une famine.
Cet article soutient que nous essayons actuellement de construire une IA pour ce « char dans une zone de guerre » (ce que les auteurs appellent la politique étrangère ou l'art de la gouvernance/statecraft), mais que nous utilisons les mêmes tests simples de « conduite en ville » que nous utilisons pour les voitures autonomes classiques. Les auteurs affirment que cela est dangereux car les tests ne correspondent pas à la réalité, et que personne ne surveille assez attentivement pour détecter les erreurs avant qu'elles ne surviennent.
Pourquoi est-ce si difficile ? (Les trois grands problèmes)
L'article explique que la politique étrangère est particulièrement difficile à tester pour trois raisons principales :
La carte est manquante (Espace d'action non borné) :
- Analogie : Dans un jeu vidéo comme Diplomacy, il y a des règles établies et un plateau de jeu. Dans la politique étrangère réelle, il n'y a pas de plateau. Les « règles » peuvent être brisées ou réécrites par les joueurs eux-mêmes. L'IA doit comprendre quoi faire quand le jeu lui-même est en train de changer.
- Le problème : On ne peut pas écrire une simple liste de contrôle pour une IA car les options sont infinies et les règles sont fluides.
La vérité est cachée (Vérité de terrain contestée) :
- Analogie : Imaginez jouer au poker où les autres joueurs mentent sur leurs cartes et que vous ne pouvez pas voir leurs visages. En politique étrangère, les pays cachent souvent leurs véritables intentions ou mentent sur ce qu'ils veulent.
- Le problème : L'IA a besoin de la « vérité » pour apprendre. Mais en diplomatie, la « vérité » est souvent un secret ou un mensonge. Si l'IA apprend à partir de mensonges, elle prendra de mauvaises décisions.
Il n'y a pas de tableau de score unique (Objectifs multidimensionnels) :
- Analogie : Dans une course, l'objectif est simple : franchir la ligne d'arrivée en premier. En politique étrangère, un pays peut vouloir conclure un accord commercial, tout en gardant ses alliés satisfaits, en évitant une guerre et en s'assurant que ses propres électeurs ne soient pas mécontents. Ces objectifs s'affrontent souvent.
- Le problème : Comment noter une IA ? A-t-elle gagné l'accord commercial mais perdu la guerre ? A-t-elle fait la paix mais mis en colère les électeurs ? Il n'existe pas de note unique de « A+ » pour définir le succès.
Le « point aveugle » de la recherche
Les auteurs ont examiné des milliers d'articles de recherche sur la sécurité et la gouvernance de l'IA. Ils ont constaté un fossé massif :
- Ce que nous avons : Beaucoup de recherche sur la façon de tester l'IA en général (comme vérifier si elle peut écrire un poème ou résoudre un problème de mathématiques).
- Ce qui nous manque : Presque aucune recherche sur la façon de tester l'IA spécifiquement pour la politique étrangère.
Ils ont découvert que 99,98 % des articles pertinents se concentrent sur l'Évaluation (tester simplement les compétences du modèle) mais ignorent les 50 % restants de ce qui est nécessaire : l'Accès (obtenir des données pour le tester), la Vérification (prouver qu'il fonctionne), la Sécurité (le protéger des pirates), l'Opérationnalisation (comment les humains l'utilisent réellement) et la Surveillance de l'écosystème (surveiller l'ensemble du système au fil du temps).
C'est comme avoir un mécanicien qui est excellent pour vérifier le niveau d'huile du moteur (Évaluation), mais qui refuse de regarder sous le capot, de vérifier les freins ou de parler au conducteur de la sensation de conduite sur la route.
La solution proposée : Des « fiches de tâches » plutôt que des « classements »
L'article suggère d'arrêter d'essayer de créer un immense « Classement » qui classe quelle IA est la meilleure « Diplomate ». Au lieu de cela, nous devrions décomposer la politique étrangère en petits travaux gérables, comme un chef qui décompose un repas complexe en étapes de découpe, de sautage et de dressage.
Ils proposent une Évaluation par la demande :
- Ne demandez pas : « Cette IA est-elle bonne en diplomatie ? »
- Demandez plutôt : « Cette IA peut-elle aider un analyste humain à trouver les bonnes preuves pour une clause de traité spécifique ? » ou « Cette IA peut-elle détecter un signal indiquant qu'un conflit est sur le point de s'intensifier ? »
Comment ça marche :
- Décomposer : Prendre un flux de travail de politique étrangère et le diviser en petites tâches délimitées.
- L'humain dans la boucle : L'IA effectue la petite tâche (comme rédiger une phrase ou trouver un fait), mais c'est toujours un expert humain qui prend la décision finale et assume la responsabilité.
- Tester le travail spécifique : Nous testons si l'IA a bien accompli cette tâche spécifique et limitée, plutôt que d'essayer de juger toute sa personnalité.
L'« déclaration d'impact » (Pourquoi cela compte)
Les auteurs sont très clairs : ils ne construisent pas ces systèmes d'IA. Ils construisent les manuels de sécurité pour ceux-ci.
Ils avertissent que si nous ne corrigeons pas la façon dont nous testons ces systèmes, nous pourrions accidentellement donner aux gouvernements un outil qui est très doué pour mentir, manipuler ou déclencher des conflits parce que nous ne l'avons testé que sur des scénarios simples et fictifs.
L'essentiel :
Nous remettons des outils puissants et dangereux (l'IA) à des personnes qui gèrent les problèmes les plus dangereux du monde (la guerre et la paix), mais nous n'avons pas encore construit les harnais de sécurité. Cet article dit : « Arrêtez d'essayer de tester tout le harnais à la fois. Construisons de petits clips sécurisés pour chaque partie du travail, et assurons-nous qu'un humain tienne toujours la corde. »
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.