💻 computer science

Dial E for Ethical Enforcement: institutional VETO power as a governance primitive

Ce papier soutient que la militarisation persistante des grands modèles de raisonnement découle de lacunes dans la gouvernance et propose l'établissement d'un pouvoir de veto institutionnel formel, dirigé par les communautés les plus vulnérables, comme condition préalable pour transformer les garanties symboliques en responsabilités applicables et désarmer ces modèles.

Auteurs originaux : Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Publié 2026-03-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛑 Le Titre : "DIAL E FOR ETHICAL ENFORCEMENT" (Composez le E pour l'Application Éthique)

Imaginez que l'intelligence artificielle (IA) est comme une énorme usine de fabrication de voitures.
Actuellement, les chercheurs construisent des voitures incroyablement puissantes. Le problème, c'est que cette usine ne possède pas de frein d'urgence réel.

Aujourd'hui, quand quelqu'un dit : "Attention, cette voiture pourrait être transformée en missile ou utilisée pour espionner des gens innocents", la réponse de l'usine est : "Oh, nous avons écrit un joli petit mot dans le manuel du conducteur pour dire 's'il vous plaît, ne faites pas ça'. C'est notre responsabilité morale."

Mais si un voleur prend la voiture et l'utilise pour commettre un crime, l'usine dit : "Ce n'est pas de notre faute, nous avons écrit le mot dans le manuel !"

Ce papier propose de changer la donne. Il suggère d'installer un véritable bouton d'arrêt d'urgence (un "droit de veto") qui permet à l'usine de dire : "Non, vous ne pouvez pas prendre cette voiture. Nous refusons de vous la vendre."

1. Le Problème : La "Responsabilité Organisée" (Le jeu de la patate chaude)

Aujourd'hui, tout le monde parle d'éthique, mais personne n'a le pouvoir d'arrêter les choses dangereuses.

Les chercheurs disent : "C'est le travail des gouvernements."
Les universités disent : "C'est le travail des entreprises."
Les entreprises disent : "C'est le travail des utilisateurs."

C'est comme si vous aviez une piscine remplie de requins (les IA militaires), mais personne n'a le pouvoir de fermer la porte de la piscine. Tout le monde a écrit un panneau "Attention Requin", mais les requins sont toujours là.

L'auteur dit : "C'est de la responsabilité organisée". Chacun se décharge de la faute, et le résultat est que les IA dangereuses continuent d'être créées et vendues.

2. La Solution : Le "Veto Institutionnel" (Le Gardien de la Porte)

Le papier propose d'ajouter un nouveau pouvoir fondamental : le Veto.
Imaginez un gardien de sécurité à la sortie de l'usine. Ce gardien n'a pas le droit de dire aux chercheurs comment construire la voiture (il ne censure pas la science). Mais il a le pouvoir absolu de dire : "Je refuse de vous laisser sortir cette voiture si elle est destinée à faire du mal."

Ce gardien peut bloquer :

La vente de la technologie à une armée.
L'utilisation pour espionner des minorités.
Le transfert vers des pays qui violent les droits humains.

3. Qui doit tenir le bouton ? (La Justice au Centre)

C'est le point le plus important du papier.
Aujourd'hui, ce sont souvent des gens riches et puissants (dans les grandes universités ou les gouvernements) qui décident de ce qui est "dangereux". C'est comme si c'étaient les loups qui décidaient de la sécurité du troupeau de moutons.

Le papier dit : Non !
Ceux qui sont le plus souvent victimes de ces technologies (les minorités, les populations surveillées, les gens des pays en guerre) doivent être ceux qui tiennent le bouton d'arrêt.

Si une IA sert à surveiller une communauté, ce sont les membres de cette communauté qui doivent avoir le droit de dire : "Stop, on ne veut pas de ça."
Sans leur voix, le système est injuste et inefficace.

4. Comment ça marche en vrai ? (Pas besoin de magie, juste de règles)

Le papier explique qu'on n'a pas besoin de créer une nouvelle organisation magique. On peut utiliser les outils qui existent déjà, comme on change les règles d'un jeu de société :

Les Universités : Elles peuvent changer leurs contrats. "Si vous voulez utiliser notre recherche, vous devez signer un papier disant : 'Je ne l'utiliserai jamais pour faire des armes'." Si vous mentez, vous perdez le droit d'utiliser la technologie.
Les Conférences (comme ICLR) : Quand un chercheur veut présenter son travail, il doit dire : "Voici comment cette IA pourrait être utilisée pour le mal." Si c'est trop dangereux, la conférence refuse de publier l'article.
Les Financements : Les gouvernements qui donnent de l'argent peuvent dire : "Nous ne donnerons pas un centime à une université qui n'a pas ce système de garde-fou."
Les Sites de Téléchargement (comme GitHub) : Ils peuvent mettre des "verrous numériques" sur le code. "Seules les personnes qui promettent de ne pas faire de mal peuvent télécharger ce fichier."

5. Pourquoi c'est nécessaire ? (L'analogie de la bombe atomique)

Après la Seconde Guerre mondiale, le monde a réalisé que la science nucléaire était trop dangereuse pour être laissée sans contrôle. Ils ont créé des traités et des inspecteurs internationaux.

L'IA est en train de devenir aussi puissante que l'atome. Si on ne met pas de freins maintenant, on risque de créer des armes autonomes ou des systèmes de surveillance totalitaires que personne ne pourra plus arrêter.

En Résumé

Ce papier dit : "Arrêtons de faire semblant d'être gentils avec des petits mots."
Il faut passer de la politesse (des déclarations éthiques) à la puissance (des règles contraignantes).

Il faut donner le pouvoir de dire "NON" aux communautés qui risquent d'être blessées par l'IA, et s'assurer que ce "NON" soit respecté par la loi et les contrats, pas juste par la bonne volonté. C'est la seule façon de transformer l'IA d'une arme potentielle en un outil pour la paix.

1. Problématique : Le Paradoxe de la Gouvernance et la Militarisation

Le papier identifie un paradoxe fondamental dans la gouvernance actuelle de l'IA : une conscience éthique généralisée coexiste avec une incapacité quasi totale à empêcher les utilisations nuisibles, en particulier la militarisation des grands modèles de raisonnement (Large Reasoning Models).

L'échec des mécanismes actuels : Les outils existants (cartes de modèles, déclarations d'IA responsable, évaluations d'impact) fonctionnent comme des signaux de réputation déconnectés de l'architecture décisionnelle. Ils génèrent une « irresponsabilité organisée » où chaque acteur peut se dédouaner.
La cause structurelle : Le problème n'est pas un manque de connaissances éthiques, mais un manque d'autorité institutionnelle. Contrairement aux régimes de non-prolifération nucléaire ou à l'éthique biomédicale (IRB), la gouvernance de l'IA ne possède pas de mécanisme formel pour bloquer les transferts ou les déploiements à risque.
La dynamique de la militarisation : La militarisation est le résultat de choix institutionnels routiniers (acceptation de financements militaires, décisions de publication, partenariats) qui agissent comme des points de veto non protégés. Sans autorité contraignante, la concurrence incite les institutions à adopter des trajectoires de militarisation (sélection adverse), car la retenue individuelle est coûteuse.

2. Méthodologie et Cadre Théorique

L'approche de l'article est à la fois conceptuelle, comparative et mathématiquement modélisée.

Analyse Comparative : Les auteurs s'inspirent de trois domaines à haut risque ayant réussi à institutionnaliser le pouvoir de veto :
1. Non-prolifération nucléaire : Le rôle de l'AIEA (inspections obligatoires, traçage des matériaux, contrôle des transferts technologiques).
2. Éthique biomédicale : Le rôle des Comités de Protection des Personnes (CPP/IRB) qui ont un pouvoir d'arrêt avant la recherche et protègent contre les représailles.
3. Contrôle des exportations : Les régimes comme l'ITAR/EAR qui imposent des licences et des sanctions pour les technologies à double usage.
Modélisation Mathématique (Annexe A) :
- Les auteurs proposent un modèle formel pour démontrer pourquoi l'éthique sans pouvoir échoue.
- Ils définissent la relation : $(K \land \neg A) \Rightarrow M$ (Connaissance éthique sans Autorité $\Rightarrow$ Militarisation).
- Ils montrent que l'introduction d'un veto protégé $(V)$ change la probabilité de militarisation : $P(M | V) \ll P(M | \neg V)$ .
- Le modèle simule trois modes d'échec : la diffusion de responsabilité (la responsabilité diminue avec le nombre d'acteurs), la sélection adverse (la concurrence pousse vers moins de retenue), et le blanchiment éthique (la documentation remplace l'action).

3. Contributions Clés : Le Pouvoir de Veto Institutionnel

La contribution centrale est la proposition du « pouvoir de veto institutionnel » comme primitive de gouvernance. Ce n'est pas un refus arbitraire, mais une autorité formelle, juridiquement et procéduralement protégée, de bloquer l'utilisation ou la distribution de la recherche lorsque des risques crédibles de militarisation sont identifiés.

Les piliers de la proposition :

Ciblage des points de décision : Le veto s'applique aux transferts, aux licences et aux déploiements, pas à la recherche fondamentale ou à la publication (préservant la liberté académique).
Déclencheurs prédéfinis : Le veto est activé par des critères objectifs (ex: intégration dans des armes autonomes sans contrôle humain significatif, surveillance de groupes marginalisés, violations du droit international).
Leadership des communautés affectées : Une contribution majeure est l'exigence que les communautés les plus vulnérables aux utilisations militaires (minorités, populations surveillées, régions de conflit) dirigent la conception et l'exercice du pouvoir de veto. Cela corrige les biais épistémiques des institutions élites.
Protection contre les représailles : Mécanismes juridiques et carrières pour protéger les chercheurs et les administrateurs qui exercent ce veto.

4. Résultats et Scénarios de Mise en Œuvre

L'article ne se contente pas de théorie ; il propose cinq voies d'implémentation concrètes utilisant les structures existantes :

Modifications contractuelles universitaires : Intégration de clauses de veto dans les accords de transfert de technologie (TTO), imposant des restrictions d'usage et des droits d'audit.
Gouvernance au niveau des conférences : Exigence de divulgation des risques à double usage et attachement de conditions d'utilisation aux articles publiés.
Conditionnalité des subventions : Les agences de financement (NSF, DARPA, etc.) conditionnent l'octroi de fonds à la mise en place de structures de gouvernance de veto au sein des institutions.
Gouvernance des dépôts (Repositories) : Utilisation de métadonnées lisibles par machine pour restreindre l'accès aux modèles et datasets, avec des mécanismes de désactivation en cas de violation.
Normes communautaires : Codes de conduite professionnels contraignants et solidarité collective pour protéger les chercheurs refusant le financement militaire.

Résultats simulés (Annexe A) :
Les simulations montrent que sans veto, la responsabilité effective tend vers zéro et la militarisation augmente. Avec un veto appliqué, la responsabilité devient contraignante, la retenue est stabilisée et la sécurité des communautés est maximisée, même en présence de coûts de conformité.

5. Signification et Implications

Ce papier marque un tournant dans le discours sur la sécurité de l'IA :

Du symbolique au contraignant : Il déplace le débat de l'« exhortation éthique » (qui échoue systématiquement) vers la « responsabilité exécutoire ».
Reconception de la sécurité : La sécurité n'est plus seulement une question technique (alignement, interprétabilité) mais un problème de gouvernance nécessitant une redistribution du pouvoir.
Justice et Équité : En plaçant les communautés marginalisées au cœur du processus décisionnel, le papier propose un modèle de gouvernance qui adresse non seulement la militarisation, mais aussi les inégalités structurelles que l'IA militaire amplifie.
Faisabilité : L'article démontre que ces mécanismes ne nécessitent pas de nouveaux traités internationaux, mais peuvent être intégrés dans les contrats, les règlements de financement et les infrastructures logicielles existantes.

En conclusion, l'article soutient que le pouvoir de veto institutionnel est une condition préalable indispensable pour transformer les garde-fous symboliques en barrières réelles contre la militarisation de l'IA, permettant ainsi une désarmement significatif des modèles.