Practical Judgment, Virtue, and Intuition in the Use of Opaque AI-Enabled Systems

Résumé technique : Jugement pratique, vertu et intuition dans l'utilisation des systèmes assistés par l'IA opaques

Énoncé du problème
L'article traite des défis posés par le déploiement croissant de systèmes « opaques » assistés par l'IA, particulièrement ceux utilisant l'apprentissage automatique (ML) sur de grands ensembles de données et des réseaux de neurones profonds (DNN). Ces systèmes fonctionnent comme des « boîtes noires », où le lien causal entre les entrées et les sorties est inconnaissable tant pour les utilisateurs que pour les développeurs. Cette opacité est accentuée lorsque ces systèmes sont intégrés dans des plateformes autonomes capables d'exécuter des « fonctions critiques » sans supervision humaine contemporaine.

Les auteurs identifient que l'opacité crée des risques éthiques, juridiques et opérationnels significatifs, notamment :

• Imprévisibilité : L'incapacité de prédire de manière fiable le comportement du système ou d'exclure des sorties dangereuses spécifiques.
• Érosion du contrôle : La difficulté de maintenir un contrôle humain significatif (CHM) et de prévenir les « vides de responsabilité ».
• Risques opérationnels : L'imprévisibilité mine la confiance, augmente le potentiel d'usage négligent et entrave une collaboration efficace homme-machine.
• Limites des solutions actuelles : Bien que des solutions techniques telles que l'IA explicable (XAI) et des directives institutionnelles soient proposées, les auteurs soutiennent qu'elles sont insuffisantes à elles seules. La XAI est souvent technologiquement exigeante et peut ne pas résoudre pleinement l'opacité dans des contextes autonomes complexes. De plus, s'appuyer uniquement sur des correctifs techniques revient à ignorer le potentiel des traits distinctivement humains pour atténuer ces risques.

Méthodologie et cadre théorique
L'article emploie une approche normative et philosophique ancrée dans l'éthique de la vertu, s'appuyant spécifiquement sur la tradition aristotélicienne. Plutôt que de proposer une nouvelle architecture technique ou une expérience empirique, les auteurs construisent un cadre conceptuel arguant de la centralité du caractère humain dans le déploiement de l'IA.

Composantes théoriques clés :

• Éthique de la vertu : Déplacement de l'accent de la conformité basée sur les règles vers la culture de traits de caractère (vertus) tels que le courage, l'intégrité et la sagesse pratique (phronesis).
• Jugement pratique (Phronesis) : Définie comme une méta-vertu permettant aux agents de naviguer dans des situations qui résistent à une codification ou à une application de règles précises. Cela implique de percevoir des facteurs éthiquement saillants (par exemple, le scénario du « soldat nu » où un combattant se baigne) que des algorithmes rigides pourraient manquer.
• Intuition : Caractérisée non pas comme une faculté mystique, mais comme une sensibilité intuitive entraînée, développée par l'expérience, permettant une évaluation situationnelle rapide.
• Le jugement comme une ressource finie : Les auteurs introduisent une conceptualisation novatrice du jugement comme une ressource cognitive épuisable. Ils soutiennent que les individus possèdent un « réservoir » limité de jugement qui peut être épuisé par la fatigue, la surcharge cognitive ou le stress émotionnel.

L'analyse utilise le domaine militaire comme exemple principal en raison des enjeux élevés des systèmes d'armes autonomes et de la prévalence existante de l'éthique de la vertu dans l'entraînement militaire, bien que les auteurs affirment que leurs arguments s'appliquent largement à d'autres domaines comme la médecine.

Contributions clés

1. Recadrer les limites humaines comme des atouts : L'article soutient que les limitations cognitives humaines (recours aux heuristiques, aux analogies et à l'intuition) ne sont pas simplement des bogues à corriger, mais des caractéristiques qui peuvent être exploitées. Les humains excellent à identifier « ce qui importe » dans des situations complexes et non codifiables, une capacité dont l'IA opaque est dépourvue.
2. Le modèle du « jugement comme ressource » : Les auteurs proposent que la décision de déployer des systèmes opaques soit gouvernée par une analyse coûts-avantages de la capacité de jugement de l'opérateur. Le déploiement n'est justifié que lorsque l'alternative (se fier uniquement au jugement humain) conduirait à l'épuisement rapide du réservoir de jugement de l'opérateur, entraînant des erreurs dangereuses.
3. Opérationnaliser la vertu dans le travail d'équipe avec l'IA : L'article souligne comment un « travail d'équipe riche » avec l'IA diffère d'une simple utilisation. Cela implique qu'un opérateur développe une relation intuitive, de type « faire connaissance » avec le système — comprenant ses capacités, ses limites et ses modes de défaillance par l'expérience plutôt que par la seule transparence technique.
4. Déploiement hiérarchique et responsabilité : Les auteurs suggèrent que l'autorité de déployer des systèmes opaques doit être stratifiée. Les commandants de haut niveau doivent évaluer les vertus et les capacités de jugement des subordonnés. Si un subordonné manque du caractère nécessaire (ex. : honnêteté, réflexivité) pour évaluer ses propres limites, il doit être restreint du déploiement de tels systèmes.
5. Atténuer la déqualification : L'article s'oppose à la crainte de la déqualification en soutenant qu'une approche fondée sur la vertu encourage une posture de « non-déploiement par défaut ». Les systèmes ne sont utilisés que lorsque le jugement humain est submergé, préservant ainsi la nécessité du jugement humain et déplaçant potentiellement le focus de la dégradation des compétences techniques vers le réapprentissage des vertus humanistes.

Résultats et arguments
L'article ne présente pas de données empiriques ou de résultats expérimentaux. À la place, ses « résultats » sont des conclusions logiques dérivées de l'application de l'éthique de la vertu au problème de l'opacité :

• Stratégie d'atténuation : Le jugement pratique et la vertu peuvent atténuer les risques d'opacité en permettant aux humains de détecter quand un système opaque opère à la limite de sa capacité ou quand des facteurs situationnels rendent le résultat d'un système éthiquement suspect, même sans comprendre la logique interne du système.
• Déploiement contextuel : Il n'existe pas de règle universelle pour le déploiement de systèmes opaques. La décision est intrinsèquement spécifique au contexte, reposant sur l'auto-évaluation honnête de l'opérateur concernant sa capacité de jugement actuelle et les exigences spécifiques de la mission.
• Complémentarité : Les approches humanistes ne remplacent pas les solutions techniques (comme la XAI) ou les règles institutionnelles, mais sont nécessaires pour les rendre efficaces. Les règles ne peuvent couvrir chaque exception ; seule la sageszza pratique peut identifier quand une règle ne doit pas s'appliquer ou quand un système ne doit pas être utilisé.

Signification et revendications
Les auteurs affirment que leur approche offre un complément nécessaire aux cadres techniques et institutionnels existants. Ils positionnent leur proposition au sein d'un modèle de sécurité de type « fromage suisse », où les valeurs humanistes agissent comme une couche de défense qui déplace le lieu du risque, garantissant que les failles des garde-fous techniques et institutionnels ne s'alignent pas pour causer une défaillance catastrophique.

L'article affirme que :

• La responsabilité ne peut être éliminée : Bien que les aspects fonctionnels d'un rôle puissent être automatisés, la responsabilité demeure avec l'humain. Cette responsabilité exige l'exercice du jugement pratique, qui est non quantifiable et ancré dans le caractère.
• L'opacité est gérable : En se concentrant sur le développement des vertus humaines (le courage d'admettre ses limites, l'intégrité de les respecter, la sagesse d'évaluer les situations), les organisations peuvent déployer de manière responsable des systèmes opaques et autonomes sans nécessiter une transparence totale des mécanismes internes de l'IA.
• Conception centrée sur l'humain : La signification ultime réside dans la reconnaissance que l'« humain dans la boucle » n'est pas seulement un interrupteur de sécurité, mais un agent moral dont le caractère détermine la sécurité et l'efficacité de l'ensemble du système.

Les auteurs concluent que, bien qu'ils ne résolvent pas le problème de l'opacité, leur cadre fournit une méthode robuste et centrée sur l'humain pour gérer les risques associés, garantissant que le déploiement des technologies émergentes reste aligné sur les normes éthiques et juridiques grâce à la culture de la vertu humaine.