Fifty Years of Specification Completeness: What Aviation Certification Tells AI Governance About Epoch Limits, Proof Surfaces, and the Structural Gap
Cet article soutient que les cadres de gouvernance de l'IA manquent des exigences de complétude structurelle imposées dans la certification aéronautique — spécifiquement les limites d'époque, les surfaces de preuve et les architectures de preuves objectives — et propose le cadre à sept principes de PromptQ pour opérationnaliser ces propriétés transférables au niveau du document pour la gouvernance des systèmes d'IA stochastiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée centrale : Le problème du « Manuel d'instructions »
Imaginez que vous construisez une voiture autonome très complexe. Dans le monde de l'aviation (où les avions volent), il existe des règles strictes sur la manière de rédiger le manuel d'instructions du logiciel. Vous ne pouvez pas simplement dire : « Conduisez en toute sécurité ». Vous devez prouver que chaque phrase de ce manuel est reliée à un test spécifique, et vous devez prouver que le manuel cesse d'être valide si la météo change ou si les conditions de la route changent.
Cet article soutient que les documents de gouvernance de l'IA (les prompts, les règles et les politiques que nous écrivons pour dire à l'IA quoi faire) sont actuellement traités comme une liste de tâches informelle, alors que l'aviation traite ses manuels comme un contrat juridique.
L'auteur, Christo Zietsman, affirme : « Nous n'avons pas besoin de réparer l'IA elle-même pour l'instant (car l'IA est trop imprévisible). Au lieu de cela, réparons la paperasse qui dit à l'IA quoi faire. »
Voici les trois leçons principales que l'article tire de l'aviation et applique à l'IA :
1. La règle de la « Carte et de la Boussole » (Liaison structurée)
Dans l'aviation : Si le manuel du pilote dit « Tournez à gauche au niveau de la montagne », les ingénieurs doivent prouver qu'il existe un test spécifique qui vérifie si l'avion tourne bien à gauche à ce niveau de la montagne. S'il y a un morceau de code dans l'avion qui n'a pas de règle dans le manuel, c'est un échec. S'il y a une règle dans le manuel qui n'a pas de test, c'est aussi un échec. Tout doit être connecté.
Dans l'IA aujourd'hui : Nous donnons souvent à l'IA un prompt du type : « Sois utile et ne sois pas méchant ». Mais nous n'avons pas de liste de contrôle pour prouver ce que signifie « être utile », ni de test pour détecter quand l'IA est « méchante ». L'article dit que c'est comme donner à un pilote une carte avec des rues manquantes.
La solution : Chaque affirmation dans le manuel d'instructions d'une IA doit être liée à un moyen de vérifier si elle est vraie. Si vous ne pouvez pas la vérifier, elle ne devrait pas figurer dans le manuel.
2. La règle de la « Date d'expiration » (Limites d'époque)
Dans l'aviation : Un manuel de vol n'est valide que pour la météo d'aujourd'hui et la piste d'aujourd'hui. Si un nouveau système tempétueux apparaît, ou si la piste est fermée, ce manuel spécifique est instantanément « expiré ». Les pilotes doivent s'arrêter et obtenir un nouveau manuel mis à jour avant de voler.
Dans l'IA aujourd'hui : Nous écrivons une règle pour l'IA une fois et nous supposons qu'elle fonctionnera pour toujours. Nous ne disons pas : « Cette règle est seulement valable jusqu'à ce que l'actualité change » ou « Cette règle expire si l'IA commence à parler de politique ». L'article a constaté que 100 % des documents d'IA examinés avaient aucune date d'expiration. Ils sont comme un permis de conduire qui n'expire jamais, même si le conducteur oublie comment conduire ou si les lois de la route changent.
La solution : Chaque manuel d'instructions d'IA a besoin d'une date de péremption ou d'un déclencheur clair. Par exemple : « Si la source de données change, ce manuel est invalide. Arrêtez-vous et demandez à un humain. »
3. La règle de la « Preuve de travail » (Surfaces de preuve)
Dans l'aviation : Vous ne pouvez pas simplement dire : « Nous avons vérifié le moteur ». Vous devez montrer le carnet de bord spécifique, la clé spécifique utilisée et la signature de la personne qui a effectué la vérification. Les règles définissent exactement ce qui compte comme une preuve.
Dans l'IA aujourd'hui : Nous disons souvent : « Nous avons surveillé l'IA ». Mais l'article soutient que c'est vague. C'est comme dire : « J'ai vérifié le moteur », sans montrer le carnet de bord. L'article appelle cela une « Surface de preuve » (Proof Surface) — la manière spécifique et prédéfinie dont nous prouverons que l'IA fait son travail.
La solution : Avant même de déployer l'IA, nous devons écrire exactement quelles preuves nous collecterons pour prouver qu'elle fonctionne. Pas seulement « nous allons la surveiller », mais « nous compterons les erreurs et, si elles atteignent 5 %, nous arrêtons ».
Le « Fossé » et les preuves
L'article a examiné 34 documents d'instructions d'IA réels (comme des prompts de système et des fichiers de politique).
- Le résultat : 94 % d'entre eux ont échoué au test structurel de base.
- Le gros échec : Aucun d'entre eux ne comportait de date d'expiration ou de déclencheur pour arrêter leur utilisation. Ils ont tous été écrits comme s'ils fonctionneraient parfaitement pour toujours, peu importe les changements.
L'auteur compare cela à la communauté du renseignement des « Five Eyes » (un groupe de nations alliées) qui admettent ne pas encore avoir de méthodes matures pour évaluer ces règles d'IA. L'article dit : « Nous savons que les règles sont brisées, mais nous n'avons pas réparé la paperasse. »
La solution : « PromptQ »
L'article propose un nouveau cadre appelé PromptQ. Considérez cela comme une « Liste de contrôle de sécurité » pour rédiger des instructions d'IA. Cela force le rédacteur à répondre à sept questions avant que l'IA ne soit autorisée à fonctionner :
- À quoi ressemble le « succès » ?
- Comment le testons-nous ?
- Quelle est la limite (que l'IA ne doit pas faire) ?
- Quelles données utilise-t-elle ?
- Quel est le seuil de qualité (qui vérifie le travail) ?
- Le document est-il cohérent en lui-même ?
- Quand ce document expire-t-il ? (La pièce la plus manquante).
L'essentiel
L'article ne dit pas que l'IA est dangereuse parce que les mathématiques sont fausses. Il dit que l'IA est risquée parce que nos instructions pour elle sont négligées.
L'aviation a passé 30 ans à s'assurer que leurs manuels d'instructions sont précis, traçables et possèdent des dates d'expiration. La gouvernance de l'IA ne fait rien de tout cela pour le moment. L'article soutient que nous n'avons pas besoin d'attendre que l'IA devienne parfaite ; nous devons simplement commencer à écrire de meilleurs manuels d'instructions, plus stricts, pour l'IA que nous avons déjà.
En bref : Si vous ne laisseriez pas un pilote voler un avion avec un manuel qui n'a pas de date d'expiration et aucun moyen de prouver que les règles ont été suivies, vous ne devriez pas laisser une IA fonctionner sur un prompt qui manque de ces mêmes éléments.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.