Fifty Years of Specification Completeness: What Aviation Certification Tells AI Governance About Epoch Limits, Proof Surfaces, and the Structural Gap
Dit artikel betoogt dat AI-governanceframeworks de eisen aan structurele volledigheid missen die worden afgedwongen bij luchtvaartcertificering—specifiek epoch-limieten, bewijsoppervlakken en architecturen voor objectief bewijs—en stelt PromptQ's zevenprincipes-framework voor om deze overdraagbare documentniveau-eigenschappen te operationaliseren voor het besturen van stochastische AI-systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: Het "Instructiehandleiding"-probleem
Stel je voor dat je een zeer complexe, zelfrijdende auto bouwt. In de luchtvaartwereld (waar vliegtuigen vliegen) zijn er strikte regels over hoe je de instructiehandleiding voor de software schrijft. Je kunt niet simpelweg zeggen: "Rij veilig." Je moet bewijzen dat elke zin in die handleiding verbonden is aan een specifieke test, en je moet bewijzen dat de handleiding niet meer geldig is als het weer verandert of de wegomstandigheden veranderen.
Dit artikel betoogt dat AI-governance documenten (de prompts, regels en beleidsregels die we schrijven om AI te vertellen wat het moet doen) momenteel worden behandeld als een informele to-do lijst, terwijl de luchtvaart haar handleidingen behandelt als een juridisch contract.
De auteur, Christo Zietsman, zegt: "We hoeven de AI zelf nu niet te repareren (omdat AI te onvoorspelbaar is). Laten we in plaats daarvan de papieren werkelijkheid aanpassen die de AI vertelt wat hij moet doen."
Hier zijn de drie belangrijkste lessen die het artikel uit de luchtvaart haalt en toepast op AI:
1. De "Kaart en Kompas"-regel (Gestructureerde Koppeling)
In de luchtvaart: Als een piloothandleiding zegt "Sla linksaf bij de berg", dan moeten de ingenieurs bewijzen dat er een specifieke test is die controleert of het vliegtuig inderdaad linksaf slaat bij die berg. Als er een stuk code in het vliegtuig zit dat geen regel in de handleiding heeft, is dat een fout. Als er een regel in de handleiding staat die geen test heeft, is dat ook een fout. Alles moet met elkaar verbonden zijn.
In AI vandaag de dag: We geven AI vaak een prompt zoals: "Wees behulpzaam en wees niet gemeen." Maar we hebben geen checklist om te bewijzen wat "behulpzaam" precies inhoudt, of een test om te vangen wanneer de AI "gemeen" is. Het artikel zegt dat dit is als het geven van een kaart aan een piloot met ontbrekende straten.
De oplossing: Elke bewering in de instructiehandleiding van een AI moet gekoppeld zijn aan een manier om te controleren of deze waar is. Als je het niet kunt controleren, hoort het niet in de handleiding thuis.
2. De "Houdbaarheidsdatum"-regel (Epoch Limieten)
In de luchtvaart: Een vluchtmanual is alleen geldig voor het weer van vandaag en de landingsbaan van vandaag. Als er een nieuw stormsysteem verschijnt, of als de landingsbaan gesloten is, is die specifieke handleiding direct "verlopen". De piloten moeten stoppen en een nieuwe, bijgewerkte handleiding ophalen voordat ze mogen vliegen.
In AI vandaag de dag: We schrijven één keer een AI-regel en gaan ervan uit dat deze voor altijd werkt. We zeggen niet: "Deze regel is alleen geldig totdat het nieuws verandert" of "Deze regel vervalt als de AI over politiek begint te praten." Het artikel stelde vast dat 100% van de AI-documenten die zij onderzochten geen enkele vervaldatum had. Ze zijn als een rijbewijs dat nooit verloopt, zelfs niet als de bestuurder vergeet hoe hij moet rijden of als de verkeerswetten veranderen.
De oplossing: Elke AI-instructiehandleiding heeft een duidelijke "Gebruik vóór"-datum of een trigger nodig. Bijvoorbeeld: "Als de databron verandert, is deze handleiding ongeldig. Stop en vraag een mens om hulp."
3. De "Bewijs van Werk"-regel (Proof Surfaces)
In de luchtvaart: Je kunt niet alleen zeggen: "We hebben de motor gecontroleerd." Je moet het specifieke logboek laten zien, de specifieke moersleutel die is gebruikt, en de handtekening van de persoon die de controle heeft uitgevoerd. De regels definiëren exact wat telt als bewijs.
In AI vandaag de dag: We zeggen vaak: "We hebben de AI gemonitord." Maar het artikel stelt dat dit vaag is. Het is als zeggen: "Ik heb de motor gecontroleerd," zonder het logboek te tonen. Het artikel noemt dit een "Proof Surface" (bewijsoppervlak): de specifieke, vooraf gedefinieerde manier waarop we zullen bewijzen dat de AI zijn werk doet.
De oplossing: Voordat we de AI überhaupt inzetten, moeten we exact opschrijven welk bewijs we zullen verzamelen om te bewijzen dat het werkt. Niet alleen "we zullen het in de gaten houden", maar "we zullen de fouten tellen en als deze 5% bereiken, stoppen we."
De "Kloof" en het Bewijs
Het artikel keek naar 34 echte AI-instructiedocumenten (zoals systeem-prompts en beleidsbestanden).
- De resultaten: 94% van de documenten faalde op de basisstructuurtest.
- De grote fout: Geen enkele van de documenten had een vervaldatum of een trigger voor wanneer men ermee moet stoppen. Ze waren allemaal geschreven alsof ze voor altijd perfect zouden werken, ongeacht wat er verandert.
De auteur vergelijkt dit met de "Five Eyes" inlichtingencommunity (een groep bevriende naties) die toegeeft dat ze nog geen volwassen manieren hebben om deze AI-regels te evalueren. Het artikel zegt: "We weten dat de regels kapot zijn, maar we hebben de papierwinkel nog niet gefikst."
De Oplossing: "PromptQ"
Het artikel stelt een nieuw framework voor genaamd PromptQ. Zie dit als een "Veiligheidschecklist" voor het schrijven van AI-instructies. Het dwingt de schrijver om zeven vragen te beantwoorden voordat de AI mag draaien:
- Hoe ziet "succes" eruit?
- Hoe testen we daarop?
- Wat is de grens (wat de AI niet mag doen)?
- Welke data wordt er gebruikt?
- Wat is de kwaliteitscontrole (wie controleert het werk)?
- Is het document intern consistent?
- Wanneer verloopt dit document? (het meest ontbrekende onderdeel).
De Kernboodschap
Het artikel zegt niet dat AI gevaarlijk is omdat de wiskunde fout is. Het zegt dat AI risicovol is omdat onze instructies voor het ervan beleef zijn.
De luchtvaart heeft 30 jaar besteed aan het zorgen dat hun instructiehandleidingen nauwkeurig, traceerbaar en voorzien van vervaldatums zijn. AI-governance doet momenteel niets van dat alles. Het artikel stelt dat we niet hoeven te wachten tot AI perfect is; we moeten gewoon beginnen met het schrijven van betere, strengere instructiehandleidingen voor de AI die we nu al hebben.
Kortom: Als je een piloot niet zou laten vliegen met een handleiding die geen vervaldatum heeft en geen manier biedt om te bewijzen dat de regels zijn gevolgd, dan zou je een AI ook niet moeten laten draaien op een prompt die diezelfde zaken mist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.