Fifty Years of Specification Completeness: What Aviation Certification Tells AI Governance About Epoch Limits, Proof Surfaces, and the Structural Gap
Dieses Paper argumentiert, dass KI-Governance-Frameworks die in der Luftfahrtzertifizierung erzwungenen Anforderungen an die strukturelle Vollständigkeit – insbesondere Epochenlimits, Nachweisflächen und Architekturen für objektive Evidenz – vermissen lassen, und schlägt PromptQs Sieben-Prinzipien-Framework vor, um diese übertragbaren dokumentenebeneigenen Eigenschaften für die Steuerung stochastischer KI-Systeme zu operationalisieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Das „Bedienungsanleitung“-Problem
Stellen Sie sich vor, Sie bauen ein sehr komplexes, selbstfahrendes Auto. In der Luftfahrt (wo Flugzeuge fliegen) gibt es strenge Regeln dafür, wie man die Bedienungsanleitung für die Software schreibt. Man kann nicht einfach sagen: „Fahre sicher.“ Man muss beweisen, dass jeder einzelne Satz in dieser Anleitung mit einem spezifischen Test verknüpft ist, und man muss beweisen, dass die Anleitung ihre Gültigkeit verliert, wenn sich das Wetter oder die Straßenbedingungen ändern.
Dieses Paper argumentiert, dass KI-Governance-Dokumente (die Prompts, Regeln und Richtlinien, die wir schreiben, um der KI zu sagen, was sie tun soll) derzeit wie eine lockere To-do-Liste behandelt werden, während die Luftfahrt ihre Handbücher wie einen rechtlich bindenden Vertrag behandelt.
Der Autor, Christo Zietsman, sagt: „Wir müssen nicht die KI selbst reparieren (da diese zu unvorhersehbar ist). Stattdessen sollten wir den Papierkram korrigieren, der der KI sagt, was sie tun soll.“
Hier sind die drei Hauptlektionen, die dieses Paper aus der Luftfahrt übernimmt und auf die KI überträgt:
1. Die „Karte-und-Kompass“-Regel (Strukturierte Verknüpfung)
In der Luftfahrt: Wenn in einem Pilotenhandbuch steht: „Links am Berg vorbeifahren“, müssen die Ingenieure beweisen, dass es einen spezifischen Test gibt, der prüft, ob das Flugzeug tatsächlich links am Berg vorbeifliegt. Wenn es im Flugzeug einen Code gibt, der keine Regel im Handbuch hat, ist das ein Fehler. Wenn es eine Regel im Handbuch gibt, die keinen Test hat, ist das ebenfalls ein Fehler. Alles muss miteinander verbunden sein.
In der KI heute: Wir geben einer KI oft einen Prompt wie: „Sei hilfreich und sei nicht gemein.“ Aber wir haben keine Checkliste, um zu beweisen, was „hilfreich“ bedeutet, oder einen Test, um abzufangen, wenn die KI „gemein“ ist. Das Paper sagt, das ist so, als würde man einem Piloten eine Karte mit fehlenden Straßen geben.
Die Lösung: Jede Behauptung in der Bedienungsanleitung einer KI muss mit einer Möglichkeit verknüpft sein, zu prüfen, ob sie wahr ist. Wenn man es nicht prüfen kann, sollte es nicht im Handbuch stehen.
2. Die „Verfallsdatum“-Regel (Epoch-Limits)
In der Luftfahrt: Ein Flughandbuch ist nur gültig für das Wetter von heute und die Landebahn von heute. Wenn ein neues Sturmsystem auftaucht oder die Landebahn gesperrt wird, ist dieses spezifische Handbuch sofort „abgelaufen“. Die Piloten müssen anhalten und ein neues, aktualisiertes Handbuch anfordern, bevor sie weiterfliegen.
In der KI heute: Wir schreiben einmal eine KI-Regel und nehmen an, dass sie ewig funktioniert. Wir sagen nicht: „Diese Regel ist nur gültig, bis sich die Nachrichtenlage ändert“ oder „Diese Regel läuft ab, wenn die KI anfängt, über Politik zu sprechen.“ Das Paper stellte fest, dass 100 % der untersuchten KI-Dokumente kein Ablaufdatum hatten. Sie sind wie ein Führerschein, der niemals abläuft, selbst wenn der Fahrer vergisst, wie man fährt, oder sich die Verkehrsregeln ändern.
Die Lösung: Jedes KI-Handbuch benötigt ein klares „Gültig bis“-Datum oder einen Auslöser. Zum Beispiel: „Wenn sich die Datenquelle ändert, ist dieses Handbuch ungültig. Stoppen und einen Menschen fragen.“
3. Die „Proof of Work“-Regel (Proof Surfaces)
In der Luftfahrt: Man kann nicht einfach sagen: „Wir haben den Motor überprüft.“ Man muss das spezifische Logbuch, den spezifischen Schraubenschlüssel und die Unterschrift der Person vorzeigen, die die Prüfung durchgeführt hat. Die Regeln definieren genau, was als Beweis zählt.
In der KI heute: Wir sagen oft: „Wir haben die KI überwacht.“ Aber das Paper argumentiert, dass dies vage ist. Es ist, als würde man sagen: „Ich habe den Motor geprüft“, ohne das Logbuch zu zeigen. Das Paper nennt dies eine „Proof Surface“ (Beweisoberfläche) – die spezifische, vordefinierte Art und Weise, wie wir beweisen, dass die KI ihre Aufgabe erfüllt.
Die Lösung: Bevor wir die KI überhaupt einsetzen, müssen wir genau aufschreiben, welche Beweise wir sammeln werden, um zu belegen, dass sie funktioniert. Nicht nur „wir werden sie beobachten“, sondern „wir werden die Fehler zählen, und wenn sie 5 % erreichen, stoppen wir“.
Die „Lücke“ und die Beweise
Das Paper untersuchte 34 reale KI-Instruktionsdokumente (wie System-Prompts und Richtlinien-Dateien).
- Das Ergebnis: 94 % von ihnen scheiterten am grundlegenden Strukturtest.
- Das Hauptversagen: Keines von ihnen hatte ein Ablaufdatum oder einen Auslöser, wann man die Nutzung stoppen sollte. Sie wurden alle so geschrieben, als würden sie für immer perfekt funktionieren, egal was sich ändert.
Der Autor vergleicht dies mit der „Five Eyes“-Geheimdienstgemeinschaft (einer Gruppe verbündeter Nationen), die zugibt, dass sie noch keine ausgereiften Methoden zur Bewertung dieser KI-Regeln besitzt. Das Paper sagt: „Wir wissen, dass die Regeln kaputt sind, aber wir haben den Papierkram noch nicht repariert.“
Die Lösung: „PromptQ“
Das Paper schlägt ein neues Framework namens PromptQ vor. Denken Sie an es als eine „Sicherheits-Checkliste“ für das Schreiben von KI-Instruktionen. Es zwingt den Verfasser, sieben Fragen zu beantworten, bevor die KI laufen darf:
- Wie sieht „Erfolg“ aus?
- Wie testen wir ihn?
- Wo liegt die Grenze (was die KI nicht tun soll)?
- Welche Daten verwendet sie?
- Was ist das Qualitätsgate (wer prüft die Arbeit)?
- Ist das Dokument in sich konsistent?
- Wann läuft dieses Dokument ab? (Das am meisten fehlende Puzzleteil).
Das Fazntaz (The Bottom Line)
Das Paper sagt nicht, dass die KI gefährlich ist, weil die Mathematik falsch ist. Es sagt, dass die KI riskant ist, weil unsere Anweisungen an sie schlampig sind.
Die Luftfahrt hat 30 Jahre lang daran gearbeitet, sicherzustellen, dass ihre Handbücher präzise, rückverfolgbar und mit Ablaufdaten versehen sind. Die KI-Governance tut derzeit gar nichts davon. Das Paper argumentt, dass wir nicht darauf warten müssen, bis die KI perfekt ist; wir müssen einfach nur anfangen, bessere, strengere Bedienungsanleitungen für die KI zu schreiben, die wir bereits haben.
Kurz gesagt: Wenn Sie einen Piloten nicht mit einem Handbuch fliegen lassen würden, das kein Ablaufdatum und keinen Weg hat, die Einhaltung der Regeln zu beweisen, dann sollten Sie auch keine KI auf einem Prompt laufen lassen, dem diese Dinge fehlen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.