PROVE-RT: Generating Mechanized Theorem Prover Scripts for Real-Time Systems using LLMs
Dieses Paper stellt PROVE-RT vor, ein LLM-gestütztes Framework, das Abhängigkeits-bewusste Skizzen, Dokumentenabruf und gestufte Generierung nutzt, um die Erstellung von mechanisierten PROSA/ROCQ-Skripten für die Echtzeit-Terminierbarkeit Analyse erfolgreich zu automatisieren und dabei eine Erfolgsquote von 44,7 % erzielt, wo direktes Prompting versagt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen eine gewaltige, komplizierte Uhrwerkmaschine, bei der jedes einzelne Zahnrad im exakt richtigen Moment rotieren muss. Wenn auch nur ein winziges Zahnrad verrutscht, bleibt die gesamte Maschine stehen, und in der realen Welt könnte dies bedeuten, dass ein selbstfahrendes Auto ein Stoppschild übersieht oder ein Herzschrittmacher nicht pulsiert. Dies ist die Welt der Echtzeitsysteme: Computer, die Dinge nicht nur korrekt, sondern rechtzeitig erledigen müssen. Jahrzehntelang haben Ingenieure überprüft, ob diese Maschinen funktionieren würden, indem sie lange, komplexe mathematische Beweise auf Papier niederschrieben – wie ein Detektiv, der ein Rätsel mit Notizbuch und Bleistift löst. Doch da diese Maschinen immer komplexer werden, werden jene Papierbeweise unübersichtlich, schwer zu überprüfen und fehleranfällig. Um dies zu beheben, erfanden Wissenschaftler einen „digitalen Beweisprüfer“ (ein Werkzeug namens PROSA/ROCQ), der wie ein superstrenger Roboter-Richter fungiert. Dieser Robet kann die Mathematik lesen und sagen: „Ja, das ist zu 100 % wahr“ oder „Nein, hier hast du einen Fehler gemacht“. Das Problem? Einem Menschen beizubringen, die Anweisungen für diesen Roboter zu schreiben, ist unglaublich schwierig, langsam und erfordert ein Verständnis auf PhD-Niveau sowohl der Mathematik als auch des Computercodes.
Hier kommt PROVE-RT ins Spiel, ein neues Werkzeug, das versucht, einer „intelligenten KI-Assistentin“ (einem Large Language Model) beizubringen, diese Roboteranweisungen für uns zu schreiben. Stellen Sie sich das wie die Einstellung eines brillanten, aber leicht verwirrten Praktikanten vor, der viel über Mathematik weiß, aber noch nie das spezifische Regelwerk für diese Uhrwerkmaschine gesehen hat. Wenn man den Praktikanten einfach nur bittet, „den Beweis zu schreiben“, wird er vielleicht Regeln erfinden, die zwar gut klingen, aber tatsächlich falsch sind. PROVE-RT ist der kluge Manager, der dem Praktikanten nicht einfach ein leeres Blatt hinlegt. Stattdessen gibt der Manager ihm eine schrittweise Skizze des Plans, einen Stapel der exakten Seiten aus dem Regelwerk, die er benötigt, und ein System, um seine Arbeit zu überprüfen, bevor er sie abgibt. Die Arbeit zeigt, dass die KI allein bei dieser spezifischen Aufgabe ziemlich schlecht ist (sie schafft es in weniger als 1 % der Fälle), aber mit der Hilfe dieses „Manager“-Systems kann die KI die korrekten Anweisungen für etwa 45 % der Aufgaben erfolgreich schreiben. Es ist noch kein Zauberstab, der alles löst, aber es ist ein riesiger Sprung nach vorn, um Computer dabei zu helfen, sicherere und zuverlässigere Maschinen zu bauen.
Das Problem: Der „Papierbeweis“-Engpass
Lange Zeit haben Ingenieure „Stift-und-Papier“-Beweise verwendet, um zu beweisen, dass ihre Echtzeitsysteme sicher sind. Es ist ein wenig so, als würde man versuchen, einen Wolkenkratzer zu bauen, indem man die Blaupausen auf eine Serviette zeichnet. Für kleine Gebäude funktioniert das, aber wenn man zu einem Wolkenkratzer gelangt, wird die Serviette unordentlich, und es ist schwer, den winzigen Fehler zu finden, der das gesamte Konstrukt zum Einsturz bringen würde.
Um dies zu beheben, entwickelten Forscher PROSA, eine digitale Bibliothek aus Regeln und Beweisen, die ein Computer überprüfen kann. Es ist wie der Übergang von einer Serviette zu einer 3D-Simulation, in der der Computer einem sofort mitteilt, wenn ein Balken zu schwach ist. Aber hier liegt der Haken: Das Schreiben des Codes für diese 3D-Simulation ist unglaublich schwierig. Es erfordert einen menschlichen Experten, um seine unordentlichen Serviettenskizzen in eine starre, computerelesbare Sprache zu übersetzen. Es ist so schwierig, dass selbst einfache Änderungen am Design den Code brechen können, was stundenlanges, mühsames Umschreiben erfordert.
Die Lösung: PROVE-RT (Der „smarte Manager“)
Die Autoren dieser Arbeit erkannten, dass KI (Large Language Models) zwar großartig darin ist, Code zu schreiben und mathematische Probleme zu lösen, sie aber verwirrt ist, wenn sie gebeten wird, Code für diesen spezifischen „Roboter-Richter“ (PROSA) ohne Hilfe zu schreiben. Die KI kennt das spezifische Vokabular oder die strikte Reihenfolge der Regeln nicht.
Also bauten sie PROVE-RT, ein Framework, das als Brücke zwischen den unordentlichen menschlichen Ideen und dem strengen Computercode fungiert. Sie baten die KI nicht einfach nur, es zu „tun“. Stattdessen brachen sie die Aufgabe in vier verschiedene Schritte herunter, wie ein Fließband in einer Fabrik:
- Die Skizze: Zuerst nimmt das System den ursprünglichen Papierbeweis und nutzt eine KI, um ihn in eine klare, schrittweise „informelle Skizze“ zu verwandeln. Es ist wie die Umwandlung eines komplexen juristischen Vertrags in eine einfache Aufzählung dessen, was passieren muss.
- Die Bibliotheksrecherche: Als Nächstes durchsucht das System eine massive Bibliothek der PROSA-Dokumentation, um genau die Regeln und Beispiele zu finden, die die KI für diesen spezifischen Schritt benötigt. Es ist, als würde der Manager dem Praktikanten die exakte Seite des Regelwerks reichen, die er braucht, anstatt ihn raten zu lassen.
- Das Skelett: Die KI baut dann das „Skelett“ des Codes. Dies ist die Struktur: die Namen der Variablen, die Datentypen und die Problemstellung. Entscheidend ist, dass die KI den eigentlichen „Beweis“-Teil leer lässt (markiert als „Admitted“, was bedeutet: „Vertrau mir, ich fülle das später aus“). Dies stellt sicher, dass die Struktur korrekt ist, bevor die KI versucht, die schwierige Mathematik zu erledigen.
- Der Abschluss: Schließlich füllt die KI die leeren Beweisteile aus. Wenn der Computer-Richter sagt: „Dies kompiliert nicht“, nutzt das System diese Fehlermeldung, um der KI zu sagen: „Versuche es erneut, aber korrigiere diesen spezifischen Fehler.“
Was sie herausgefunden haben (Die Ergebnisse)
Das Team testete dieses System an einer riesigen Sammlung von 1.191 Echtzeit-System-Papieren und erstellte einen Datensatz von über 13.000 „Skizzen“, um ihr Werkzeug zu trainieren und zu testen. Sie verglichen PROVE-RT mit dem direkten Abfragen der besten KI-Modelle, um den Code zu schreiben.
Die Ergebnisse waren deutlich. Wenn sie die KI einfach nur baten, den Code zu schreiben (die Methode des „Direct Prompting“), scheiterte sie fast vollständig. Sie schaffte 0 % der Aufgaben mit einem Modell und nur 0,33 % mit einem anderen. Die KI erfand Regeln und schrieb Code, der zwar wie PROSA aussah, aber innerhalb des Systems nicht funktionierte.
Als sie jedoch das PROVE-RT „Manager“-System verwendeten, sprang die Erfolgsquote auf 44,7 %. Das bedeutet, dass die KI erfolgreich einen funktionierenden, computergeprüften Beweis für fast die Hälfte der getesteten komplexen Scheduling-Probleme generierte.
Warum das wichtig ist
Die Arbeit legt nahe, dass wir uns nicht einfach darauf verlassen können, dass eine KI „alles weiß“ über ein Nischenfeld wie Echtzeitsysteme. Die KI benötigt Führung. Indem wir das Problem in Teilschritte zerlegen, der KI den richtigen Kontext geben (Retrieval) und ihre Arbeit in Phasen prüfen (erst das Skelett, dann der Beweis), können wir eine verwirrte KI in eine hilfreiche Assistentin verwandeln.
Die Autoren merken an, dass 44,7 % ein großartiger Anfang sind, aber noch nicht perfekt. Das System hat immer noch Schwierigkeiten mit den komplexesten Problemen, die lange Abhängigkeitsketten aufweisen (wie ein Wolkenkratzer mit 100 Stockwerken, bei denen jedes Stockwerk vom darunterliegenden abhängt). Aber diese Arbeit beweist, dass wir mit den richtigen Werkzeugen damit beginnen können, die Erstellung dieser sicherheitskritischen Beweise zu automatisieren, was unsere Echtzeitsysteme sicherer und einfacher zertifizierbar macht. Es ist ein Schritt in Richtung einer Zukunft, in der Computer uns helfen, zu beweisen, dass unsere Maschinen nicht versagen, anstatt dass wir mühsam versuchen, es selbst zu beweisen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.