The Machine Proposes. The Proof Disposes: Neuro-Symbolic Synthesis of Formally Verified Markov Usage Models from Natural Language Requirements
Dieses Paper stellt Neuro-Symbolic MBST vor, ein Framework, das die Synthese formal verifizierter Markov-Usage-Modelle aus natürlichen Sprachanforderungen durch die Integration von L*-Learning, grammatikbeschränkten LLMs und konvexer Optimierung automatisiert und dadurch eine hochpräzise Fehlererkennung sowie Abdeckung erreicht, die rein neuronale Baselines signifikant übertrifft, während gleichzeitig manuelle Modellierungsengpässe für sicherheitskritische Systeme eliminiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Auto zu fahren oder eine Website zu navigieren. Um dies sicher zu tun, benötigen Sie eine Karte von jeder möglichen Bewegung, die der Roboter machen kann. In der Welt des Softwaretestens wird diese Karte als „Usage Model“ (Nutzungsmodell) bezeichnet. Es ist wie ein Flussdiagramm, das jeden Zustand zeigt, in dem sich das System befinden kann (wie „bremsen“ oder „Warenkorb voll“) und die Wahrscheinlichkeit, von einem Zustand in einen anderen überzugehen (wie „80 % Chance, dass der Nutzer auf ‚Kaufen‘ klickt“).
Seit Jahrzehnten nutzen Experten diese Karten, um „statistische Tests“ durchzuführen. Anstatt nur einmal zu prüfen, ob der Code funktioniert, nutzt man die Karte, um tausende von zufälligen Reisen durch das System zu simulieren. Wenn die Karte genau ist, finden die Tests versteckte Fehler, die nur in seltenen, kniffligen Situationen auftreten. Es gibt jedoch ein riesiges Problem: Diese Karten von Hand zu zeichnen, ist langsam, langweilig und anfällig für menschliche Fehler. Es ist, als würde man versuchen, eine detaillierte Karte einer ganzen Stadt zu zeichnen, während man die Augen verbunden hat. Vor kurzem hatten wir ein neues Werkzeug: Künstliche Intelligenz (KI), die Text lesen und erraten kann, wie die Karte aussehen sollte. Aber hier ist der Haken: Die KI ist gut darin, die Form der Karte zu erraten, aber sie ist schlecht darin, die Zahlen richtig zu bekommen. Sie könnte eine Straße zeichnen, die nicht existiert, oder sagen, dass die Regenwahrscheinlichkeit bei 150 % liegt (was unmöglich ist). Dieses Paper fragt: Können wir die Kreativität der KI mit einem strengen mathematischen „Regelwerk“ kombinieren, um automatisch eine perfekte Karte zu erstellen?
Das Paper mit dem Titel „The Machine Proposes. The Proof Disposes“ stellt ein neues System namens NeSy-MBST vor. Denken Sie an ein Team-up zwischen einem kreativen Schriftsteller und einem strengen Mathematiklehrer. Der „Schriftsteller“ ist ein Large Language Model (LLM), eine KI, die natürliche Sprache Anforderungen liest (wie „Der Nutzer sollte in der Lage sein, Artikel in den Warenkorb zu legen“) und einen Entwurf der Karte des Systems vorschlägt. Der „Mathematiklehrer“ ist ein symbolischer Solver, ein Computerprogramm, das den Entwurf gegen die Gesetze der Mathematik prüft.
So arbeitet das Team zusammen:
- Der Vorschlag: Die KI liest die Anforderungen und skizziert die Zustände und Übergänge. Sie ist schnell und versteht die menschliche Sprache gut.
- Der Beweis: Der Mathematiklehrer prüft den Entwurf sofort. Hat die KI einen Übergang erfunden, der physisch unmöglich ist? Hat sie einen Schritt vergessen? Der Lehrer sagt: „Nein, diese Straße existiert nicht“ oder „Du hast eine Abzweigung übersehen“.
- Die Korrektur: Die KI erhält das Feedback, korrigiert die Karte und versucht es erneut.
- Die Zahlen: Sobald die Form der Karte perfekt ist, übernimmt der Mathematiklehrer die Zuweisung der Wahrscheinlichkeiten. Anstatt dass die KI Zahlen rät (was oft zu Fehlern führt), nutzt der Lehrer einen „konvexen Optimierer“, um die exakten Wahrscheinlichkeiten zu berechnen, damit sie korrekt 100 % ergeben und den realen Gebrauch widerspiegeln.
Die Forscher testeten dieses System an zwei Arten von Herausforderungen: einem autonomen Fahrzeug (einem selbstfahrenden Fahrzeugsystem) und zwei E-Commerce-Websites (einer Benutzer-Shopping-Seite und einem Admin-Dashboard). Sie verglichen ihr neues „Team-up“-System mit der Verwendung der KI allein und mit traditionellen manuellen Methoden.
Die Ergebnisse waren beeindruckend. Wenn nur die KI verwendet wurde, übersah das System etwa die Hälfte der wichtigen Pfade und machte Fehler in der Kartenstruktur. Mit dem NeSy-MBST-Team-up erreichte das System jedoch einen Wert von 0,9125 auf einer Skala, bei der 0,90 der Sicherheits-Schwellenwert für kritische Systeme wie selbstfahrende Autos ist. Das bedeutet, die KI allein war nicht gut genug, aber das Team-up bestand den Sicherheitstest.
Insbesondere bewältigte das neue System 85,7 % der möglichen Übergänge (die Pfade, die das System nehmen kann), während die Version nur mit KI 50 % abdeckte. Dies ist ein massiver Gewinn von 35,7 Prozentpunkten. In einfachen Worten ausgedrückt: Das neue System fand eine viel größere Vielfalt an potenziellen Fehlern, weil es nicht die „Sackgassen“ oder „unmöglichen Straßen“ übersah, die die KI allein ständig halluzinierte.
Das Paper untersuchte auch, wie gut das System die Zahlen bekam. Es verwendete eine Metrik namens Jensen–Shannon-Divergenz, um zu messen, wie nah die Wahrscheinlichkeitsschätzungen der KI an der echten Mathematik lagen. Das neue System erreichte einen Wert von 0,012, was extrem nah an der Perfektion liegt, während die KI-Version allein bei 0,157 lag. Dies beweist, dass der Mathematiklehrer die schlechte Mathematik der KI erfolgreich korrigiert hat.
Die Forscher führten ein spezielles Experiment durch, eine sogenannte „Ablationsstudie“, um zu sehen, welcher Teil des Teams die Hauptarbeit leistete. Sie fanden heraus, dass die symbolische Verifizierungsschleife (der Mathematiklehrer, der die Kartenstruktur prüft) der Hauptgrund dafür war, dass das System so viele mehr Pfade fand. Der konvexe Optimierer (der Mathematiklehrer, der die Wahrscheinlichkeitsberechnungen durchführt) war der Hauptgrund für die Genauigkeit der Zahlen. Die geschlossene Feedback-Schleife (bei der das System durch das Durchlaufen von Tests lernt) half ein wenig, aber die eigentliche Magie lag im anfänglichen Team-up.
Zusammenfassend lässt sich sagen, dass dieses Paper nahelegt, dass wir uns nicht zwischen der Geschwindigkeit von KI und der Sicherheit von menschlichen Experten entscheiden müssen. Indem wir die KI Vorschläge machen lassen und ein strenges mathematisches System die Ideen verifizieren und korrigieren lassen, können wir Software-Testkarten erstellen, die sowohl schnell zu erstellen als auch sicher genug für kritische Systeme sind. Die Autoren merken an, dass dies für die getesteten Systeme (bis zu 42 Zustände) sehr gut funktioniert, aber weitere Arbeit nötig ist, um zu sehen, ob es auf massive, komplexe industrielle Systeme skalierbar ist. Aber für den Moment haben sie gezeigt, dass „The Machine Proposes“ ein großartiger Anfang ist, solange „The Proof Disposes“ jegliche Fehler beseitigt, bevor die endgültige Karte verwendet wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.