AIVV: Neuro-Symbolic LLM Agent-Integrated Verification and Validation for Trustworthy Autonomous Systems

Der Artikel stellt AIVV vor, ein hybrides Framework, das spezialisierte LLM-Agenten nutzt, um den manuellen Validierungsprozess für autonome Systeme zu automatisieren und so skalierbare, vertrauenswürdige Verifikations- und Validierungsergebnisse zu erzielen.

Das Wesentliche

Stellen Sie sich vor, Sie steuern ein hochmodernes, autonomes U-Boot (ein UUV), das tief im Ozean arbeitet. Ihre Aufgabe ist es, sicherzustellen, dass das Boot nicht nur funktioniert, sondern auch wirklich sicher ist, selbst wenn es stürmisch wird oder Sensoren verrückt spielen.

Das Problem ist: Die Computer, die normalerweise auf solche Fehler achten (künstliche Intelligenz), sind sehr gut darin, zu merken, wenn etwas „anders" ist. Aber sie sind oft zu ängstlich. Wenn das Boot eine normale Wende macht oder ein Sensor kurzzeitig durch Wellen gestört wird, schreit der Computer: „FEHLER! ALARM!" Das nennt man einen falschen Alarm.

Früher musste ein menschlicher Experte am Computer sitzen, den Alarm prüfen, die Daten ansehen und entscheiden: „Oh, das war nur eine Welle, kein Defekt." Das ist aber langsam, teuer und unmöglich, wenn man Tausende von Sensoren gleichzeitig überwachen muss.

Hier kommt die neue Erfindung aus dem Papier ins Spiel: AIVV (Agent-Integrated Verification and Validation). Man kann es sich wie ein super-effizientes Sicherheitskomitee vorstellen, das aus zwei Teilen besteht:

1. Der „Wachhund" (Die mathematische Ebene)

Stellen Sie sich einen extrem schnellen, aber etwas nervösen Wachhund vor. Er läuft ständig um das Boot herum und misst alles.

• Seine Aufgabe: Er rechnet blitzschnell nach. Wenn die Zahlen eine bestimmte Grenze überschreiten, bellt er: „Achtung! Etwas ist nicht im grünen Bereich!"
• Das Problem: Er bellt auch, wenn ein Vogel vorbeifliegt oder eine Welle gegen das Boot schlägt. Er kann nicht unterscheiden zwischen „Gefahr" und „nur Lärm".

2. Der „Rat der Experten" (Die KI-Ebene)

Hier kommt das Geniale an AIVV. Wenn der Wachhund bellt, ruft er nicht sofort die Feuerwehr, sondern schickt den Alarm an einen Rat aus drei KI-Experten. Diese Experten sind wie ein Team von erfahrenen Ingenieuren, die aber in einer einzigen Maschine wohnen. Sie haben verschiedene Spezialgebiete:

• Der Regel-Prüfer (Requirements Engineer): Er liest das Handbuch. „Steht im Handbuch, dass das Boot bei dieser Welle in Panik geraten muss? Nein? Dann ist es okay."
• Der Fehler-Analyst (Failure Manager): Er schaut sich an, wie das Boot reagiert. „Das Boot wackelt, aber es stabilisiert sich wieder. Das ist kein Defekt, das ist nur eine Reaktion."
• Der System-Architekt (System Engineer): Er ist der Chef. Er versteht die ganze Technik. Wenn die anderen beiden sagen „Das ist kein Problem", stimmt er zu. Wenn es aber ein echter Defekt ist, sagt er: „Okay, wir müssen die Schrauben nachziehen."

Wie funktioniert das Ganze? (Die Geschichte in 3 Akten)

Akt 1: Der Alarm
Der Wachhund (Mathematik) sieht einen seltsamen Wert und bellt.

Akt 2: Die Beratung (Der Council)
Der Alarm geht an den Rat der drei KI-Experten. Sie diskutieren kurz (in Millisekunden) und stimmen ab.

• Szenario A (Falscher Alarm): Zwei von drei sagen: „Das war nur eine Welle." -> Der Alarm wird gelöscht. Das Boot fährt weiter.
• Szenario B (Echter Defekt): Zwei von drei sagen: „Das ist ein echter Motorfehler!" -> Der Rat stimmt zu, es ist ein Problem.

Akt 3: Die Lösung (Die Anpassung)
Wenn der Rat entscheidet, dass es kein echter Defekt war, sondern nur eine Situation, die der Wachhund nicht verstanden hat, passiert etwas Magisches:
Der Rat sagt: „Unser Wachhund ist heute zu empfindlich."
Ein spezieller KI-Agent (der Inspektor) sagt dem System: „Wir müssen den Wachhund etwas beruhigen."
Ein anderer Agent (der Tuner) testet diese neue Einstellung an einer Kopie des Bootes (nicht am echten Boot!). Wenn die Kopie damit besser funktioniert, wird die neue Einstellung live geschaltet.

Das ist wie wenn ein Lehrer einem Schüler sagt: „Du hast die Aufgabe falsch gelöst, weil du zu streng warst. Probieren wir es mit einer anderen Formel."

Warum ist das so toll?

1. Kein menschlicher Stau: Früher mussten Menschen stundenlang auf Alarme warten. Jetzt entscheidet die KI in Sekunden.
2. Keine Panikmache: Der Wachhund bellt nicht mehr bei jedem kleinen Geräusch, weil der Rat der Experten die Situation versteht.
3. Selbstverbesserung: Das System lernt aus seinen Fehlern. Wenn es einmal zu empfindlich war, passt es sich automatisch an, damit es das nächste Mal besser weiß, was „normal" ist.
4. Sicher: Da alles zuerst an einer Kopie getestet wird, passiert nichts Schlimmes am echten Boot.

Zusammenfassend:
AIVV ist wie ein autonomes Sicherheitskomitee, das die Arbeit von menschlichen Ingenieuren übernimmt. Es nutzt die Schnelligkeit von Mathematik, um Probleme zu finden, und die Intelligenz von Sprach-KIs, um zu verstehen, ob diese Probleme wirklich gefährlich sind oder nur harmloses Rauschen. So werden autonome Systeme sicherer, schneller und brauchen weniger menschliche Aufsicht.

Technische Zusammenfassung

Problemstellung

In sicherheitskritischen Domänen wie unbemannten Unterwasserfahrzeugen (UUVs) stoßen reine Deep-Learning-Modelle (z. B. RNNs, Transformer) an ihre Grenzen, wenn es um die zuverlässige Fehlerklassifizierung geht.

• Falsch-Positiv-Rate: Mathematische Modelle sind zwar effizient bei der Erkennung von Anomalien, können jedoch oft nicht zwischen echten Systemfehlern und „Nuisance Faults" (Störfaktoren) unterscheiden. Letztere entstehen durch Umgebungsrauschen oder große transiente Antworten des Regelsystems (z. B. bei Manövern).
• Skalierbarkeit: Um diese Unsicherheiten zu managen, ist derzeit ein „Human-in-the-Loop" (HITL) erforderlich, bei dem menschliche Experten die Alarme manuell triagieren. Dies führt zu erheblichen Latenzen und ist bei tausenden von Sensordatenströmen nicht skalierbar.
• Mangelnde Semantik: Reine mathematische Ansätze bieten keine semantische Begründung und können keine Korrekturmaßnahmen (wie das Nachjustieren von Reglerparametern) vorschlagen.
• Herausforderung bei LLMs: Große Sprachmodelle (LLMs) bieten zwar semantische reasoning-Fähigkeiten, leiden jedoch unter Halluzinationen und mangelnder mathematischer Strenge, was ihren direkten Einsatz in Echtzeit-Steuerungssystemen riskant macht.

Methodik: Das AIVV-Framework

Die Autoren schlagen AIVV (Agent-Integrated Verification and Validation) vor, ein hybrides neuro-symbolisches Framework, das die mathematische Strenge mit der semantischen Reasoning-Fähigkeit von LLMs kombiniert. Die Architektur besteht aus zwei Schichten:

1. Mathematische Engine Layer (Die „Sentry"):

   • Verwendet ein MC Dropout LSTM (Monte Carlo Dropout Long Short-Term Memory) zur Vorhersage und zur Schätzung der epistemischen Unsicherheit.
   • Integriert Conformal Prediction (CP), um statistisch garantierte Konfidenzintervalle ($C_\alpha$) zu definieren.
   • Funktion: Ein deterministischer Gate-Mechanismus prüft, ob der Residualfehler ($e_t$) die konformale Grenze überschreitet. Nur bei Überschreitung wird der Fall an die LLM-Ebene eskaliert. Dies filtert den Großteil der normalen Daten und spart Rechenleistung.

2. Multi-Agent System (MAS) Pipeline (Der „Council"):

   • Wenn die „Sentry" einen Alarm auslöst, wird dieser an einen spezialisierten LLM-Rat („Council") weitergeleitet, der aus drei unabhängigen Agenten besteht. Diese führen eine kollaborative Validierung durch, basierend auf natürlichen Sprachanforderungen (Natural Language Requirements).
   • Die Agenten-Rollen:
     • Requirements Engineer: Prüft, ob das Systemverhalten gegen operative Anforderungen verstößt (z. B. Grenzwerte für Giergeschwindigkeit).
     • Failure Manager: Analysiert den Fehlermodus und die Schwere der Abweichung (z. B. Divergenz vs. Konvergenz).
     • System Engineer: Nutzt Domänenwissen (UUV-Dynamik, PID-Parameter), um echte Fehler von Rauschen zu unterscheiden und schlägt bei echten Fehlern Gain-Tuning-Parameter vor.
   • Entscheidungslogik: Ein Mehrheitsvotum (2 von 3) entscheidet, ob es sich um einen echten Fehler (FAIL) oder einen Störfaktor (PASS) handelt.

3. Adaptions-Pipeline (Phase 3):

   • Falls der Council einen Alarm als „Nuisance Fault" (PASS) einstuft, wird dies als Auslöser für eine Feinabstimmung genutzt.
   • Ein Inspector-Agent formuliert eine Anpassungsstrategie (z. B. Neuberechnung des Konfidenzniveaus $\alpha$ oder Hyperparameter-Tuning).
   • Ein Tuner-Agent wendet diese Änderungen auf einen temporär geklonten Modell-Engine an (nicht auf das Live-Modell).
   • Das geklonte Modell wird erneut getestet. Nur wenn es die mathematischen Grenzen einhält, wird es zum Live-Modell befördert („Promote"). Dies verhindert katastrophales Vergessen und sichert die Stabilität.

Wichtige Beiträge

1. Role-Based LLM Agents: Automatisierung des V&V-Prozesses durch spezialisierte Agenten, die Fehlerdiagnosen durch kollaborative Validierung gegen natürliche Sprachanforderungen und Mehrheitsvoting lösen.
2. Neuro-Symbolisches Gating: Eine innovative Kopplung aus MC Dropout LSTM, Conformal Prediction und einem LLM-Rat. Dies stellt sicher, dass nur mathematisch markierte Anomalien semantisch validiert werden, was die Effizienz steigert und Halluzinationen minimiert.
3. Sichere Online-Anpassung: Das Framework übersetzt Anomalie-Flags in strukturierte Ingenieursartefakte (z. B. Gain-Tuning-Vorschläge) und führt diese sicher durch das „Clone-and-Promote"-Verfahren aus, bevor Änderungen live gehen.

Ergebnisse

Die Methode wurde an einem Simulink-Modell eines REMUS 100 UUV mit drei verschiedenen Manöverszenarien getestet (Schweben, Rasenmäher-Muster, Komplexe Mission):

• Validierungsleistung (FVR - Fault Validation Rate): Das AIVV-System erreichte eine Validierungsrate von 100 % beim Schweben, 89,33 % beim Rasenmäher-Muster und 93,33 % bei der komplexen Mission. Im Vergleich dazu scheiterte das reine mathematische Modell bei komplexen Szenarien (0 % FVR) aufgrund hoher Falsch-Positiv-Raten.
• Adaptionsgewinn: Durch die Anpassungspipeline konnte die Genauigkeit bei der komplexen Mission von 68,8 % auf 84,7 % gesteigert werden (+23,11 %).
• Ablationsstudie: Die Studie zeigt, dass die Kombination aus mathematischem Gate, LLM-Rat und Adaptionspipeline notwendig ist, um die Falsch-Positiv-Rate zu eliminieren und eine vertrauenswürdige Validierung zu erreichen.
• Rollen-Spezifische Modellierung: Die Ergebnisse unterstreichen, dass heterogene LLMs (unterschiedliche Modelle für verschiedene Rollen) entscheidend sind. Das optimale Setup (z. B. GPT-OSS für logische Fehleranalyse, LLaMA für strikte Regelprüfung) erzielte 100 % FVR, während willkürliche Zuordnungen die Leistung drastisch auf unter 50 % senkten.

Bedeutung und Ausblick

AIVV bietet einen skalierbaren Bauplan für die Überwachung von Zeitreihendaten in sicherheitskritischen Systemen.

• Digitale Transformation: Es digitalisiert den menschlichen V&V-Prozess, reduziert die Latenz von Stunden auf Sekunden und entlastet menschliche Operatoren von der manuellen Triagierung.
• Vertrauenswürdigkeit: Durch die Verankerung von LLM-Reasoning in mathematischen Grenzen (Conformal Prediction) werden die Risiken von Halluzinationen minimiert.
• Zukunft: Die Autoren planen, die von den System-Ingenieuren vorgeschlagenen Gain-Tuning-Parameter direkt in die innere Regelkreisschleife zu integrieren, um eine vollständig autonome, fehlertolerante Systemneuordnung ohne menschliches Eingreifen zu ermöglichen.

Zusammenfassend stellt AIVV einen Paradigmenwechsel dar: weg von rein statistischen Detektoren oder reinen KI-Blackboxen hin zu einem hybriden, erklärbaren und selbstkorrigierenden System für autonome Fahrzeuge.