Cognition Envelopes for Bounded Decision Making in Autonomous UAS Operations

Diese Arbeit stellt das Konzept der „Cognition Envelopes" vor, das durch probabilische Schlussfolgerungen und Ressourcenanalysen die Entscheidungsfindung autonomer Drohnen bei Such- und Rettungseinsätzen mittels KI-Modellen sicherer macht, indem es deren Fehleranfälligkeit durch definierte Denkgrenzen eindämmt und dabei die Herausforderungen für die systematische Implementierung und Validierung solcher Systeme in cyber-physischen Umgebungen aufzeigt.

Das Wesentliche

Das große Problem: Der kluge, aber manchmal halluzinierende Roboter

Stell dir vor, du hast einen extrem intelligenten Roboter-Helfer (einen sogenannten KI-Modell-Drone), der bei Such- und Rettungseinsätzen (SAR) eingesetzt wird. Dieser Roboter kann Bilder sehen, Texte verstehen und Pläne schmieden. Er ist wie ein Genie, das alles über die Natur weiß.

Aber dieses Genie hat einen Haken: Es halluziniert.
Manchmal erfindet es Dinge, die nicht da sind, oder es verwechselt einen Ast mit einem vermissten Menschen. Wenn dieser Roboter allein entscheidet, könnte er in eine falsche Richtung fliegen, Zeit verlieren oder sogar Menschen in Gefahr bringen.

Die Lösung: Der "Gedanken-Schutzschild" (Cognition Envelope)

Die Autoren des Papers schlagen vor, dass wir diesem Genie nicht blind vertrauen sollten. Stattdessen brauchen wir einen Gedanken-Schutzschild, den sie "Cognition Envelope" nennen.

Stell dir das so vor:

• Der Roboter (KI) ist der Chef-Koch, der ein neues, verrücktes Rezept für ein Abendessen erfindet.
• Der "Safety Envelope" (Sicherheitsgürtel) ist wie ein Feuerlöscher. Er sorgt dafür, dass die Küche nicht abbrennt (der Roboter fliegt nicht gegen einen Baum oder zu tief). Das ist wichtig, aber es verhindert nicht, dass das Essen schmeckt wie Seife.
• Der "Meta-Cognition" (Selbstreflexion) ist, wenn der Koch sich selbst fragt: "Habe ich das richtig gemacht?" Das Problem ist: Da der Koch schon verrückt geworden ist, fragt er sich vielleicht auch nur, ob er richtig verrückt ist. Er merkt seinen eigenen Fehler oft nicht.
• Der "Cognition Envelope" (Gedanken-Schutzschild) ist der strenge Lebensmittelinspektor, der neben dem Koch steht. Er schaut sich das Rezept an und sagt: "Moment mal! Du willst einen Stein in die Suppe geben? Das steht nicht in den Regeln, und wir haben keine Steine im Lager. Das Rezept ist falsch, auch wenn der Koch glaubt, es sei genial."

Wie funktioniert das im echten Leben? (Das Beispiel mit dem Rucksack)

Das Paper beschreibt ein Szenario mit Drohnen, die in den Bergen nach einem vermissten Wanderer suchen.

1. Die Entdeckung: Eine Drohne sieht einen alten Rucksack im Wald.
2. Der KI-Plan: Die KI schaut sich den Rucksack an und denkt: "Oh, das ist ein Beweis! Der Wanderer muss hier gewesen sein. Wir sollen sofort den ganzen Wald um den Rucksack herum absuchen!"
3. Der Gedanken-Schutzschild prüft: Hier kommt unser Inspektor ins Spiel. Er nutzt zwei Werkzeuge:
   • Werkzeug 1 (Die Wahrscheinlichkeits-Karte): Der Inspektor weiß: "Der Wanderer wurde vor 2 Stunden an einem anderen Ort gesehen. Um hierher zu kommen, müsste er über einen steilen Abhang oder einen reißenden Fluss laufen. Das ist für einen normalen Menschen in 2 Stunden unmöglich."
   • Werkzeug 2 (Der Energie-Check): Der Inspektor rechnet nach: "Wenn die Drohne jetzt dorthin fliegt, verbraucht sie so viel Akku, dass sie nicht mehr zurückkommt."

Das Ergebnis:
Der Gedanken-Schutzschild sagt zur KI: "Dein Plan ist verrückt. Der Rucksack ist zwar echt, aber der Wanderer kann nicht dort sein. Wir fliegen nicht dorthin."
Statt die Drohne in die Irre zu schicken, schaltet der Schutzschild den Menschen ein (den "Human-on-the-loop"), der dann entscheidet, was zu tun ist.

Warum ist das so wichtig?

Bisher gab es Regeln nur für den Körper des Roboters (nicht zu schnell fliegen, nicht zu tief). Aber es gab keine Regeln für den Verstand des Roboters (nicht falsche Schlüsse ziehen).

Dieses Paper zeigt, wie man einen "Verstand-Schutzschild" baut, der:

1. Unabhängig ist (er ist nicht Teil des KI-Modells, das den Fehler macht).
2. Beweise prüft (passt der Plan zur Realität?).
3. Ressourcen schont (ist der Plan zu teuer in Zeit und Akku?).

Das Fazit in einem Satz

Der "Gedanken-Schutzschild" ist wie ein erfahrener Co-Pilot, der den KI-Piloten daran hindert, in den falschen Wolken zu fliegen, indem er ständig auf die Landkarte und den Treibstofftank schaut – und wenn etwas nicht stimmt, greift er ein, bevor es zu spät ist.

Das Ziel ist nicht, die KI zu ersetzen, sondern sie sicher und vertrauenswürdig zu machen, damit wir ihr in lebenswichtigen Situationen wirklich vertrauen können.

Technische Zusammenfassung

1. Problemstellung

Autonome Cyber-Physische Systeme (CPS), insbesondere kleine unbemannte Luftfahrzeuge (sUAS), setzen zunehmend auf fundamentale Modelle wie Large Language Models (LLMs) und Vision-Language Models (VLMs), um ihre Wahrnehmung, Inferenz und Planungsfähigkeiten zu verbessern. Diese Modelle bergen jedoch erhebliche Risiken, da sie zu Fehlern wie Halluzinationen, Überverallgemeinerungen und Kontextfehlern neigen können. In sicherheitskritischen Anwendungen wie der Suche und Rettung (Search and Rescue, SAR) können solche Fehler zu falschen Entscheidungen führen, die Menschenleben gefährden und das Vertrauen in autonome Systeme untergraben.

Bestehende Sicherheitsmechanismen wie „Safety Envelopes" (z. B. Geofencing, Geschwindigkeitsbegrenzungen) schützen vor physischen Gefahren, prüfen aber nicht die semantische Korrektheit oder die Evidenzbasiertung von Entscheidungen. Auch Metakognition (Selbstkritik des Modells) reicht oft nicht aus, da sie denselben blinden Flecken unterliegen kann wie die ursprüngliche Generierung. Es fehlt an systematischen Ansätzen, um die logische Konsistenz und Evidenzbasiertung von KI-Entscheidungen in Echtzeit zu validieren.

2. Methodik und Konzept

Das Konzept der „Cognition Envelopes"

Die Autoren führen das Konzept der Cognition Envelopes (Kognitionsumhüllungen) ein. Dies ist eine Laufzeit-Sicherheitslayer, die die Ausführung von Entscheidungen fundamentaler Modelle durch semantische Akzeptanzkriterien begrenzt. Im Gegensatz zu Safety Envelopes, die physische Grenzen setzen, operieren Cognition Envelopes auf der Ebene der Entscheidungssemantik.

Formal wird eine Cognition Envelope als Tupel $E = \langle d, e, M, s, G \rangle$ definiert:

• $d$: Die vom KI-Modell vorgeschlagene Entscheidung.
• $e$: Externe Evidenz und Laufzeitkontext.
• $M$: Ein externes semantisches Modell, das $d$ unter $e$ bewertet.
• $s$: Das daraus resultierende Akzeptanzsignal (z. B. ein Score oder eine Constraint-Prüfung).
• $G$: Eine Gate-Regel, die basierend auf $s$ entscheidet, ob die Aktion ausgeführt, überarbeitet, verschoben oder an einen Menschen eskaliert wird.

Anwendungsszenario: Clue Analysis Pipeline (CAP)

Als Fallstudie wird ein SAR-Szenario mit sUAS gewählt, bei dem Drohnen visuelle Hinweise (Clues) wie verlorene Gegenstände erkennen.

1. Pipeline (CAP): Ein LLM/VLM-basierter Prozess analysiert Bilder von Hinweisen, bewertet deren Relevanz für den Vermissten und plant Suchaktionen (z. B. „Suche im umliegenden Waldgebiet").
2. Validierung durch die Cognition Envelope: Die vorgeschlagenen Aktionen werden nicht blind ausgeführt, sondern durch zwei externe Module geprüft:
   • pSAR (Probability-based SAR Model): Ein probabilistisches Potentialfeld-Modell, das die Wahrscheinlichkeit berechnet, dass sich die vermisste Person in einem bestimmten Gebiet befindet. Es berücksichtigt Erreichbarkeit (basierend auf Geländetyp und Zeit) und Affinität (Anziehungskraft von Pfaden, Gewässern etc.).
   • MCE (Mission Cost Evaluator): Ein heuristisches Modell, das die Kosten (Zeit, Batterieverbrauch) einer geplanten Suchaktion bewertet.

Gate-Logik

Die Cognition Envelope nutzt die Ausgaben von pSAR und MCE, um Entscheidungen zu kategorisieren:

• ACCEPT: Die Entscheidung liegt innerhalb probabilistischer und kostenbezogener Grenzen.
• ALERT: Die Entscheidung ist grenzwertig (z. B. hohe Unsicherheit oder geringe Wahrscheinlichkeit) und erfordert eine menschliche Überprüfung.
• REJECT: Die Entscheidung widerspricht der Evidenz oder ist zu kostspielig/risikoreich.

Die Schwellenwerte für diese Kategorien sind adaptiv und passen sich der Unsicherheit (gemessen durch Shannon-Entropie) des Wahrscheinlichkeitsfeldes an.

3. Wichtige Beiträge

1. Definition und Formalisierung: Erstmalige Einführung und formale Definition des Begriffs „Cognition Envelope" als notwendige Ergänzung zu Safety Envelopes und Metakognition für KI-gestützte autonome Systeme.
2. Architektur-Entwurf: Vorstellung einer praktischen Implementierung, die fundamentale Modelle mit probabilistischen Modellen (pSAR) und Ressourcenanalysen (MCE) kombiniert, um eine „Black-Box"-Validierung von KI-Entscheidungen durchzuführen.
3. Software-Engineering-Herausforderungen: Identifikation kritischer SE-Herausforderungen bei der Entwicklung solcher Systeme, darunter das Scoping der Verantwortlichkeiten, die Ausrichtung auf Ground-Truth unter Unsicherheit, die Verifizierung des Verifizierers und die Gestaltung von Mensch-Maschine-Schnittstellen.
4. Validierungsframework: Entwicklung eines umfassenden Testframeworks mit 10 verschiedenen SAR-Szenarien („Vignettes") und 350 Testfällen, um die Wirksamkeit der Envelope zu evaluieren.

4. Ergebnisse

Die Evaluation wurde in einer Simulation mit 350 Tests durchgeführt, die verschiedene Szenarien (Wetter, Gelände, Art des Hinweises, verstrichene Zeit) abdeckten.

• Wirksamkeit der Validierung:
  • Die interne Metakognition der CAP (LLM-basiert) reichte aus, um irrelevante Hinweise (z. B. ein altes Fahrrad bei der Suche nach einem Kind) in 100 % der Fälle korrekt abzulehnen.
  • Die Cognition Envelope (pSAR + MCE) war jedoch entscheidend für die Bewertung der Handlungspläne. Ohne die Envelope wurden viele Pläne akzeptiert, die probabilistisch unwahrscheinlich waren (z. B. Suche in Gebieten, die für die vermisste Person aufgrund von Geländehindernissen oder Zeitablauf nicht erreichbar waren).
  • Durch die Aktualisierung des pSAR-Modells basierend auf dem gefundenen Hinweis stieg die Akzeptanzrate für plausible Pläne in der Nähe des Hinweises signifikant an, während unwahrscheinliche Pläne blockiert wurden.
• RQ1 (Welche Stufen benötigen externe Checks?): Die Studie zeigt, dass externe Checks vor allem in den Stufen der Aufgabenplanung (Task Planning) und Eskalation (Triaging) notwendig sind, während die frühe Interpretation von Clues durch das LLM selbst relativ robust war.
• RQ2 (Effektivität der Einschränkungen): Die Cognition Envelope konnte erfolgreich Entscheidungen blockieren, die zwar physisch sicher (innerhalb der Geofence), aber missionstaktisch falsch waren (z. B. Ressourcenverschwendung in unwahrscheinlichen Gebieten).

5. Bedeutung und Ausblick

Das Paper demonstriert, dass Cognition Envelopes einen praktikablen Weg bieten, um die Autonomie von KI-Systemen in sicherheitskritischen Umgebungen zu erhöhen, ohne die Sicherheit zu gefährden. Sie ermöglichen es, dass KI-Systeme autonom handeln, solange ihre Entscheidungen evidenzbasiert und probabilistisch plausibel sind, und schalten menschliche Operatoren nur bei Unsicherheit oder Risikogrenzüberschreitung ein.

Die Arbeit legt den Grundstein für zukünftige Forschungsarbeiten in den Bereichen:

• Generalisierbarkeit auf andere CPS-Domänen (z. B. medizinische Diagnostik, Formation Control von Drohnenschwärmen).
• Entwicklung von Standards und Assurance-Frameworks für Cognition Envelopes.
• Integration von hybriden Ansätzen, die Metakognition und externe Envelopes kombinieren.

Zusammenfassend stellt das Paper einen wichtigen Schritt hin zu vertrauenswürdigen, transparenten und rechenschaftspflichtigen KI-Systemen dar, die über reine physische Sicherheit hinaus auch die semantische Korrektheit ihrer Entscheidungen garantieren.