Cognition Envelopes for Bounded Decision Making in Autonomous UAS Operations

Dit paper introduceert het concept van 'Cognition Envelopes' om hallucinaties en fouten in AI-gestuurde beslissingen voor autonome drones tijdens zoek- en reddingsmissies te beperken via probabilische redenering en een systematisch ontwikkelingsproces.

De kern

Samenvatting: "Cognitie-omhulsels" voor slimme drones

Stel je voor dat je een team van slimme drones hebt die op zoek gaan naar een verdwaalde wandelaar in een groot, onbekend bos. Deze drones zijn uitgerust met de nieuwste "hersenen" van kunstmatige intelligentie (zoals de modellen die ChatGPT aandrijven). Ze kunnen foto's maken, zien of er een rugzak ligt, en beslissen waar ze als volgende moeten zoeken.

Maar hier zit een probleem: deze slimme AI's kunnen soms hallucineren. Ze kunnen denken dat ze iets zien wat er niet is, of een beslissing nemen die logisch klinkt, maar in de echte wereld gevaarlijk of onzin is.

De auteurs van dit paper introduceren een oplossing: de Cognitie-omhulsel (Cognition Envelope).

De Analogie: De Pilot, de Navigatie en de Vliegbasis

Om dit begrijpelijk te maken, laten we de drone vergelijken met een vliegtuig:

1. De AI (De Pilot): De drone is de piloot. Hij kijkt naar de horizon, ziet een bliksemschicht (een clue, zoals een rugzak) en zegt: "Ik ga daarheen vliegen!" Hij is slim, maar kan soms in de war raken.
2. De Veiligheidsomhulsel (Safety Envelope): Dit is de harde grens. Denk aan een onzichtbare muur. De drone mag niet hoger dan 100 meter vliegen en mag niet buiten de landsgrenzen komen. Dit is puur fysiek: als je tegen de muur vliegt, crasht je. Dit is al lang bekend en goed geregeld.
3. De Meta-cognitie (De Pilot die bij zichzelf denkt): Dit is als de piloot tegen zichzelf zegt: "Wacht, ben ik zeker dat ik die berg zie? Misschien is het een wolk?" Het probleem is dat als de piloot al hallucineert, hij ook zijn eigen twijfel hallucineert. Hij blijft in de val.
4. De Cognitie-omhulsel (De Vliegbasis in de lucht): Dit is het nieuwe idee. Stel je voor dat er een onafhankelijke controller in de lucht zit die niet de piloot is. Deze controller heeft een kaart, weet hoe lang de piloot al vliegt, en kent de regels.
   • Als de piloot zegt: "Ik ga naar dat eiland in het midden van de oceaan vliegen," kijkt de controller naar de kaart en zegt: "Hé, dat eiland ligt 500 kilometer verderop. Je batterij is leeg na 20 minuten. Dat kan niet."
   • De controller zegt dan: "Stop! Ga niet daarheen. Ik heb je niet de toestemming gegeven."

De Cognitie-omhulsel is die onafhankelijke controller. Hij kijkt niet naar de fysieke grenzen (zoals hoogte), maar naar de zin van het plan. Is het plan logisch gezien de bewijzen? Is het haalbaar?

Hoe werkt dit in de praktijk? (Het Zoektocht-voorbeeld)

In het paper testen ze dit met drones die zoeken naar verdwaalde mensen (zoals in de bergen).

• Het Scenario: Een drone ziet een gebroken bril op een rots. De AI (de "Clue Analysis Pipeline") denkt: "Oh, de verdwaalde man had een bril! Hij moet hier in de buurt zijn. Laten we het hele bos hieromheen zoeken!"
• De Check: De Cognitie-omhulsel (de "Vliegbasis") pakt de kaart.
  • Stap 1 (Kansberekening): "De man is 2 uur geleden hier gezien. Hij kan in 2 uur niet 10 kilometer over een steile berg lopen. De kans dat hij hier is, is bijna nul."
  • Stap 2 (Kosten): "Als we die drone daarheen sturen, kost dat 40% van zijn batterij. We hebben die batterij nodig voor het echte zoekgebied."
• Het Resultaat: De omhulsel zegt: "Nee, dit plan is gek. De AI hallucineert de locatie. Stop de drone en vraag een mens om te kijken."

Waarom is dit belangrijk?

Zonder deze omhulsel zou de drone blindelings vertrouwen op zijn eigen "intuïtie" en misschien urenlang zoeken op de verkeerde plek, of zelfs crashen omdat hij een onmogelijke route probeert.

De auteurs tonen aan dat als je deze "onafhankelijke check" toevoegt:

1. De drone minder fouten maakt.
2. Mensen (de operators) alleen ingrijpen als het echt nodig is, niet bij elke kleine twijfel.
3. De drone veiliger en slimmer wordt, omdat hij een "reality check" krijgt van buitenaf.

De Grote Uitdagingen

Het paper eindigt met een waarschuwing: dit is nog niet perfect. Het bouwen van zo'n omhulsel is lastig.

• Hoe maak je de regels? Wie bepaalt wat "logisch" is?
• Wat als de omhulsel zelf fout is? (Je moet ook de controller controleren).
• Hoeveel moet de mens ingrijpen? Als de drone te vaak stopt voor een mens, is hij niet meer autonoom. Als hij te vaak doorgaat, is hij te riskant.

Kortom: Dit paper stelt voor om slimme drones niet alleen te laten beslissen, maar ze een "onafhankelijke waakhond" te geven die controleert of hun plannen logisch en veilig zijn, voordat ze de knop op "uitvoeren" drukken. Het is de brug tussen "slimme AI" en "veilige werkelijkheid".

Technische samenvatting

Titel: Cognition Envelopes voor Beperkte Besluitvorming in Autonome UAS-Operaties

1. Het Probleem

Cyber-fysieke systemen, zoals kleine onbemande luchtvaartuigen (sUAS), vertrouwen steeds meer op fundamentele modellen zoals Large Language Models (LLMs) en Vision-Language Models (VLMs) om hun autonomie te vergroten via verbeterde perceptie, inferentie en planning. Echter, deze modellen introduceren nieuwe soorten fouten, zoals hallucinaties, overgeneralisaties en contextuele misalignments. In levenskritieke domeinen, zoals zoek- en reddingsoperaties (Search and Rescue - SAR), kunnen dergelijke fouten leiden tot verkeerde beslissingen, het in gevaar brengen van mensenlevens en het ondermijnen van vertrouwen.

Bestaande beveiligingsmechanismen zijn onvoldoende:

• Meta-cognitie: Werkt binnen het model zelf en kan dezelfde blinde vlekken en hallucinaties erven als het oorspronkelijke besluit.
• Veiligheidsomhulsels (Safety Envelopes): Beperken fysieke toestanden (bijv. hoogte, snelheid, geofences) maar controleren niet de semantische juistheid van een plan. Een plan kan fysiek veilig zijn, maar missioneel verkeerd (bijv. het zoeken op de verkeerde plek).

Er ontbreekt een gestructureerde aanpak om de logische en semantische grenzen van AI-beslissingen te bewaken.

2. Methodologie

De auteurs introduceren het concept van Cognition Envelopes (Cognitie-omhulsels) en testen dit in een SAR-scenario met sUAS.

A. Het Concept: Cognition Envelope
Een Cognition Envelope is een runtime-assurance-laag die de uitvoering van een door een fundamenteel model gegenereerde pipeline blokkeert of toestaat op basis van semantische acceptabiliteitscriteria. Het wordt formeel gedefinieerd als een tuple $E = \langle d, e, M, s, G \rangle$:

• $d$: Het kandidaat-besluit van het AI-model.
• $e$: Externe bewijslast en runtime-context.
• $M$: Een extern semantisch model dat $d$ evalueert onder $e$.
• $s$: Het semantische acceptabiliteitssignaal (bijv. een score).
• $G$: Een regel die bepaalt of het besluit wordt uitgevoerd, uitgesteld, herzien of aan een mens wordt doorgegeven.

B. Toepassing: Clue Analysis Pipeline (CAP)
In het paper wordt een CAP gebruikt om visuele aanwijzingen (zoals een gevonden rugzak of bril) te analyseren. De pipeline bestaat uit vier LLM-gestuurde fasen:

1. Captioner: Genereert een gestructureerde beschrijving van de aanwijzing.
2. Relevance Checker: Beoordeelt of de aanwijzing relevant is voor de vermiste persoon (met behulp van RAG - Retrieval Augmented Generation).
3. Task Planner: Plant een zoekactie (bijv. een specifiek terreincluster) op basis van de relevantie.
4. Triager: Beslist wie de taak uitvoert (drone of mens).

C. De Semantische Validator ($M$)
De Cognition Envelope in dit geval bestaat uit twee componenten die samen $M$ vormen:

1. pSAR (Probability-based SAR Model): Een probabilistisch model dat de waarschijnlijkheid berekent dat de vermiste persoon zich in een bepaald gebied bevindt. Het gebruikt:
   • Reachability Kernel: Bereikt de persoon het gebied binnen de verstreken tijd (gebaseerd op terrein, snelheid, fysieke barrières).
   • Affinity Kernel: Trekt de persoon aan naar specifieke kenmerken (paden, water, bebouwing).
   • Het model update dynamisch de "Probability of Area" (POA) wanneer nieuwe aanwijzingen worden gevonden.
2. MCE (Mission Cost Evaluator): Een heuristische module die de kosten (tijd, batterij) van een voorgestelde zoekplanning evalueert.

D. Evaluatie en Validatie
De auteurs hebben 10 unieke SAR-scenario's ("vignettes") ontwikkeld, gebaseerd op historische missies, met variaties in aanwijzingen, weersomstandigheden en verstreken tijd. In totaal werden 350 tests uitgevoerd om te kijken hoe de Cognition Envelope beslissingen van de CAP filtert.

3. Belangrijkste Bijdragen

• Conceptuele Innovatie: Definitie en formalisering van "Cognition Envelopes" als een externe, onafhankelijke controlelaag die semantische juistheid garandeert, los van fysieke veiligheid of interne model-zelfreflectie.
• Praktische Implementatie: Een werkend systeem voor SAR dat LLMs combineert met probabilistische reasoning (pSAR) en kostenanalyse om autonome beslissingen te valideren.
• Software Engineering Inzicht: Identificatie van de specifieke uitdagingen bij het ontwerpen, valideren en implementeren van dergelijke systemen in cyber-fysieke omgevingen.
• Empirische Validatie: Een uitgebreide experimentele set die aantoont dat externe checks noodzakelijk zijn wanneer interne meta-cognitie tekortschiet bij het detecteren van onwaarschijnlijke zoekplannen.

4. Resultaten

De experimenten leverden de volgende inzichten op:

• Interne Meta-cognitie is onvoldoende: De CAP-pipeline zelf (Stadia 1 en 2) was zeer goed in het identificeren van relevante versus niet-relevante aanwijzingen (95% nauwkeurigheid). Echter, bij het plannen van acties (Stadia 3 en 4) faalde het model soms om de onwaarschijnlijkheid van een zoeklocatie te herkennen, zelfs als de aanwijzing correct was geïnterpreteerd.
• Effectiviteit van de Envelope:
  • Zonder update van het POA-model op basis van de nieuwe aanwijzing, werden plannen die ver weg lagen van de "Last Known Point" (LKP) vaak ten onrechte goedgekeurd of afgekeurd op basis van verouderde data.
  • Met de dynamische update van het pSAR-model (waarbij de POA wordt aangepast aan de locatie van de gevonden aanwijzing), steeg de goedkeuring van plannen in de buurt van de aanwijzing aanzienlijk.
  • De Cognition Envelope slaagde erin plannen die buiten de probabilistische verwachtingen lagen (bijv. te ver voor de beschikbare tijd) te blokkeren of te markeren voor menselijke controle, zelfs als de AI het plan "zeker" leek te vinden.
• Aanpassing aan Onzekerheid: De drempels voor acceptatie (ACCEPT/ALERT/REJECT) worden dynamisch aangepast op basis van de entropie (onzekerheid) van het model. Bij hoge onzekerheid worden de drempels versoepeld om meer menselijke controle te stimuleren.

5. Betekenis en Toekomst

• Betrouwbaarheid: Cognition Envelopes bieden een praktische weg naar meer betrouwbare AI-systemen door een "tweede mening" te geven die onafhankelijk is van het generatieve model.
• Software Engineering Uitdagingen: Het paper schetst een roadmap voor de toekomst, waaronder:
  • Het duidelijk afbakenen van de verantwoordelijkheden van het omhulsel.
  • Het omgaan met onzekerheid in de bewijslast (ground-truth alignment).
  • Het valideren van de validator zelf ("Verifying the Verifier").
  • Het bepalen van het juiste moment voor menselijke ingreep om over- of onder-interventie te voorkomen.
• Generaliseerbaarheid: Hoewel getest op SAR, wordt het concept als toepasbaar beschouwd op andere domeinen zoals UAV-verkenning, formatiecontrole en zelfs precisie-oncologie (waar LLMs behandelingen voorstellen die medisch moeten worden gevalideerd).

Conclusie:
Dit paper presenteert een cruciale stap in het veiligstellen van autonome systemen die op LLMs vertrouwen. Door "Cognition Envelopes" te introduceren, verschuift de focus van puur fysieke veiligheid naar semantische en operationele juistheid, waardoor AI-systemen beter bestand zijn tegen hallucinaties en contextuele fouten in kritieke missies.