Reasoning Knowledge-Gap in Drone Planning via LLM-based Active Elicitation

Dit artikel introduceert een nieuw raamwerk voor droneplanning dat, door middel van een neuro-symbolische boomstructuur en grote taalmodellen, de samenwerking tussen mens en AI optimaliseert via actieve, gerichte informatievragen in plaats van controle-overname, wat leidt tot een hogere succesratio en minder menselijke interactie bij complexe zoek- en reddingsmissies.

De kern

Stel je voor dat je een drone bestuurt die een reddingsmissie moet uitvoeren in een brandend gebouw. De drone is slim, maar niet perfect. Soms ziet hij rook en weet hij niet of die rook giftig is (en dus onbegaanbaar) of juist veilig om doorheen te vliegen. Soms ziet hij twee dozen en weet hij niet welke de medicijnen bevat.

In de oude manier van werken zou de drone in zo'n geval de controle overdragen aan de mens: "Ik snap het niet meer, jij doet het maar!" Dit is echter niet ideaal. De mens is misschien goed in begrijpen wat er aan de hand is, maar niet in het sturen van de drone met de precisie die nodig is. Het is alsof je een piloot vraagt om een auto te besturen terwijl jij zelf op de passagiersstoel zit; het is onhandig en vertraagt de missie.

De onderzoekers van dit paper hebben een slimme nieuwe manier bedacht. In plaats van de drone te laten stoppen en de mens te laten sturen, leren ze de drone om slimme vragen te stellen.

De "MINT": Een Denkboom voor Twijfels

De kern van hun oplossing heet MINT (Minimal Information Neuro-Symbolic Tree). Je kunt dit zien als een denkboom of een detective-bord in het hoofd van de drone.

1. Het Detecteren van het Gaten: Als de drone twijfelt (bijvoorbeeld: "Is die rook gevaarlijk?"), maakt hij geen paniek. Hij bouwt in zijn hoofd een boomstructuur.
   • Tak A: Stel dat de rook veilig is -> Dan vlieg ik er rechtstreeks doorheen (snelste route).
   • Tak B: Stel dat de rook giftig is -> Dan moet ik een omweg maken (langere route).
2. De Belangrijkheid Check: De drone kijkt nu: "Maakt het uit welke tak ik kies?"
   • Als de rook ver weg is en niet op mijn route, maakt het niet uit. De drone vliegt gewoon door. Geen vraag nodig!
   • Als de rook precies op mijn pad ligt en de route volledig verandert, dan is het een kritieke twijfel.
3. De Slimme Vraag: Als de twijfel belangrijk is, gebruikt de drone een taalmodel (een soort super-intelligente chatbot) om de perfecte ja/nee-vraag te formuleren.
   • In plaats van een vaag: "Wat moet ik doen?", vraagt hij: "Is de rook voor mij veilig om doorheen te vliegen?"
   • Dit is als een detective die niet vraagt: "Wie heeft het gedaan?", maar specifiek vraagt: "Was de dader links of rechts van de deur?"

Waarom is dit zo goed?

Stel je voor dat je op een kruispunt staat en twijfelt of je links of rechts moet gaan.

• De oude methode (Exhaustive Query): Je vraagt aan iedereen op straat: "Moet ik links of rechts?" Dit kost veel tijd en energie, ook als het antwoord voor jou niet uitmaakt omdat je toch een andere kant op moet.
• De nieuwe methode (MINT): De drone kijkt eerst naar zijn kaart. Als hij ziet dat links en rechts beide naar dezelfde bestemming leiden, vraagt hij niemand. Als hij ziet dat links een doodlopende straat is en rechts de snelweg, vraagt hij alleen: "Is de weg rechts open?"

Wat hebben ze bewezen?

De onderzoekers hebben dit getest in twee situaties:

1. In een virtuele wereld (NVIDIA Isaac): Ze lieten drones reddingsmissies uitvoeren in een virtueel brandend magazijn.

   • Resultaat: De oude drones faalden vaak of maakten onnodige omwegen. De nieuwe drone met de "denkboom" slaagde in 100% van de gevallen.
   • Belangrijker nog: Hij stelde 30% minder vragen aan de mens dan drones die bij elke twijfel direct stopten.

2. In de echte wereld: Ze lieten een echte drone vliegen in een kamer met verschillende dozen.

   • De drone zag twee dozen en wist niet welke de medicijnen bevatte. Hij vroeg via een microfoon: "Moet ik de rode doos pakken?"
   • De mens antwoordde "Ja", en de drone vloog succesvol.
   • Zonder deze slimme vragen zou de drone vaak de verkeerde doos hebben gepakt of vastgelopen.

Conclusie in één zin

Dit onderzoek laat zien dat de beste samenwerking tussen mens en machine niet betekent dat de mens de controle overneemt, maar dat de machine leert precies de juiste vragen te stellen op het juiste moment, zodat de mens alleen hoeft te helpen als het echt nodig is. Het is de kunst van het "weten wat je niet weet" en het slim omgaan met die onzekerheid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Reasoning Knowledge-Gap in Drone Planning via LLM-based Active Elicitation" in het Nederlands.

Probleemstelling

Traditionele mens-AI samenwerking bij onbemande luchtvaartuigen (UAV's of drones) in onbekende omgevingen vertrouwt vaak op een eenrichtingscontrole-overdracht. Wanneer een drone onzekerheden tegenkomt (bijvoorbeeld onherkenbare obstakels of ambiguïteit in de omgeving), wordt de autonomie tijdelijk opgeschort en wordt de controle overgedragen aan een menselijke operator.

De auteurs identificeren twee fundamentele problemen met deze aanpak:

1. Cognitieve belasting en inefficiëntie: Het veronderstelt dat de menselijke operator direct situational awareness heeft en de expertise bezit om complexe, lage-niveau manoeuvres uit te voeren, wat vaak niet het geval is.
2. Onnodige interactie: Bestaande systemen vragen vaak om menselijke input bij elke onzekerheid, zelfs als deze onzekerheid geen invloed heeft op het uiteindelijke plan (bijv. een obstakel ver weg van de route). Dit leidt tot een hoge frequentie van interacties en vertraagt de missie.

Het kernprobleem is dat de moeilijkheden bij het plannen vaak niet voortkomen uit een gebrek aan besturingspolitieken, maar uit specifieke kennisgaten (ontbrekende informatie over objecten in de omgeving).

Methodologie

De auteurs stellen een nieuw raamwerk voor dat de samenwerking verschuift van "controle overnemen" naar actieve informatie-elicitering. Het systeem gebruikt een neuro-symbolische aanpak om onzekerheid te modelleren en op te lossen via gerichte vragen aan de mens.

Het proces verloopt in drie hoofdfasen:

1. Object-gedreven onzekerheidsidentificatie

De drone gebruikt een Vision-Language Model (VLM) om visuele input te verwerken en een semantische kaart te bouwen. Het systeem identificeert twee soorten onzekerheden:

• Obstakel-gebaseerde ambiguïteit: Eigenschappen van een object zijn cruciaal maar onbekend (bijv. "Is de rook giftig of veilig om door te vliegen?").
• Doel-gebaseerde ambiguïteit: Meerdere objecten passen bij de instructie (bijv. "Welke van de twee dozen moet ik pakken?"), wat leidt tot hoge entropie in de sub-doelverdeling.

2. Kennisgat-redenering via MINT

Om onzekerheid te analyseren, wordt een Minimal Information Neuro-Symbolic Tree (MINT) gebruikt.

• Boomconstructie: De wortelnode vertegenwoordigt de huidige staat met het kennisgat. De boom wordt uitgebreid met hypothesen (bijv. "rook is veilig" vs. "rook is gevaarlijk").
• Trajectgeneratie: Voor elke hypothesen-tak wordt een tijdelijke semantische kaart gegenereerd en een sub-taak traject gepland.
• Evaluatiemetrics: De impact van het kennisgat wordt gemeten aan de hand van:
  • Trajectdivergentie: Hoeveel verschilt het optimale pad onder verschillende hypothesen?
  • Doel-entropie: Hoe onzeker is de keuze van het doelwit?
• Beslissing: Als de metrics aantonen dat de onzekerheid geen invloed heeft op het besluit (bijv. het obstakel is ver weg), wordt de boom niet verder vertakt en wordt het plan uitgevoerd zonder menselijke input. Is de onzekerheid kritiek, dan wordt de boom verder uitgebreid.

3. Actieve Elicitatie en Planverfijning

Een Large Language Model (LLM) fungeert als inferentiemotor:

• Vraaggeneratie: De LLM analyseert de MINT-structuur om de optimale binaire vraag (Ja/Nee) te formuleren die de maximale informatiewinst (Information Gain) biedt. Het doel is om de hypotheseruimte te reduceren tot één zeker pad.
  • Voorbeeld: "Is de rook voor ons veilig om door te vliegen?" in plaats van een open vraag.
• Boom-kappen en uitvoering: Na het ontvangen van het menselijke antwoord (Ja/Nee), worden alle inconsistenten takken in de boom verwijderd ("gekap"). De semantische kaart wordt bijgewerkt met deze nieuwe kennis, en de drone genereert een geoptimaliseerd, veilig traject.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Van passieve controle-overdracht naar actieve, doelgerichte kennisverwerving via natuurlijke taal.
2. MINT Framework: Een neuro-symbolische structuur die onzekerheid expliciet modelleert als een boom van hypothesen, waardoor het systeem kan onderscheiden tussen relevante en irrelevante kennisgaten.
3. Geïntegreerde Workflow: Een volledig systeem dat VLM (perceptie), LLM (redenering/vraagstelling), spraakinterface en lage-niveau UAV-besturing combineert.
4. Efficiëntie: Het minimaliseren van menselijke interactie door alleen te vragen wanneer het plan echt onzeker is, in plaats van bij elke detectie van onzekerheid.

Resultaten

Het systeem werd getest in zowel een hoge-trouw simulatie (NVIDIA Isaac) als in de echte wereld.

• Simulatie (NVIDIA Isaac):

  • Succespercentage: De MINT-methode behaalde een 100% succesrate in complexe zoek- en reddingsmissies, vergeleken met 77% voor een "Pure LLM" (passieve planner) die geen vragen kan stellen.
  • Interactiekosten: In vergelijking met een "Exhaustive Query" (altijd vragen bij onzekerheid), reduceerde MINT het aantal menselijke interacties met 30% (van gemiddeld 2.0 naar 1.4 vragen per missie) terwijl het succespercentage gelijk bleef.
  • Conclusie: Het systeem filtert effectief "ruis" (onzekerheden die het besluit niet beïnvloeden) en focust op kritieke kennisgaten.

• Real-world Deployments:

  • In een fysieke testomgeving met een quadcopter en spraakinterface werd een taak uitgevoerd waarbij medicijnen uit een doos moesten worden gehaald.
  • Succes: De methode behaalde 100% succes tegenover 35% voor de passieve baseline.
  • Efficiëntie: De totale doorlooptijd was gemiddeld 20,7 seconden. De interactie werd door operators als natuurlijk ervaren, en spraakvragen losten semantische ambiguïteiten op die puur geometrische planning niet kon oplossen.

Betekenis en Toekomstperspectief

Dit werk legt de basis voor intuïtieve, spraakgebaseerde samenwerking tussen mens en robot in open omgevingen. Het bewijst dat het expliciet modelleren van onzekerheid via neuro-symbolische structuren, gekoppeld aan LLM's, leidt tot robuustere en efficiëntere autonome systemen.

Toekomstige richtingen omvatten:

• Uitbreiding van MINT naar complexere, niet-binair vraagstructuren en continue waarde-elicitering.
• Integratie van formele methoden (zoals temporele logica) in de boomconstructie voor veiligere samenwerking in dynamische omgevingen.

Samenvattend biedt deze paper een oplossing voor de cognitieve belasting van menselijke operators en verbetert het de betrouwbaarheid van UAV's in onzekere, real-world scenario's zoals zoek- en reddingsoperaties.