Stealthy Coverage Control for Human-enabled Real-Time 3D Reconstruction

Technische Samenvatting: Stealthy Coverage Control voor Mens-gestuurde Real-time 3D-reconstructie

Probleemstelling
Nauwkeurige 3D-reconstructie vanuit afbeeldingen vereist een aantal monsters dat proportioneel is aan de structurele complexiteit van het doelscenario. Deze complexiteit is echter ruimtelijk niet-uniform en moeilijk te voorspellen als vooraf bekende kennis. Bestaande autonome dekkingcontrole-strategieën dwingen doorgaans uniforme bemonstering af over een scène, wat inefficiënt is voor complexe structuren. Hoewel menselijke operators beschikken over het situationeel bewustzijn om regio's te identificeren die een hogere bemonsteringsdichtheid vereisen, vormt de integratie van menselijke navigatie met autonome dekkingcontrole een aanzienlijke uitdaging: handmatige invoer kan conflicteren met autonome controlewetten, wat het systeem potentieel kan destabiliseren of het vermogen van de operator om de drones effectief te sturen kan verslechteren.

Methodologie
De auteurs stellen een semi-autonoom systeem voor, getiteld Stealthy Coverage Control, dat menselijke interventie integreert in een autonome dronezwerm voor 3D-reconstructie. De systeemarchitectuur berust op een Unity/ROS2-gebaseerde simulator waarbij een menselijke operator een real-time 3D-model (gereconstrueerd via NeuralRecon) en de gemiddelde staat van het dronezwerm bekijkt via een head-mounted display (HMD).

De methodologie is gebouwd op twee primaire technische componenten:

1. Human-Intention-Reflecting Coverage Control:
   Het systeem definieert een sensorische prestatiefunctie $f_1$ op basis van de geometrische relatie tussen individuele drones en observatiecellen. Om menselijke intentie te incorporeren, evalueert een tweede functie $f_2$ de sensorische prestaties van een "virtuele gemiddelde drone" die door de menselijke operator wordt bestuurd. Een belangrijkheidsindex $\phi_j$ voor elke observatiecel wordt dynamisch bijgewerkt: deze neemt toe wanneer de door de mens bestuurde virtuele drone een hoge sensorische prestatie bereikt in een regio (wat duidt op een behoefte aan meer data) en neemt af naarmate de cel voldoende is geobserveerd door de fysieke zwerm. De autonome controller minimaliseert een globale objectfunctie $J$ (de som van de belangrijkheidsindices) met behulp van constraint-gebaseerde controle om een minimale vervaldatum te garanderen.

2. Stealthy Control via Nullspace Projection:
   Om te voorkomen dat de autonome dekkinginputs interfereren met de handmatige commando's van de menselijke operator, maken de auteurs gebruik van een redundantie-gebaseerd controleframework. De totale snelheidsinput voor elke drone is de som van het menselijke commando ($u_h$) en het autonome commando ($u_{ai}$). De autonome input wordt geprojecteerd in de nullspace van de outputkaart van het systeem (specifiek de gemiddelde positie en oriëntatie van de zwerm).

   • Definitie: Een controle-input is "stealthy" als deze de evolutie van de gemiddelde staat $\bar{g}$, die door de menselijke operator wordt waargenomen, niet verandert.
   • Implementatie: De autonome controlevector wordt vermenigvuldigd met een matrix $A(g)$ die zodanig is ontworpen dat deze in de kernel ligt van de transcript van de Jacobiaan die de drone-toestanden relateert aan de gemiddelde staat. Dit zorgt ervoor dat, terwijl de drones bewegen om beeldbemonstering te optimaliseren (waardoor hun relatieve posities veranderen), de gemiddelde pose van de zwerm uitsluitend wordt beheerst door de snelheidscommando's van de mens. Deze ontkoppeling bewaart de stabiliteit en operationele bruikbaarheid van het human-in-the-loop systeem.

Belangrijkste Bijdragen

• Semi-autonome Strategie: Een nieuw framework dat het flexibele redeneervermogen van de mens benut om regio's met hoge structurele complexiteit te identificeren, waardoor de zwerm wordt aangestuurd om deze gebieden dichter te bemonsteren zonder dat complexe real-time mesh-veranderingsdetectiealgoritmen nodig zijn.
• Stealthy Coverage Control: Een controlewet die autonome beeldbemonsteringsoptimalisatie wiskundig ontkoppelt van menselijke navigatie. Dit stelt de zwerm in staat om efficiënte dekkingcontrole uit te voeren zonder de gemiddelde staat te laten "driften" die de menselijke operator probeert te besturen, waardoor operationele conflicten worden vermeden.
• Systeemarchitectuur: Een volledige implementatie die real-time 3D-reconstructie (NeuralRecon), dekkingcontrole en human-in-the-loop interactie integreert binnen een ROS2/Unity-omgeving.

Resultaten
Simulatiestudies werden uitgevoerd met drie drones in een virtuele binnenomgeving met meubilair (kast, tafel, banken).

• Verificatie van Stealth: In tests waarbij de menselijke operator een circulaire traject commandeerde, liet het systeem met stealthy controle de gemiddelde dronepositie exact het pad volgen. In tegen plaats vertoonde het systeem zonder stealthy controle een significante drift in de gemiddelde positie door de autonome dekkingkrachten, wat handmatige besturing moeilijk maakte.
• Kwaliteit van de Reconstructie: Een vergelijking van 3D-modellen toonde aan dat het volledig autonome systeem (zonder menselijke interventie) artefacten produceerde, zoals niet-bestaande objecten die boven een bank zweefden en een vervormd mesh op de bovenkant van een kast. Het semi-autonome systeem, waarbij de mens de zwerm naar complexe gebieden leidde (bijv. de bovenkant van de bank en de zijkanten van de kast), produceerde een aanzienlijk nauwkeuriger en gedetailleerder model. De door de mens gestuurde bemonstering elimineerde effectief artefacten en corrigeerde geometrische vervormingen.

Betekenis en Claims
De auteurs beweren dat het voorgestelde semi-autonome systeem de zuiver autonome dekkingcontrole overtreft in termen van de kwaliteit van het gereconstrueerde model. De betekenis ligt in het vermogen om om te gaan met ruimtelijk heterogene structurele complexiteit door het situationeel herkenningsvermogen van de mens te benutten, terwijl de systeemstabiliteit behouden blijft door de ontkoppeling van controle-inputs. De auteurs stellen dat deze aanpak coöperatieve beeldbemonstering mogelijk maakt zonder de prestaties van de controle of de menselijke bedienbaarheid in gevaar te brengen.

De auteurs merken bescheiden op dat de huidige implementatie gecentraliseerd is en dat toekomstig werk vereist is om gedistribueerde implementatie, rigoureuze closed-loop stabiliteitsanalyse van het human-in-the-loop systeem en experimentele validatie buiten simulatie aan te pakken.