Stealthy Coverage Control for Human-enabled Real-Time 3D Reconstruction

Sintesi Tecnica: Controllo di Copertura Stealthy per la Ricostruzione 3D in Tempo Reale con Intervento Umano

Definizione del Problema
La ricostruzione 3D accurata a partire da immagini richiede un numero di campioni proporzionale alla complessità strutturale della scena target. Tuttavia, tale complessità è spazialmente non uniforme e difficile da prevedere come conoscenza a priori. Le attuali strategie di controllo della copertura autonoma tipicamente impongono un campionamento uniforme in una scena, il che risulta inefficiente per strutture complesse. Al contrario, sebbene gli operatori umani possiedano la consapevolezza situazionale necessaria per identificare le regioni che richiedono una maggiore densità di campionamento, l'integrazione della navigazione umana con il controllo della copertura autonoma presenta una sfida significativa: gli input manuali possono entrare in conflitto con le leggi di controllo autonome, potenzialmente destabilizzando il sistema o degradando la capacità dell'operatore di guidare efficacemente i droni.

Metodologia
Gli autori propongono un sistema semi-autonomo denominato Stealthy Coverage Control (Controllo di Copertura Stealthy), che integra l'intervento umano in uno sciame di droni autonomi per la ricostruzione 3D. L'architettura del sistema si basa su un simulatore basato su Unity/ROS2 dove un operatore umano visualizza un modello 3D in tempo reale (ricostruito tramite NeuralRecon) e lo stato medio di uno sciame di droni attraverso un visore (HMD).

La metodologia si basa su due componenti tecniche primarie:

1. Controllo di Copertura che Riflette l'Intento Umano:
   Il sistema definisce una funzione di prestazione di sensing $f_1$ basata sulla relazione geometrica tra i singoli droni e le celle di osservazione. Per incorporare l'intento umano, una seconda funzione $f_2$ valuta la prestazione di sensing di un "drone medio virtuale" controllato dall'operatore umano. Un indice di importanza $\phi_j$ per ogni cella di osservazione viene aggiornato dinamicamente: aumenta quando il drone virtuale controllato dall'uomo raggiunge un'elevata prestazione di sensing in una regione (indicando la necessità di maggiori dati) e diminuisce man mano che la cella viene osservata sufficientemente dallo sciame fisico. Il controllore autonomo minimizza una funzione obiettivo globale $J$ (la somma degli indici di importanza) utilizzando un controllo basato su vincoli per garantire un tasso di decadimento minimo.

2. Controllo Stealthy tramite Proiezione nel Nullspace:
   Per evitare che gli input di copertura autonomi interferiscano con i comandi manuali dell'operatore umano, gli autori impiegano un framework di controllo basato sulla ridondanza. L'input di velocità totale per ogni drone è la somma del comando umano ($u_h$) e del comando autonomo ($u_{ai}$). L'input autonomo è proiettato nel nullspace (spazio nullo) della mappa di output del sistema (specificamente, la posizione e l'orientamento medi dello sciame).

   • Definizione: Un input di controllo è "stealthy" (furtivo) se non altera l'evoluzione dello stato medio $\bar{g}$ percepito dall'operatore umano.
   • Implementazione: Il vettore di controllo autonomo è moltiplicato per una matrice $A(g)$ progettata affinché giaccia nel kernel del trasposto della Jacobiana che mette in relazione gli stati dei droni con lo stato medio. Ciò garantisce che, mentre i droni si muovono per ottimizzare il campionamento delle immagini (cambiando le loro posizioni relative), la posa media dello sciame rimanga governata esclusivamente dai comandi di velocità dell'uomo. Questo disaccoppiamento preserva la stabilità e l'operabilità del sistema human-in-the-loop.

Contributi Chiave

• Strategia Semi-Autonoma: Un framework innovativo che sfrutta il ragionamento flessibile umano per identificare le regioni di alta complessità strutturale, dirigendo lo sciame verso queste aree per campionarle più densamente senza richiedere complessi algoritmi di rilevamento del cambiamento del mesh in tempo reale.
• Controllo di Copertura Stealthy: Una legge di controllo che disaccoppia matematicamente l'ottimizzazione del campionamento delle immagini autonoma dalla navigazione umana. Ciò consente allo sciame di eseguire un controllo di copertura efficiente senza causare un "drift" (deriva) dello stato medio che l'operatore umano sta cercando di controllare, evitando così conflitti operativi.
• Architettura del Sistema: Un'implementazione completa che integra la ricostruzione 3D in tempo reale (NeuralRecon), il controllo della copertura e l'interazione human-in-the-loop all'interno di un ambiente ROS2/Unity.

Risultati
Sono stati condotti studi di simulazione con tre droni in un ambiente interno virtuale contenente mobili (armadio, tavolo, divani).

• Verifica della Natura Stealthy: Nei test in cui l'operatore umano comandava una traiettoria circolare, il sistema con controllo stealthy ha permesso alla posizione media dei droni di seguire il percorso esattamente. Al contrario, il sistema senza controllo stealthy ha mostrato una deriva significativa nella posizione media dovuta alle forze di copertura autonome, rendendo difficile il controllo manuale.
• Qualità della Ricostruzione: Un confronto tra i modelli 3D ha rivelato che il sistema completamente autonomo (senza intervento umano) produceva artefatti, come oggetti inesistenti che fluttuavano sopra un divano e mesh distorte sulla parte superiore dell'armadio. Il sistema semi-autonomo, in cui l'uomo ha guidato lo sciame verso aree complesse (ad esempio, la parte superiore del divano e i lati dell'armadio), ha prodotto un modello significativamente più accurato e dettagliato. Il campionamento guidato dall'uomo ha rimosso efficacemente gli artefatti e corretto le distorsioni geometriche.

Significatività e Rivendicazioni
Il documento afferma che il sistema semi-autonomo proposto supera il controllo di copertura puramente autonomo in termini di qualità del modello ricostruito. La significatività risiede nella capacità di gestire la complessità strutturale spazialmente eterogenea sfruttando il riconoscimento situazionale umano, mantenendo al contempo la stabilità del sistema attraverso il disaccoppiamento degli input di controllo. Gli autori sostengono che questo approccio consente un campionamento cooperativo delle immagini senza compromettere le prestazioni di controllo o l'operabilità umana.

Gli autori notano con modestia che l'attuale implementazione è centralizzata e che sono necessari ulteriori lavori per affrontare l'implementazione distribuita, l'analisi rigorosa della stabilità a ciclo chiuso del sistema human-in-the-loop e la validazione sperimentale oltre la simulazione.