Riepilogo Tecnico: Co-GLANCE

Problematica

Le squadre di robot eterogenei (specificamente combinazioni aria-terra) che operano in ambienti esterni non strutturati affrontano una significativa incertezza percettiva dovuta alle occlusioni. Nessuna singola visuale fornisce una comprensione della scena affidabile; ad esempio, la vegetazione può bloccare la vista di un robot aereo pur rimanendo trasparente per un robot a terra, mentre ostacoli trascurabili dall'alto possono ostruire completamente la vista di un robot a terra. Risolvere queste incertezze richiede sia un ragionamento contestuale basato sulla scena (per capire cosa è nascosto) sia un'allocazione dei robot consapevole delle capacità (per decidere quale robot possa risolvere meglio l'occlusione).

Sebbene i Modelli Vision-Language (VLM) offrano forti priorità semantiche per questo ragionamento, essi presentano tre criticità fondamentali per l'implementazione onboard:

1. Proibizioni Computazionali: Sono troppo pesanti per l'inferenza in tempo reale onboard.
2. Dipendenza dal Cloud: Spesso richiedono l'inferenza basata su cloud, introducendo latenza e problemi di connettività.
3. Incertezza Non Calibrata: Mancano di una quantificazione dell'incertezza statisticamente valida, rendendoli inaffidabili per decisioni di percezione attiva critiche per la sicurezza.

I metodi di percezione attiva esistenti spesso si affidano a una confidenza euristica o non calibrata, fallendo nel fornire garanzie su quando sia realmente necessaria un'integrazione sensoriale aggiuntiva.

Metodologia: Co-GLANCE

Gli autori introducono Co-GLANCE, un framework di percezione e processo decisionale in tempo reale e onboard, progettato per risolvere l'incertezza percettiva in squadre di robot eterogenei. Il sistema opera attraverso tre componenti principali:

1. Distillazione della Conoscenza con Auto-Revisione Contestuale

Per eliminare la dipendenza dal cloud, Co-GLANCE distilla le capacità di ragionamento semantico di un grande VLM in un modello YOLO-seg-nano leggero ed end-to-end per l'inferenza onboard.

• Pipeline: Il processo inizia con un VLM che genera parole chiave di occlusione dai frame aerei, che vengono poi passate a un modello di segmentazione open-vocabulary per creare maschere candidate.
• Auto-Revisione Contestuale: Riconoscendo che le maschere generate dal VLM spesso non si allineano con le regioni intese, il sistema impiega un meccanio di conversazione multi-turno. Le maschere candidate vengono rialimentate al VLM, che esegue una "auto-revisione" per rimuovere le maschere errate, raffinare le regioni disallineate, proporre nuove parole chiave e assegnare etichette di allocazione della piattaforma (ground [terra], both [entrambi] o either [uno dei due]).
• Addestramento: Il modello leggero viene addestrato su questi pseudo-label raffinati, consentendogli di eseguire la segmentazione dell'occlusione e l'allocazione del robot in un singolo passaggio forward.

2. Quantificazione dell'Incertezza a Due Stadi

Per garantire l'affidabilità senza inferenza in cloud, Co-GLANCE combina l'astensione selettiva e la predizione conforme per fornire garanzie di copertura statisticamente valide.

• Stadio 1 (Controllato sul Rischio): Utilizza l'astensione selettiva per identificare predizioni ad alta confidenza. Se la confidenza di una predizione supera una soglia calibrata ($\hat{\lambda}$), questa viene accettata come una decisione "singleton", con un tasso di errore garantito (es. $1-\alpha$).
• Stadio 2 (Controllato sulla Copertura): Per le predizioni al di sotto della soglia (astensioni), il sistema applica la predizione conforme per generare un insieme di predizione. Ciò assicura che l'etichetta reale sia contenuta nell'insieme con una probabilità specificata ($1-\epsilon$), fornendo un fallback statisticamente valido invece di un tentativo casuale.

3. Percezione Attiva Guidata dall'Incertezza

Le stime di incertezza calibrate guidano direttamente la missione dei robot:

• Alta Confidenza: Se lo Stadio 1 conferma una predizione singleton (es. "l'occlusione esiste, robot a terra necessario"), il sistema procede con il piano assegnato.
• Bassa Confidenza/Astensione: Se il sistema si astiene (l'incertezza è troppo alta), innesca la percezione attiva.
  • Per l'allocazione dei robot, le astensioni innescano una missione conservativa di entrambi i robot nella regione per garantire la copertura.
  • Per il rilevamento degli oggetti, le astensioni inviano il robot a terra per acquisire una visuale più ravvicinata.
  • Il sistema instrada i robot utilizzando un risolutore per il Problema di Instradamento di Veicoli Eterogenei (HVRP), minimizzando i costi di percorrenza pur rispettando i vincoli delle piattaforme (es. i robot a terra sono pesati maggiormente per il costo di percorrenza).

Contributi Chiave

1. Percezione Onboard Consapevole dell'Incertezza: Co-GLANCE è il primo sistema che distilla il ragionamento VLM per la segmentazione dell'occlusione e l'allocazione dei robot in un modello onboard leggero, ottenendo un'accuratezza del rilevamento dell'occlusione superiore del 25% e un'accuratezza dell'allocazione dei robot superiore del 36% rispetto ai baseline VLM basati su cloud.
2. Incertezza Calibrata per la Percezione Attiva: Integrando l'astensione selettiva con la predizione conforme, il sistema fornisce garanzie statisticamente valide per gli output di segmentazione, allocazione e rilevamento, attivando direttamente la percezione attiva solo quando necessario.
3. Meccanismo di Auto-Revisione Contestuale: Un processo di raffinamento multi-turno innovativo che migliora la coerenza dei pseudo-label generati dal VLM, aumentando significativamente il richiamo (recall) e l'accuratezza di allocazione rispetto ai baseline VLM standard.
4. Deployment nel Mondo Reale e Dataset: Gli autori validano il sistema su una squadra aria-terra reale (DJI Matrice 600 e Boston Dynamics Spot) e rilasciano un dataset aria-terra multimodale contenente oltre 4.000 frame sincronizzati, colmando una lacuna nella letteratura esistente che spesso si basa su simulazioni o squadre omogenee.

Risultati Sperimentali

Valutato in ambienti esterni semi-strutturati con vegetazione naturale e infrastrutture:

• Accuratezza: Co-GLANCE ha superato il baseline VLM basato su cloud (ChatGPT-5.4 + Grounding DINO + SAM) del 25% nel rilevamento dell'occlusione e del 36% nell'accuratezza dell'allocazione dei robot.
• Efficienza: Il modello distillato ha ridotto la latenza di inferenza per frame di 350$\times$ (da >13 secondi a 37 ms) ed ha eliminato completamente l'uso di token API.
• Calibrazione dell'Incertezza: Lo schema a due stadi ha mantenuto con successo i tassi di errore entro i limiti target (es. $\le$ 15% per l'allocazione) gestendo al contempo i tassi di astensione (circa 10% per l'allocazione, 50% per il rilevamento di persone).
• Dataset: Il dataset rilasciato include dati sincronizzati RGB, RTK GPS e IMU da entrambe le piattaforme, supportando la ricerca futura sull'eterogeneità della percezione.

Significato

Il paper sostiene che Co-GLANCE dimostra la fattibilità di un deployment pratico e in tempo reale di ragionamenti semantici complessi in squadre di robot eterogenei senza dipendere dalla connettività cloud. Distillando le capacità VLM e quantificando rigorosamente l'incertezza, il sistema colma il divario tra il ragionamento semantico di alto livello e i requisiti di affidabilità della percezione attiva critici per la sicurezza. Gli autori pongono questo lavoro come un passo verso l'operatività autonoma in ambienti non strutturati dove l'affidabilità di una singola visuale è insufficiente.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• La valutazione è stata condotta in ambienti semi-strutturati con un numero limitato di robot (uno aereo, uno a terra).
• La politica di percezione attiva è euristica e non è ottimizzata congiuntamente con gli obiettivi di pianificazione a valle.
• Il modello distillato potrebbe ereditare bias dai pseudo-label generati dal VLM utilizzati durante l'addestramento.