Résumé Technique : Co-GLANCE

Énoncé du Problème

Les équipes de robots hétérogènes (spécifiquement les combinaisons air-sol) opérant dans des environnements extérieurs non structurés sont confrontées à une incertitude perceptuelle significative due aux occlusions. Aucun point de vue unique ne fournit une compréhension fiable de la scène ; par exemple, la végétation peut bloquer la vue d'un robot aérien tout en restant transparente pour un robot terrestre, tandis que des obstacles insignifiants depuis le haut peuvent occulter totalement un robot au sol. La résolution de ces incertitudes nécessite à la fois un raisonnement contextuel basé sur la scène (pour comprendre ce qui est caché) et une allocation de robots tenant compte de leurs capacités (pour décider quel robot est le mieux à même de lever l'occlusion).

Bien que les modèles de vision-langage (VLM) offrent de solides priors sémantiques pour ce raisonnement, ils présentent trois limitations critiques pour un déploiement embarqué :

1. Prohibitions Computationnelles : Ils sont trop lourds pour une inférence embarquée en temps réel.
2. Dépendance au Cloud : Ils nécessitent souvent une inférence basée sur le cloud, ce qui introduit de la latence et des problèmes de connectivité.
3. Incertitude Non Calibrée : Ils manquent de quantification statistique valide de l'incertitude, ce qui les rend peu fiables pour des décisions de perception active critiques pour la sécurité.

Les méthodes de perception active existantes reposent souvent sur une confiance heuristique ou non calibrée, échouant à fournir des garanties sur le moment où une perception supplémentaire est réellement nécessaire.

Méthodologie : Co-GLANCE

Les auteurs introduisent Co-GLANCE, un cadre de perception et de prise de décision en temps réel et embarqué, conçu pour résoudre l'incertitude perceptuelle dans les équipes de robots hétérogènes. Le système fonctionne via trois composantes centrales :

1. Distillation de Connaissances avec Auto-Révision Contextuelle

Pour éliminer la dépendance au cloud, Co-GLANCE distille les capacités de raisonnement sémantique d'un VLM de grande taille dans un modèle YOLO-seg-nano léger et de bout en bout pour l'inférence embarquée.

• Pipeline : Le processus commence par un VLM générant des mots-clés d'occlusion à partir de cadres aériens, qui sont ensuite transmis à un modèle de segmentation en vocabulaire ouvert pour créer des masques candidats.
• Auto-Révision Contextuelle : Reconnaissant que les masques générés par le VLM sont souvent mal alignés avec les régions visées, le système utilise un mécanisme de conversation multi-tours. Les masques candidats sont renvoyés au VLM, qui effectue une « auto-révision » pour supprimer les masques incorrects, affiner les régions mal alignées, proposer de nouveaux mots-clés et assigner des étiquettes d'allocation de plateforme (ground [sol], both [les deux] ou either [l'un ou l'autre]).
• Entraînement : Le modèle léger est entraîné sur ces pseudo-étiquettes raffinées, lui permettant d'effectuer la segmentation d'occlusion et l'allocation de robots en une seule passe directe (forward pass).

2. Quantification de l'Incertitude en Deux Étapes

Pour garantir la fiabilité sans inférence cloud, Co-GLANCE combine l'abstention sélective et la prédiction conforme afin de fournir des garanties de couverture statistiquement valides.

• Étape 1 (Contrôlée par le Risque) : Utilise l'abstention sélective pour identifier les prédictions à haute confiance. Si la confiance d'une prédiction dépasse un seuil calibré ($\hat{\lambda}$), elle est acceptée comme une décision « singleton » avec un taux d'erreur garanti (ex: $1-\alpha$).
• Étape 2 (Contrôlée par la Couverture) : Pour les prédictions inférieures au seuil (abstentions), le système applique la prédiction conforme pour générer un ensemble de prédiction. Cela garantit que la véritable étiquette est contenue dans l'ensemble avec une probabilité spécifiée ($1-\epsilon$), fournissant un repli statistiquement valide plutôt qu'une supposition aléatoire.

3. Perception Active Pilotée par l'Incertitude

Les estimations d'incertitude calibrées pilotent directement la répartition des robots :

• Haute Confiance : Si l'Étape 1 confirme une prédiction singleton (ex: « une occlusion existe, robot terrestre nécessaire »), le système procède au plan assigné.
• Faible Confiance / Abstention : Si le système s'abstient (l'incertitude est trop élevée), il déclenche une perception active.
  • Pour l'allocation de robots, les abstentions déclenchent un déploiement conservateur des deux robots vers la région pour assurer la couverture.
  • Pour la détection d'objets, les abstentions envoient le robot terrestre pour acquérir un point de vue plus proche.
  • Le système route les robots en utilisant un solveur de Problème de Tournées de Véhicules Hétérogènes (HVRP), minimisant les coûts de déplacement tout en respectant les contraintes de plateforme (ex: les robots terrestres sont pondérés plus lourdement pour le coût de traversée).

Contributions Clés

1. Perception Embarquée Sensible à l'Incertitude : Co-GLANCE est le premier système à distiller le raisonnement VLM pour la segmentation d'occlusion et l'allocation de robots dans un modèle embarqué léger, atteignant une précision de détection d'occlusion supérieure de 25 % et une précision d'allocation de robot supérieure de 36 % par rapport aux bases de référence VLM basées sur le cloud.
2. Incertitude Calibrée pour la Perception Active : En intégrant l'abstention sélective à la prédiction conforme, le système fournit des garanties statistiquement valides pour les sorties de segmentation, d'allocation et de détection, déclenchant la perception active uniquement lorsque nécessaire.
3. Mécanisme d'Auto-Révision Contextuelle : Un processus de raffinement multi-tours novateur qui améliore la cohérence de la supervision générée par le VLM, augmentant considérablement le rappel et la précision d'allocation par rapport aux bases de référence VLM standards.
4. Déploiement Réel et Jeu de Données : Les auteurs valident le système sur une équipe air-sol réelle (DJI Matrice 600 et Boston Dynamics Spot) et publient un jeu de données multimodal air-sol contenant plus de 4 000 images synchronisées, comblant une lacune dans la littérature existante qui repose souvent sur la simulation ou des équipes homogènes.

Résultats Expérimentaux

Évalué dans des environnements extérieurs semi-structurés avec une végétation naturelle et des infrastructures :

• Précision : Co-GLANCE a surpassé la base de référence VLM basée sur le cloud (ChatGPT-5.4 + Grounding DINO + SAM) de 25 % pour la détection d'occlusion et de 36 % pour la précision de l'allocation de robot.
• Efficacité : Le modèle distillé a réduit la latence d'inférence par image de 350$\times$ (passant de >13 secondes à 37 ms) et a totalement éliminé l'utilisation de jetons d'API.
• Calibration de l'Incertitude : Le schéma en deux étapes a réussi à maintenir les taux d'erreur dans les limites cibles (ex: $\le$ 15 % pour l'allocation) tout en gérant les taux d'abstention (environ 10 % pour l'allocation, 50 % pour la détection de personnes).
• Jeu de Données : Le jeu de données publié comprend des données RGB, RTK GPS et IMU synchronisées pour les deux plateformes, soutenant la recherche future en perception hétérogène.

Signification

L'article soutient que Co-GLANCE démontre la faisabilité d'un déploiement pratique et en temps réel de raisonnements sémantiques complexes dans des équipes de robots hétérogènes sans dépendre de la connectivité cloud. En distillant les capacités des VLM et en quantifiant rigoureusement l'incertitude, le système comble le fossé entre le raisonnement sémantique de haut niveau et les exigences de fiabilité de la perception active critique pour la sécurité. Les auteurs positionnent ce travail comme une étape vers l'opération autonome dans des environnements non structurés où la fiabilité d'un point de vue unique est insuffisante.

Limites

Les auteurs reconnaissent plusieurs limites :

• L'évaluation a été menée dans des environnements semi-structurés avec un nombre limité de robots (un aérien, un terrestre).
• La politique de perception active est heuristique et n'est pas optimisée conjointement avec les objectifs de planification en aval.
• Le modèle distillé peut hériter de biais provenant des pseudo-étiquettes générées par le VLM utilisées lors de l'entraînement.