💻 computer science

CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

CosFly-VLA est un modèle Vision-Langage-Action spatialement conscient qui améliore le suivi de cibles par UAV dans des environnements urbains complexes et occultés en intégrant un pré-entraînement sensible à la profondeur, un ajustement fin basé sur un curriculum, un raisonnement par chaîne de pensée et un apprentissage par renforcement en boucle fermée afin de réduire significativement les erreurs de déplacement et d'améliorer les taux de réussite par rapport aux politiques existantes.

Auteurs originaux : Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le pilote d'un minuscule drone super intelligent, survolant une ville animée. Votre mission est de suivre une personne précise qui marche dans la rue. D'habitude, c'est facile : vous la voyez, vous volez vers elle et vous la gardez dans votre objectif. Mais les villes sont complexes. Soudain, un immeuble haut, un arbre dense ou une foule de personnes bloque votre vue. La personne disparaît de votre écran. Un drone normal pourrait paniquer, se tromper et s'écraser contre un mur parce qu'il a perdu sa « carte mentale » de l'endroit où la personne est partie. C'est le monde du suivi par Véhicule Aérien Non Managé (UAV), un domaine de la robotique où les machines apprennent à poursuivre des cibles mobiles. Le grand défi n'est pas seulement de voir la cible ; c'est de savoir quoi faire quand on ne peut plus la voir. Pour résoudre cela, les scientifiques utilisent des modèles Vision-Langage-Action (VLA). Considérez ces modèles comme le cerveau d'un robot capable de « voir » une image, de « lire » une commande comme « suis le coureur » et d'« agir » en déplaçant ses moteurs, tout cela en même temps.

Entrez dans l'ère de CosFly-VLA, un nouveau pilote de drone super intelligent conçu par des chercheurs pour gérer ces « angles morts ». Au lieu de simplement fixer l'écran et d'attendre que la cible réapparaisse, CosFly-VLA agit comme un détective doté d'une forte imagination. Quand la cible disparaît derrière un bâtiment, le drone ne se fige pas. Il utilise sa connaissance de la configuration de la ville et la dernière vitesse connue de la personne pour deviner où elle se trouve probablement. Il se dit : « D'accord, elle marchait vers la droite, et ce bâtiment est sur la gauche, donc elle doit ressortir de l'autre côté. » Il emprunte ensuite une trajectoire calculée pour la rejoindre là. Les chercheurs ont entraîné ce drone en utilisant une « recette » spéciale qui incluait beaucoup de pratique avec de longues périodes d'aveuglement, lui apprenant à privilégier son raisonnement spatial sur sa vue lorsque ses yeux font défaut. Ils l'ont testé dans un monde de jeu vidéo de haute technologie appelé CARLA, où le drone devait poursuivre des piétons à travers des cartes de villes complexes. Les résultats suggèrent que cette nouvelle approche est bien meilleure pour garder la cible en vue et éviter les collisions par rapport aux cerveaux de drones plus anciens et plus basiques, surtout lorsque la cible est cachée pendant une longue période.

Le Drone Détective : Comment fonctionne CosFly-VLA

L'idée centrale de cet article est que poursuivre une cible mobile dans une ville est comme jouer à un jeu de « cache-cache » où le chercheur doit continuer à bouger même lorsqu'il ne voit pas celui qui se cache. L'équipe de chercheurs, dirigée par une équipe d'Autel Robotics et de plusieurs universités, a réalisé que la plupart des systèmes de drones existants sont excellents pour « voir et suivre », mais terribles pour « deviner et récupérer » lorsque la vue est obstruée.

Le Problème : La Panique de l'Angle Mort
Imaginez que vous jouez à un jeu vidéo où vous devez suivre un personnage. Soudain, un mur couvre l'écran. Si votre personnage s'arrête ou vole de manière aléatoire, vous perdez. Dans le monde réel, si un drone perd de vue une personne, il peut voler dans la mauvaise direction, s'écraser contre un arbre ou simplement abandonner. L'article soutient que l'ancienne méthode d'entraînement des drones — leur montrer des milliers d'images de personnes marchant — ne leur apprend pas à gérer les moments où la personne n'est pas visible.

La Solution : Un Cerveau qui Pense en 3D
CosFly-VLA est un modèle « Vision-Langage-Action ». Décomposons cela avec une analogie simple :

Vision : Il possède des yeux (caméras) qui voient le monde.
Langage : Il peut lire des instructions comme « Suis la personne au t-shirt rouge ».
Action : Il contrôle les moteurs du drone pour monter, descendre, aller à gauche, à droite et tourner.

Mais ce qui rend CosFly-VLA spécial, c'est sa Conscience Spatiale. Lorsque la cible est cachée, le drone ne se contente pas de deviner ; il construit une « hypothèse mentale ». Il se demande : « Où était la personne pour la dernière fois ? Où sont les bâtiments ? Si elle a continué à marcher droit, où serait-elle maintenant ? » Il vole ensuite vers cet endroit, prêt à saisir la cible dès qu'elle réapparaît.

La Recette d'Entraînement : De l'Étudiant au Maître
Les chercheurs n'ont pas seulement appris au drone à voler ; ils lui ont donné un cours d'entraînement spécifique en quatre étapes pour en faire un maître du suivi :

Le Camp d'Entraînement de la « Carte de la Ville » (Pré-entraînement spatialement ancré) : Avant d'apprendre à poursuivre, le drone a étudié des milliers de photos aériennes et de puzzles 3D. Il a appris les distances, les hauteurs et comment les bâtiments bloquent la vue. C'est comme apprendre à un étudiant à lire une carte avant de l'envoyer en chasse au trésor.
L'École du « Facile à Difficile » (Apprentissage par Curriculum) : Le drone a commencé par des parcours faciles où la personne était toujours visible. Ensuite, les professeurs (les chercheurs) ont progressivement rendu les choses plus difficiles, introduisant de longues périodes où la personne était cachée derrière des bâtiments. Cela a forcé le drone à pratiquer ses compétences de « devin ».
La Classe du « Penser à Voix Haute » (Chaîne de Pensée) : C'est la partie la plus cool. Le drone a appris à « penser à voix haute » avant de bouger. Quand la cible disparaissait, il générait une explication textuelle telle que : « La cible est derrière le bâtiment. Elle marchait vers la droite, je devrais donc voler vers la droite et attendre. » Cette étape de raisonnement aidait le drone à comprendre pourquoi il effectuait un mouvement, et pas seulement quoi faire.
L'Exercice de « Feu Réel » (Apprentissage par Renforcement) : Enfin, le drone a volé dans une ville simulée (le moteur de jeu CARIA) et a appris en pratiquant. S'il s'écrasait, il recevait un « mauvais score ». S'il trouvait avec succès la personne après une longue cachette, il recevait un « bon score ». Au fil du temps, il a appris à voler de manière plus fluide et plus sûre.

Ce que disent les Chiffres
Les chercheurs ont testé leur nouveau drone contre des modèles standards plus anciens. Ils ont utilisé deux types de tests :

Boucle Ouverte (Open-Loop) : Le drone regarde un clip vidéo et prédit où sera la personne, sans réellement voler.
Boucle Fermée (Closed-Loop) : Le drone vole réellement dans le simulateur, prenant des décisions en temps réel.

Les résultats étaient prometteurs. Dans les tests en « Boucle Ouverte », CosFly-VLA a commis moins d'erreurs de prédiction de la trajectoire de la cible par rapport aux modèles standards. Plus précisément, il a réduit l'erreur moyenne de prédiction de la position de la cible d'environ 34 % sur des cartes familières et de 35 % sur de nouvelles cartes inconnues.

Dans les tests de vol réels en « Boucle Fermée », l'amélioration du taux de réussite était encore plus spectaculaire. Sur des cartes familières, le nouveau drone a réussi à suivre la cible 29,8 % plus souvent que le modèle standard (passant d'un taux de réussite de 57 % à 74 %). Sur des cartes complètement nouvelles, il s'est également amélioré, bien que de manière plus modeste (2,5 %). Plus important encore, le nouveau drone s'est moins écrasé et a maintenu une distance plus sûre avec la cible.

Le Bémol : Ce n'est Encore qu'une Simulation
Bien que les résultats soient passionnants, l'article est très clair sur ses limites. Tous ces tests ont eu lieu à l'intérieur d'une simulation informatique (le jeu CARLA). Le drone n'a jamais volé dans le monde réel avec du vrai vent, de la vraie pluie ou des personnes réellement imprévisibles. Les chercheurs admettent que la physique du monde réel pourrait être plus désordonnée que celle du jeu. Ils notent également que le drone a été entraîné sur un ensemble spécifique de cartes urbaines et de comportements de piétons, il pourrait donc éprouver des difficultés dans des environnements très différents (comme une forêt dense ou un centre commercial intérieur bondé) qu'il n'a pas encore rencontrés.

La Grande Conclusion
CosFly-VLA suggère que pour que les drones soient réellement utiles dans des villes complexes, ils doivent cesser de simplement « réagir » à ce qu'ils voient et commencer à « raisonner » sur ce qu'ils ne voient pas. En combinant une solide compréhension de l'espace 3D avec un processus de raisonnement étape par étape, ces drones peuvent rester sur la bonne voie même lorsque la cible disparaît. C'est un pas vers des drones autonomes qui sont aussi ingénieux qu'un pilote humain qui connaît le quartier, plutôt qu'une simple caméra qui suit un point.

Résumé Technique : CosFly-VLA

Formulation du Problème

Le suivi de cibles dynamiques pour les véhicules aériens sans pilote (UAV) dans des environaux urbains complexes fait face à un mode de défaillance critique : l'occlusion soutenue. Alors que les politiques de Vision-Langage-Action (VLA) existantes excellent dans le suivi de cibles visibles, leurs performances se dégradent considérablement lorsque les cibles sont bloquées par des bâtiments, de la végétation ou des foules. Dans ces scénarios, les pipelines conventionnels de détection-réidentification-contrôle perdent les preuves d'identité stables nécessaires à la récupération. L'article reformule ce défi non pas simplement comme l'action de « voir et suivre », mais comme un problème de récupération en boucle fermée. L'agent doit maintenir une hypothèse spatiale sur une cible invisible, prédire sa région de réémergence probable en utilisant des priors spatiaux, et exécuter des actions correctives pour supprimer la dérive et réacquérir la cible sans observation visuelle directe.

Méthodologie : CosFly-VLA

Les auteurs proposent CosFly-VLA, un modèle VLA spatialement conscient conçu pour ancrer conjointement les cibles, estimer la visibilité et générer des actions de vol continues.

1. Architecture du Modèle

Backbone (Dossier central) : Le modèle utilise un backbone vision-langage Qwen3.5 gelé, amélioré par des adaptateurs de faible rang (LoRA).
Interface de Meta-Query : Pour éviter le décodage JSON fragile, l'architecture introduit des intervalles de meta-query balisés par des bornes (<boi_act>, <boi_box>, <boi_vis>) qui dirigent les états cachés spécifiques aux tâches vers des têtes découplées.
Trois Sorties Structurées :
1. Tête d'Action : Un Transformer de Diffusion (DiT) à 12 couches utilisant le Flow Matching pour prédire un bloc d'actions (action chunk) de type waypoint-delta à 4 degrés de liberté (dx, dy, dz, dyaw) sur 8 étapes. Cela modélise une distribution de trajectoire continue plutôt que des jetons discrets.
2. Tête de Bounding Box : Un MLP qui prédit l'emplacement actuel de la cible (grille 0–1000) pour l'ancrage visuel.
3. Tête de Visibilité : Un MLP estimant la probabilité de visibilité de la cible, crucial pour déterminer quand s'appuyer sur le raisonnement spatial plutôt que sur l'apparence.
Chaîne de Pensée (CoT) : Le modèle est entraîné pour émettre une trace de raisonnement (<thought>) avant la réponse structurée, raisonnant explicitement sur l'occlusion et les stratégies de récupération.

2. Recette d'Entraînement

L'entraînement suit un curriculum progressif en quatre étapes conçu pour injecter des priors spatiaux aériens et une robustesse en boucle fermée :

Pré-entraînement Continu (CPT) Spatialement Ancré : Un mélange de 500k échantillons (70 % de trajectoires UAV internes, 30 % de jeux de données spatiaux-VL aériens externes comme AirSpatial et Open3DVQA-v2) adapte le backbone à la profondeur de vue UAV, à la distance et au raisonnement spatial 3D.
Fine-Tuning Supervisé (SFT) basé sur un Curriculum : Un processus en trois étapes :
- Warm-up multi-têtes : Initialise les têtes avec un backbone gelé.
- Curriculum naturel : Entraîne sur des distributions de suivi standard.
- Curriculum d'occlusion difficile/longue : Inclut explicitement des fenêtres avec 4 à 5 images invisibles (précédemment filtrées) pour enseigner le comportement de récupération.
Entraînement de la Chaîne de Pensée (CoT) : Utilise des traces de raisonnement générées par un enseignant pour les cas d'occlusion difficiles/longues afin d'enseigner une logique orientée vers la récupération avant les réponses structurées.
Apprentissage par Renforcement (RL) en Boucle Fermée : La tête d'action est affinée à l'aide d'une Optimisation de Politique de Flux Guidée par Expert (EG-FPO) dans un simulateur CARLA. La fonction de récompense combine le maintien de la distance de décalage (stand-off distance), la qualité de l'ancrage (IoU), l'évitement des collisions et le succès de la tâche. Le backbone reste gelé ; seul l'expert d'action est mis à jour.

Contributions Clés

Reformulation du Suivi : L'article déplace l'accent de l'imitation de trames visibles vers une récupération en boucle fermée robuste à l'occlusion, définissant des protocoles Easy/Medium/Hard reproductibles basés sur la visibilité géométrique.
Architecture VLA Spatialement Consciente : Introduit une interface de meta-query qui découple l'action, l'ancrage et la prédiction de visibilité, permettant au modèle de maintenir des estimations d'état sous une observabilité partielle.
Stratégie d'Entraînement Progressive : Démontre l'efficacité de la combinaison du CPT spatialement ancré, de l'apprentissage par curriculum avec des données d'occlusion longue, du raisonnement CoT et du RL on-policy pour combler l'écart entre la supervision hors ligne et le déploiement en boucle fermée.
Cadre d'Évaluation : Établit une évaluation rigoureuse utilisant des fenêtres en boucle ouverte graduées par occlusion et des déploiements en boucle fermée sur CARLA, tant sur des cartes vues que non vues.

Résultats Expérimentaux

L'évaluation compare CosFly-VLA-0.8B à des VLM généraux (ex. Qwen3.5, Opus) et à des bases VLA générales (OpenVLA, $\pi_0$ , $\pi_{0.5}$ ).

Performance en Boucle Ouverte :
- Par rapport à OpenVLA, CosFly-VLA-0.8B (SFT+CoT) réduit l'Erreur de Déplacement Moyen (ADE) de 34,1 % sur le test vu et de 35,3 % sur le test non vu.
- Les améliorations sont plus prononcées dans les tranches d'occlusion "Hard", avec des réductions d'ADE de 46,7 % (vu) et 39,2 % (non vu).
- Le modèle atteint un ancrage de bounding box supérieur (IoU ~0,65) et une estimation de visibilité supérieure (F1 ~0,94).
Performance en Boucle Fermée :
- La variante affinée par RL améliore le Taux de Succès (SR) de 29,8 % (+17 points de pourcentage) sur le test vu et de 2,5 % (+2 points) sur le test non vu par rapport à OpenVLA.
- Elle réduit l'ADE de déploiement de 10,0 % (vu) et 8,7 % (non vu) et diminue significativement l'erreur de distance de décalage.
- L'analyse qualitative montre que la politique RL réussit à récupérer de la dérive et à éviter les collisions dans des couloirs urbains denses là où les bases échouent.
Études d'Ablation :
- Le CPT spatialement ancré est identifié comme le principal moteur de la généralisation inter-cartes (gains sur le test non vu).
- La supervision CoT apporte le gain marginal le plus important sur les cas "Hard" du test vu, validant l'importance du raisonnement explicite pour la récupération d'occlusion.

Signification et Revendications

L'article affirme que CosFly-VLA marque une étape importante pour faire passer le suivi d'UAV de l'imitation de trames visibles vers un contrôle spatialement ancré et en boucle fermée par l'action. Les auteurs soulignent que le suivi robuste sous occlusion nécessite :

Un raisonnement spatial explicite sur les cibles invisibles plutôt que de se fier uniquement à l'apparence.
Une construction de données qui préserve les échantillons d'occlusion longue plutôt que de les filtrer comme du bruit.
Une optimisation en boucle fermée pour s'adapter à la distribution d'observation induite par les propres actions de la politique, empêchant l'accumulation d'erreurs.

Ce travail établit qu'un modèle de 0,8 milliard de paramètres, lorsqu'il est entraîné avec un curriculum spatialement ancré et un RL en boucle fermée, peut surpasser des bases VLA plus larges et généralistes dans des scénarios de suivi aérien complexes et occultés. Les auteurs notent que bien que les résultats soient prometteurs en simulation, des travaux futurs sont nécessaires pour aborder les défis de déploiement dans le monde réel tels que le bruit des capteurs, la latence de communication et les comportements diversifiés des cibles.