Résumé Technique : Aero-World

Énoncé du Problème

Les modèles vidéo de base ont atteint un réalisme perceptuel impressionnant mais restent limités dans leur application à l'IA incarnée, en particulier pour le vol aérien. Les modèles actuels sont principalement entraînés sur du langage naturel plutôt que sur des signaux de contrôle de bas niveau, ce qui entraîne un manque de fidélité à l'action et de cohérence physique. Cet écart est critique pour les agents aériens car les drones opèrent dans un espace à 6 degrés de liberté (6-DoF) non contraint où les dynamiques de translation et de rotation interagissent de manière non linéaire. De petites erreurs dans le mouvement propre (par exemple, roulis ou tangage) peuvent induire de grandes dérives spatiales, et des manœuvres agressives amplifient souvent les incohérences temporelles.

Les approches existantes pour la génération de vidéos contrôlables reposent souvent sur des invites textuelles grossières, des paramètres de caméra ou des annotations intermédiaires (par exemple, flux optique, profondeur) qui sont soit indisponibles pour les agents incarnés pendant l'entraînement, soit ne correspondent pas à l'interface de contrôle native de l'agent (signaux inertiels 6-DoF). De plus, l'augmentation de l'échelle des données et de la taille des modèles n'a pas montré de forte corrélation avec l'adhésion à l'action, et l'obtention d'annotations vidéo-IMU appariées est coûteuse. Par conséquent, il existe un besoin d'une méthode pour adapter les générateurs vidéo préentraînés afin de générer des vidéos aériennes qui suivent strictement des signaux d'action inertiels fins (accélération linéaire et vitesse angulaire) sans nécessiter un réentraînement coûteux à partir de zéro.

Méthodologie : Aero-World

Les auteurs proposent Aero-World, un cadre qui convertit un modèle de diffusion image-vers-vidéo préentraîné en un générateur de vidéos aériennes contrôlable, conditionné par des commandes inertielles denses 6-DoF. L'approche exploite les priors visuels des modèles existants à grande échelle tout en introduisant deux mécanismes clés pour assurer la cohérence action-mouvement :

1. Injection de Jetons d'Action

Le modèle accepte une séquence d'actions inertielles 6-DoF ($a_{1:T}$), où chaque vecteur d'action contient l'accélération linéaire et la vitesse angulaire. Ces actions sont intégrées via un MLP léger et injectées dans les blocs du transformateur de diffusion par un mécanisme d'attention croisée, créant un flux de jetons d'action distinct parallèlement aux conditions visuelles et temporelles. Les auteurs emploient un alignement causal des actions, où la commande $a_{t+1}$ conditionne la transition vers l'image $\hat{I}_{t+1}$, assurant ainsi que le modèle apprend la relation entre les changements de mouvement et les transitions visuelles plutôt que les apparences statiques.

2. Sonde de Physique dans l'Espace Latent Gelé

Pour assurer la cohérence physique sans décodage vidéo coûteux en calcul, les auteurs introduisent une Sonde de Physique.

• Entraînement : La sonde ($\Phi$) est entraînée indépendamment sur de vraies paires vidéo-IMU synchronisées. Elle opère dans l'espace latent d'un VAE 3D gelé, en mappant les latents vidéo vers des bins discrétisés d'états inertiels (accélération linéaire et vitesse angulaire) pour chacun des six axes.
• Architecture : Elle se compose de couches de convolution 3D légères, d'un regroupement spatial global et d'un classificateur MLP. L'utilisation de bins discrétisés (quantification) répond à la distribution à queue lourde des données IMU lors de vols agressifs et se concentre sur la récupération du régime de mouvement correct (par exemple, accélération vs virage) plutôt que sur une reconstruction précise de niveau capteur.
• Supervision : Pendant le micro-ajustement LoRA du générateur, la Sonde de Physique reste gelée. Elle évalue la prédiction latente débruitée ($\hat{z}_0$) et fournit un signal de perte différentiable ($L_{physics}$) qui pénalise les écarts entre le mouvement inféré par la sonde et la séquence d'actions commandée.
• Inférence : La sonde est écartée au moment de l'inférence ; le modèle génère des vidéos en utilisant uniquement l'image initiale et la séquence d'actions IMU.

Stratégie d'Entraînement

Le cadre utilise l'Adaptation à Faible Rang (LoRA) pour micro-ajuster le noyau de diffusion préentraîné. L'objectif d'entraînement combine la perte de débruitage standard ($L_{diff}$) avec la perte de cohérence physique ($L_{physics}$) :
$$L_{total} = L_{diff} + \lambda_{phy}L_{physics}$$
Une phase de réchauffement est employée où $\lambda_{phy} = 0$ initialement pour permettre au chemin d'action d'interagir avec le noyau préentraîné avant d'activer la supervision physique.

Contributions Clés

1. Adaptation Guidée par l'Inertie : Une méthode pour adapter les noyaux vidéo de diffusion préentraînés à la génération de vidéos aériennes conditionnées par IMU en utilisant une supervision inertielle dans l'espace latent, évitant ainsi la nécessité d'un entraînement à partir de zéro.
2. Supervision par Sonde de Physique : Une sonde gelée et différentiable qui fournit des signaux de cohérence action-mouvement pendant le micro-ajustement LoRA léger, permettant au modèle de respecter les contraintes de mouvement 6-DoF tout en préservant les priors visuels.
3. AeroBench et Métriques : L'introduction d'un nouveau benchmark et de deux métriques spécifiques pour évaluer la génération aérienne conditionnée par l'action :
   • Score d'Alignement d'Action (AAS) : Mesure l'accord au niveau des bins entre les actions IMU commandées et le mouvement inféré par la sonde.
   • Taux de Cohérence Physique (PCR) : Mesure l'instabilité oscillatoire image par image (stabilité temporelle) basée sur les dérivées des bins prédits par la sonde.

Résultats Expérimentaux

Les auteurs ont évalué Aero-World sur AeroBench en utilisant des données provenant de courses de drones FPV UZH et de courses de drones TII.

• Compromis Fidélité Visuelle vs Contrôle : Aero-World atteint un compromis supérieur par rapport aux bases de référence comme AirScape et au micro-ajustement uniquement sur l'action. Il maintient une Distance Vidéo Fréchet (FVD) plus faible de 596,5 (contre 1058,6 pour AirScape) et une Similarité Structurelle (SSIM) plus élevée de 0,595 (contre 0,505), indiquant une meilleure qualité perceptuelle et une meilleure similarité structurelle.
• Alignement d'Action : La méthode améliore le Score d'Alignement d'Action (AAS) moyen de 57,7 (micro-ajustement uniquement sur l'action) à 63,6.
• Stabilité Temporelle : La supervision physique réduit légèrement le Taux de Cohérence Physique (PCR) de 0,033 à 0,029, indiquant une dynamique plus fluide d'image en image.
• Validation Indépendante : En utilisant un évaluateur Flow-IMU indépendant (entraîné sur la régression flux RGB vers IMU, distinct de la sonde latente), Aero-World a obtenu la corrélation moyenne la plus élevée (0,44) par rapport à Action FT (0,30) et AirScape (0,20). Notamment, Aero-World a montré des corrélations positives sur les six axes, tandis qu'AirScape a montré des corrélations négatives sur plusieurs.
• Performance Qualitative : Le modèle génère avec succès un mouvement stable et fidèle à l'action, tant dans des manœuvres in-distribution que dans des scènes out-of-distribution, préservant le mouvement propre même lorsque la distribution de la scène diffère des données d'entraînement.

Importance et Revendications

L'article revendique que la supervision par Sonde de Physique gelée est un mécanisme pratique et efficace pour adapter les générateurs vidéo préentraînés afin qu'ils soient plus réactifs aux contrôles de mouvement aérien de bas niveau. En opérant dans l'espace latent, la méthode évite le coût computationnel du décodage vidéo pendant l'entraînement tout en assurant toujours la cohérence physique.

Les auteurs positionnent Aero-World comme une solution à l'écart de « fidélité à l'action » dans les modèles vidéo de base, permettant l'entraînement sûr et évolutif de politiques de contrôle robustes pour les agents aériens entièrement dans le logiciel. Le travail souligne que si le réalisme visuel peut être atteint par l'augmentation de l'échelle, l'atteinte d'une cohérence physique nécessite des mécanismes de supervision explicites et pilotés par les données, comme la Sonde de Physique proposée. Les auteurs notent modestement qu'un compromis fidélité-contrôle subsiste, suggérant que c'est un domaine pour des travaux futurs.