Technische Samenvatting: Aero-World

Probleemstelling

Funderende videomodellen hebben indrukwekkende perceptuele realisme bereikt, maar blijven beperkt in hun toepassing op embodied AI, met name voor vliegen in de lucht. Huidige modellen worden voornamelijk getraind op natuurlijke taal in plaats van laag-niveau besturingssignalen, wat leidt tot een gebrek aan actie-trouw en fysische consistentie. Deze kloof is kritiek voor luchtagenten omdat drones opereren in een onbeperkte ruimte met 6 vrijheidsgraden (6-DoF), waarbij translatie- en rotatiedynamica niet-lineair met elkaar interageren. Kleine fouten in eigenbeweging (bijvoorbeeld rollen of pitch) kunnen grote ruimtelijke drift veroorzaken, en agressieve manoeuvres versterken vaak temporale inconsistenties.

Bestaande benaderingen voor controleerbare videogeneratie vertrouwen vaak op ruwe tekstprompts, cameraparameters of intermediaire annotaties (bijvoorbeeld optische flow, diepte) die ofwel niet beschikbaar zijn voor embodied agenten tijdens training, ofwel niet overeenkomen met de native besturingsinterface van de agent (6-DoF traagheidssignalen). Bovendien is aangetoond dat het schalen van data en modelgrootte niet goed correleert met actie-gehoorzaamheid, en het verkrijgen van gekoppelde video-IMU-annotaties kostbaar is. Bijgevolg is er behoefte aan een methode om voorgeöefende videogeneratoren aan te passen om luchtvideos te genereren die strikt volgen op fijnkorrelige traagheidsactie-signalen (lineaire versnelling en hoeksnelheid) zonder dure training vanaf nul te vereisen.

Methodologie: Aero-World

De auteurs stellen Aero-World voor, een raamwerk dat een voorgeöefend beeld-naar-video diffusiemodel omzet in een controleerbare luchtvideogenerator die is geconditioneerd op dichte 6-DoF traagheidscommando's. De aanpak maakt gebruik van de visuele priors van bestaande grootschalige modellen, terwijl twee kernmechanismen worden geïntroduceerd om actie-beweging consistentie af te dwingen:

1. Injectie van Actie-Tokens

Het model accepteert een reeks 6-DoF traagheidsacties ($a_{1:T}$), waarbij elke actievector lineaire versnelling en hoeksnelheid bevat. Deze acties worden ingebed via een lichtgewicht MLP en geïnjecteerd in de diffusietransformerblokken via een cross-attention mechanisme, waardoor een aparte actie-tokenstroom ontstaat naast visuele en tijdstap-conditionering. De auteurs maken gebruik van causale actie-uitlijning, waarbij het commando $a_{t+1}$ de overgang naar frame $\hat{I}_{t+1}$ conditioneert, zodat het model de relatie leert tussen bewegingsveranderingen en visuele overgangen in plaats van statische verschijningen.

2. Bevroren Latente Ruimte Fysische Proef

Om fysische consistentie af te dwingen zonder computatie-intensieve videodecodering, introduceren de auteurs een Fysische Proef.

• Training: De proef ($\Phi$) wordt onafhankelijk getraind op echte gesynchroniseerde video-IMU-paren. Het werkt in de latente ruimte van een bevroren 3D VAE en koppelt videolatenten aan gediscretiseerde bakken van traagheidstoestanden (lineaire versnelling en hoeksnelheid) voor elk van de zes assen.
• Architectuur: Het bestaat uit lichtgewicht 3D convolutielagen, globale ruimtelijke pooling en een MLP-classificator. Het gebruik van gediscretiseerde bakken (kwantisatie) adresseert de zwaarstaartverdeling van IMU-data bij agressief vliegen en richt zich op het herstellen van het juiste bewegingsregime (bijvoorbeeld versnellen versus draaien) in plaats van precieze reconstructie op sensorniveau.
• Supervisie: Tijdens de LoRA-finetuning van de generator blijft de Fysische Proef bevroren. Het evalueert de gedenoiseerde latente voorspelling ($\hat{z}_0$) en levert een differentieerbaar verlies-signaal ($L_{physics}$) dat afwijkingen straft tussen de door de proef afgeleide beweging en het bevolen actiereeks.
• Inferentie: De proef wordt bij inferentie verworpen; het model genereert video's met alleen het initiële frame en de IMU-actiereeks.

Trainingsstrategie

Het raamwerk maakt gebruik van Low-Rank Adaptation (LoRA) om de voorgeöefende diffusiebackbone te finetunen. Het trainingsdoel combineert het standaard denoising-verlies ($L_{diff}$) met het fysische consistentieverlies ($L_{physics}$):
$$L_{total} = L_{diff} + \lambda_{phy}L_{physics}$$
Er wordt een warm-upfase toegepast waarbij $\lambda_{phy} = 0$ in eerste instantie om de actiepad te laten interageren met de voorgeöefende backbone voordat de fysische supervisie wordt ingeschakeld.

Belangrijkste Bijdragen

1. Traagheidsgestuurde Adaptatie: Een methode om voorgeöefende diffusievideo-backbones aan te passen voor IMU-geconditioneerde luchtvideogeneratie met behulp van traagheidssupervisie in de latente ruimte, waardoor training vanaf nul wordt vermeden.
2. Supervisie door Fysische Proef: Een bevroren, differentieerbare proef die signalen voor actie-beweging consistentie levert tijdens lichtgewicht LoRA-finetuning, waardoor het model in staat is 6-DoF bewegingsbeperkingen te respecteren terwijl visuele priors behouden blijven.
3. AeroBench en Metrieken: De introductie van een nieuwe benchmark en twee specifieke metrieken voor het evalueren van actie-geconditioneerde luchtgeneratie:
   • Actie-uitlijningscore (AAS): Meet overeenstemming op bakniveau tussen bevolen IMU-acties en door de proef afgeleide beweging.
   • Fysische Consistentiegraad (PCR): Meet oscillatieve instabiliteit van frame tot frame (temporale stabiliteit) op basis van afgeleiden van door de proef voorspelde bakken.

Experimentele Resultaten

De auteurs hebben Aero-World geëvalueerd op AeroBench met datasets van UZH FPV-droneracen en TII-droneracen.

• Trade-off tussen Visuele Fideliteit en Controle: Aero-World bereikt een superieure trade-off vergeleken met baselines zoals AirScape en alleen-actie finetuning. Het handhaaft een lagere Fréchet Video Distance (FVD) van 596,5 (tegenover 1058,6 voor AirScape) en een hogere Structurele Similariteit (SSIM) van 0,595 (tegenover 0,505), wat wijst op betere perceptuele kwaliteit en structurele gelijkenis.
• Actie-uitlijning: De methode verbetert de gemiddelde Actie-uitlijningscore (AAS) van 57,7 (alleen-actie finetuning) naar 63,6.
• Temporale Stabiliteit: Fysische supervisie vermindert de Fysische Consistentiegraad (PCR) licht van 0,033 naar 0,029, wat wijst op soepelere dynamiek van frame tot frame.
• Onafhankelijke Validatie: Met behulp van een onafhankelijke Flow-IMU-evaluator (getraind op RGB-flow naar IMU-regressie, verschillend van de latente proef), behaalde Aero-World de hoogste gemiddelde correlatie (0,44) vergeleken met Action FT (0,30) en AirScape (0,20). Opmerkelijk is dat Aero-World positieve correlaties toonde over alle zes assen, terwijl AirScape negatieve correlaties vertoonde op enkele assen.
• Kwalitatieve Prestaties: Het model genereert succesvol stabiele, actie-trouwe beweging in zowel binnen-distributie manoeuvres als buiten-distributie scènes, waarbij eigenbeweging behouden blijft zelfs wanneer de scène-distributie verschilt van de trainingsdata.

Betekenis en Claims

Het artikel beweert dat supervisie door een bevroren Fysische Proef een praktische en effectieve mechanisme is om voorgeöefende videogeneratoren aan te passen om reagerender te zijn op laag-niveau luchtbewegingscontroles. Door te opereren in de latente ruimte, vermijdt de methode de computatiekosten van het decoderen van video's tijdens training, terwijl toch fysische consistentie wordt afgedwongen.

De auteurs positioneren Aero-World als een oplossing voor de kloof in "actie-trouw" in funderende videomodellen, waardoor de veilige en schaalbare training van robuuste controlebeleid voor luchtagenten volledig in software mogelijk wordt. Het werk benadrukt dat hoewel visueel realisme kan worden bereikt door schaling, het bereiken van fysische consistentie expliciete, datagedreven supervisiemechanismen vereist, zoals de voorgestelde Fysische Proef. De auteurs merken bescheiden op dat er nog steeds een trade-off tussen fideliteit en controle bestaat, wat suggereert dat dit een gebied is voor toekomstig werk.