Deployment-Aware Codec Selection for Learned RGB-D Compression in Edge--Cloud 3D Reconstruction

In de moderne wereld van digitale beeldvorming doen camera's meer dan alleen het vastleggen van een plat beeld van de wereld. Veel apparaten, van smartphones tot gespecialiseerde sensoren, registreren nu twee dingen tegelijkertijd: de kleur van een scène en de afstand tot elk punt binnen die scène. Deze combinatie, bekend als RGB-D-data, creëert een rijke, driedimensionale kaart die computers in staat stelt om de vorm en lay-out van een kamer, een bos of een straat te begrijpen. Deze extra laag aan diepte-informatie brengt echter een zware prijs met zich mee: het verdubbelt de hoeveelheid data die moet worden opgeslagen of verzonden. Wanneer deze data wordt vastgelegd op een klein, op batterijen werkend apparaat zoals een drone of een robot en naar een krachtige computer in de cloud moet worden gestuurd voor verwerking, wordt de uitdaging hoe men de bestandsgrootte kan verkleinen zonder de cruciale details te verliezen die nodig zijn om de 3D-vorm later weer op te bouren.

Jarenlang hebben ingenieurs geprobeerd dit op te lossen door de perfecte balans te vinden tussen bestandsgrootte en beeldkwaliteit. Ze hebben geavanceerde computerprogramma's ontwikkeld, vaak learned codecs genoemd, die kunstmatige intelligentie gebruiken om afbeeldingen efficiënter te voorspellen en te comprimeren dan traditionele methoden. De standaardbenadering is geweest om te zoeken naar het algoritme dat de kleinste bestanden produceert voor het duidelijkste beeld, uitgaande van de veronderstelling dat als het goed werkt in een computersimulatie, het ook goed zal werken in de echte wereld. Maar deze aanname faalt vaak wanneer de data moet reizen van een klein, energiebeperkt apparaat naar een verre server. De echte wereld introduceert fysieke limieten: het apparaat heeft misschien niet genoeg geheugen om een complex programma uit te voeren, de software is mogelijk niet compatibel met de hardware van het apparaat, of de tijd die nodig is om de afbeelding te comprimeren is te lang voor een live videofeed. Een methode die perfect lijkt op een grafiek kan nutteloos worden als deze niet daadwerkelijk kan draaien op het apparaat dat de data moet verzenden.

Een team onderzoekers van het Harbin Institute of Technology en de Dalian University of Technology zette zich in om deze kloof te dichten. In plaats van alleen te kijken naar de beste compressienummers, ontwierpen zij een nieuwe manier om te bepalen welk compressietool gebruikt moet worden. Ze behandelden de mogelijkheid om de software daadwerkelijk op een specifiek apparaat uit te voeren als een primaire vereiste, even belangrijk als de kwaliteit van het beeld. Hun doel was om een compleet systeem te bouwen waarbij een camera op een edge-apparaat een 3D-scène vastlegt, comprimeert, over een netwerk verzendt, en deze wordt gereconstrueerd tot een gekleurde 3D-point cloud op een cloudserver, terwijl daarbij rekening wordt gehouden met de strikte beperkingen van de hardware.

De onderzoekers begonnen met het testen van vier verschillende soorten AI-gebaseerde compressiemodellen op een standaard dataset van binnenruimtes. Ze maten hoe klein de bestanden werden en hoe helder de beelden bleven. Zoals verwacht produceerden de meest complexe modellen, die geavanceerde wiskundige structuren gebruikten om pixelwaarden te voorspellen, de kleinste bestanden met de hoogste kwaliteit. Een van deze geavanceerde modellen, dat een techniek genaamd 'attention' gebruikte om op belangrijke details te focussen, bereikte een zeer hoge kwaliteitsscore bij een zeer lage datarate. Echter, toen de onderzoekers keken naar hoe lang deze modellen nodig hadden om op een echt apparaat te draaien, veranderde het beeld. Het krachtigste model was ongelooflijk traag en had veel tijd nodig om elk frame te verwerken, omdat het waarden moest berekenen in een strikte, stap-voor-stap sequentie die de hardware van het apparaat niet kon versnellen.

Het team paste vervolgens hun nieuwe selectiemethode toe, die elk model wegfiltert dat niet aan specifieke real-world beperkingen kan voldoen. Ze zochten naar modellen die binnen een ingestelde tijdslimiet konden draaien, binnen het geheugen van het apparaat pasten en werkten met de specifieke softwaretools die op het apparaat beschikbaar zijn. Ze ontdekten dat het snelste, meest efficiënte model eigenlijk een eenvoudiger model was. Dit model gebruikte een rechttoe rechtaan wiskundige benadering die de hardware van het apparaat zeer snel kon afhandelen. Hoewel dit eenvoudigere model iets grotere bestanden en een iets lagere beeldkwaliteit produceerde dan het complexe model, was het vele malen sneller. Sterker nog, het complexe model was meer dan zestig keer trager in de voorbereiding voor implementatie dan het eenvoudigere model. De onderzoekers concludeerden dat voor een echt systeem het "beste" model niet het model is met de hoogste theoretische kwaliteit, maar het model dat daadwerkelijk snel genoeg kan draaien om de camera bij te houden.

Om dit te bewijzen, bouwde het team een volledig werkend systeem met behulp van een kleine, krachtige computerboard genaamd de Jetson TX2 om als het edge-apparaat te fungelen. Ze programmeerden het om kleur- en dieptebeelden vast te leggen, de beelden te comprimeren met hun gekozen eenvoudigere model, en de data over een lokaal netwerk te verzenden. Aan de ontvangende kant decodeerde een cloudserver de data en veranderde deze terug in een 3D-point cloud. Ze maten elke stap van deze reis, van het moment dat de camera de foto maakte tot het moment dat de 3D-vorm op het scherm verscheen. Het systeem leverde succesvol een gereconstrueerd 3D-beeld tegen een snelheid van bijna dertig frames per seconde, met een totale vertraging van net over negentig milliseconden. Deze snelheid is snel genoeg voor veel interactieve toepassingen, zoals remote telepresence of realtime mapping.

De onderzoekers vergeleken hun nieuwe systeem ook met gevestigde, traditionele compressietools die al in de hardware zijn ingebouwd. Deze oudere tools, die kleur en diepte apart verwerken, waren veel sneller en comprimeerden beelden in slechts iets meer dan tien milliseconden. Echter, ze vereisten iets meer data om een vergelijkbaar niveau van kwaliteit te bereiken. Het nieuwe AI-gebaseerde systeem, hoewel langzamer, slaagde erin om een 3D-reconstructie te produceren met minder fouten in de dieptemetingen, wat betekende dat de 3D-vormen nauwkeuriger waren. Deze afweging toonde aan dat de nieuwe methode een levensvatbaar alternatief kan zijn wanneer de prioriteit ligt bij de nauwkeurigheid van de 3D-vorm in plaats van de absolute snelste verwerkingssnelheid.

Een cruciaal onderdeel van hun succes was hoe zij de software op het apparaat beheerden. Ze probeerden niet de volledige complexe AI-programma op de gespecialiseerde grafische processor van het apparaat te laten draaien. In plaats daarvan verdeelden ze het werk. De hoofdonderdelen van het programma die de afbeelding transformeren, werden omgezet om efficiënt op de hardware van het apparaat te draaien, terwijl de laatste stap van het verpakken van de data in een stream werd afgehandeld door een andere, compatibele softwarelaag. Deze hybride aanpak stelde hen in staat om de snelheidvoordelen van de hardware te benutten zonder vast te lopen op onderdelen van de software die de hardware niet kon aanpakken. Ze ontdekten dat deze specifieke manier van organiseren van de software cruciaal was; het proberen te draaien van het volledige programma op één enkele, niet-geoptimaliseerde manier zou te traag zijn geweest.

De studie onderzocht ook hoe de data zich gedroeg wanneer deze over het netwerk reisde. Ze verstuurden de gecomprimeerde beelden in kleine pakketjes, vergelijkbaar met hoe videostreamingdiensten werken, en controleerden hoe het systeem omging met vertragingen of gegevensverlies. Ze ontdekten dat het systeem robuust was en de afbeeldingen correct kon assembleren, zelfs wanneer de netwerkcondities niet perfect waren. De totale tijd die het kostte voor een beeld van de camera naar de uiteindelijke 3D-reconstructie in de cloud te gaan, werd gemiddeld gemeten op ongeveer negenentwintig milliseconden. Dit omvat de tijd om de afbeelding vast te leggen, te comprimeren, te verzenden en te reconstrueren. De onderzoekers merkten op dat de grootste variatie in deze tijd voortkwam uit de netwerktransmissie zelf, wat te verwachten is, maar het systeem bleef stabiel en consistent.

Uiteindelijk toonden de onderzoekers aan dat het kiezen van een compressietool niet alleen een wiskundig probleem is van het vinden van het kleinste bestand. Het is een systeemontwerpprobleem dat rekening moet houden met de fysieke limieten van het apparaat, de snelheid van de hardware en de vereisten van de uiteindelijke taak. Door de mogelijkheid om de software te implementeren als een kernonderdeel van de beslissing te behandelen, waren zij in staat om een model te selecteren dat een balans vond tussen kwaliteit, snelheid en hulpbronnengebruik. Hun werk biedt een duidelijk blauwdruk voor hoe deze edge-to-cloud systemen gebouwd kunnen worden, waarbij wordt aangetoond dat de beste oplossing vaak degene is die bij de machine past, en niet alleen degene die een theoretische wedstrijd wint. Het resultaat is een praktisch, werkend systeem dat 3D-scènes in realtime kan vastleggen, comprimeren en reconstrueren, waarmee de kloof wordt overbrugd tussen geavanceerde kunstmatige intelligentie en de fysieke beperkingen van de apparaten die hen dragen.