🤖 machine learning

Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras

Dit artikel stelt twee hardware-bewuste benaderingen voor om RGB-D-gegevens te integreren in compacte diepe netwerken voor affordance-segmentatie op embedded apparaten, waarbij succesvol real-time prestaties wordt bereikt binnen energiebudgetten die compatibel zijn met smartphones, terwijl Pareto-optimale oplossingen worden geïdentificeerd die de nauwkeurigheid van de generalisatie afwegen tegen hardwarebeperkingen.

Oorspronkelijke auteurs: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm leert hoe hij een koffiemok moet oppakken. Je kunt hem niet simpelweg vertellen "pak de mok"; je moet hem vertellen waar hij moet pakken. Als hij het handvat pakt, kan de mok omvallen; als hij de onderkant pakt, kan hij wegglijden. Dit is de taak van "affordance segmentation": een chique term voor het leren aan een computer om naar een object te kijken en precies de delen te markeren die veilig zijn om aan te raken en welke dat niet zijn.

Lama een tijd heeft de robot vertrouwd op standaardcamera's (RGB), die de wereld in kleur zien. Maar kleur kan lastig zijn. Als een blauwe mok op een blauwe tafel staat, kan een kleurencamera in de war raken en denken dat de mok deel uitmaakt van de tafel. Dit is waar dieptesensoren om de hoek komen kijken. Denk aan een dieptesensor als een paar ogen die ook afstand kunnen meten, waardoor ze een 3D-kaart van de wereld maken. Het maakt de sensor niet uit of de mok blauw is of de tafel blauw is; hij weet dat de mok dichterbij de camera is. De grote uitdaging is echter dat robots vaak klein, draagbaar en batterijgestuurd moeten zijn. Complexe 3D-visiesoftware draaien op een piepkleine chip is alsof je probeert een supercomputer in een smartwatch te laten draaien — het wordt meestal te heet of de batterij is direct leeg. Wetenschappers hebben geprobeerd uit te zoeken hoe ze deze "3D-bewuste" breinen klein genoeg kunnen krijgen om op een draagbare robot te passen zonder alle energie op te eten.

Dit artikel pakt precies dat puzzelstukje aan. De onderzoekers wilden zien of ze een klein, efficiënt robotbrein konden bouwen dat zowel kleur (RGB) als diepte (D) data gebruikt om te begrijpen hoe hij dingen moet pakken, terwijl het op een draagbaar apparaat draait. Ze hebben niet zomaar wat gegokt; ze hebben twee verschillende "architecten" gebouwd om deze breinen te ontwerpen. De eerste aanpak was een "Hardware-Aware Neural Architecture Search" (HW-NAS). Stel je dit voor als een supersnelle, geautomatiseerde robotarchitect die duizenden verschillende hersenontwerpen probeert en elk ontwerp test om te zien of het goed past op een specifieke kleine chip, terwijl het nog steeds slim genoeg is om een mok te pakken. De tweede aanpak was een "fine-tuning" methode, wat lijkt op het nemen van een brein dat al heel goed was in 2D zien (alleen kleur) en het voorzichtig leren hoe het 3D-diepte begrijpt, in plaats van een nieuw brein vanaf nul op te bouwen.

Het team heeft deze ideeën getest op echte datasets met duizenden afbeeldingen van alledaagse voorwerpen zoals lepels, hamers en mokken. Ze kwamen tot de conclusie dat het toevoegen van diepte-informatie de robot bijna altijd slimmer maakte. Bijvoorbeeld, bij het identificeren van een "lepelvorm" was het model dat dieptegegevens gebruikte 31,6% nauwkeuriger dan het model dat alleen kleur gebruikte. Dit was vooral nuttig wanneer de verlichting slecht was of wanneer objecten kleuren hadden die in de achtergrond opgingen. De onderzoekers hebben ook bewezen dat hun nieuwe ontwerpen zich op de "Pareto optimal front" bevinden. In gewone mensentaal betekent dit dat ze het perfecte evenwicht hebben gevonden: deze modellen zijn zo slim als ze kunnen zijn voor de hoeveelheid energie en geheugen die ze gebruiken. Je kunt geen slimmer model krijgen zonder het veel groter of trager te maken, en je kunt het niet kleiner maken zonder het dommer te maken.

Ten slotte hebben ze hun beste modellen getest op een echt prototype: een Jetson Nano-board (een kleine computer die vaak in de robotica wordt gebruikt) verbonden met een RealSense RGB-D camera. Ze maten hoe snel het systeem kon denken en hoeveel batterij het verbruikte. De resultaten waren veelbelovend. Zelfs met het extra werk van het verwerken van 3D-dieptegegevens, kon het systeem afbeeldingen in realtime verwerken (tot 16 frames per seconde met optimalisatie) en draaien op een energiebudget dat compatibel is met standaard smartphonebatterijen. Het artikel suggereert dat we door het gebruik van deze slimme, dieptebewuste ontwerpen draagbare robots kunnen maken die niet alleen nauwkeuriger zijn in het grijpen van objecten, maar ook licht en energiezuinig genoeg zijn om door mensen in hun dagelijks leven gedragen te worden.

Technische Samenvatting: Het invullen van de Pareto-optimale front voor Affordance Segmentatie op Embedded Devices

Probleemstelling
Draagbare robots vereisen semi-autonome besturingsmogelijkheden, met name voor grijp- en manipulatieve taken, om gebruikers te ontlasten van zware of gevaarlijke klussen. Een cruciaal onderdeel van deze besturingspijplijn is Affordance Segmentatie (AS), die functionele onderdelen van een object identificeert om fijne controle mogelijk te maken. Hoewel Deep Neural Networks (DNN's) de standaard zijn voor AS, vormt de implementatie ervan op draagbare, energiebeperkte embedded apparaten een aanzienlijke uitdaging. Bestaande oplossingen vertrouwen vaak ofwel op "kleine" modellen die zijn geoptimaliseerd voor microcontrollers (die mogelijk een gebrek aan robuustheid vertonen) of op hoogwaardige onbeperkte modellen (die te zwaar zijn voor draagbare hardware). Bov�elijk is de integratie van diepte (D) sensoren, die essentiële geometrische informatie bieden voor contactloos grijpen, in lichtgewicht DNN's voor AS nog onvoldoende onderzocht. Naïeve integratie van RGB- en dieptegegevens levert vaak slechts marginale verbeteringen op of verhoogt de computationele kosten prohibitief. Het kernprobleem is het ontwerpen van een systeem dat effectief gebruikmaakt van RGB-D gegevens om de generalisatie te verbeteren, terwijl strikt wordt voldaan aan de energie-, grootte- en real-time beperkingen van embedded hardware.

Methodologie
Het artikel stelt twee verschillende ontwerpstrategieën voor om hardware-efficiënte DNN's te genereren voor RGB-D affordance segmentatie, met als doel oplossingen te identificeren op het Pareto-optimale front (het balanceren van nauwkeurigheid tegenover hardwarevereisten zoals FLOPs en het aantal parameters).

Hardware-Aware Neural Architecture Search (HW-NAS):
- De auteurs hebben HW-NAS geherformuleerd met een nieuwe zoekruimte die specifief is ontworpen voor RGB-D inputs.
- De architectuur maakt gebruik van een dual-branch structuur waarbij aparte encoders de RGB- en dieptestromen onafhankelijk verwerken voordat ze worden samengevoegd in een gedeelde backbone.
- Een Aggregator netwerk combineert de backbone-output met intermediaire representaties van meerdere encoderlagen, wat multi-resolutie feature extractie mogelijk maakt.
- De zoekruimte staat flexibele verbindingen toe, inclusief skip-verbindingen van vroege lagen naar de aggregator, en optimaliseert parameters zoals kernelgroottes, expansiefactoren en strides.
- De optimalisatie gebruikt een evolutionair algoritme om architecturen te selecteren die de validatiefout minimaliseren terwijl ze voldoen aan beperkingen op inferentietijd en geheugen.
Fine-Tuning Benadering:
- Als een computationeel goedkoper alternatief stelt het artikel voor om vooraf getrainde RGB-only netwerken (specifiek MobileNetV3) aan te passen om met RGB-D inputs om te gaan.
- Er wordt een speciale preprocessing laag ingevoegd bij de input om de dieptekanaal met de RGB-kanalen samen te voegen, wat een 4-kanaals tensor ( $W \times H \times 4$ ) creëert.
- Een enkele convolutionele laag (3 filters, stride 1) reduceert dit terug naar een 3-kanaals tensor, waardoor de rest van de vooraf getrainde architectuur de gegevens "as is" kan verwerken.
- Deze methode maakt gebruik van de structurele gelijkenissen tussen dieptekaarten en RGB-beelden, waardoor het netwerk laag-niveau features kan aanpassen zonder de bestaande gewichtsconfiguratie significant te wijzigen.

Experimentele Opstelling
De methoden werden geëvalueerd op twee real-world datasets:

UMD: 28.843 RGB-D beelden over 7 objectcategorieën met variërende kaders.
IIT: 8.835 beelden met variaties in verlichting, occlusie en resolutie.
De taak werd gedefinieerd als een drie-klasse pixel-wijze classificatie: "grasp" (grijpen), "do not grasp" (niet grijpen) en "background" (achtergrond). De modellen werden vergeleken met state-of-the-art baselines, waaronder kleine modellen (HW-0.5s, HW-1s), aangepaste MobileNetV3 varianten, transformer-gebaseerde modellen (SegFormer) en grote CNN's (EfficientNet, VGG16). De implementatie werd getest op een Jetson Nano board gekoppeld aan een RealSense RGB-D camera.

Belangrijkste Resultaten

Prestatieverbetering: Beide voorgestelde benaderingen toonden aan dat de integratie van diepte-informatie de generalisatieprestaties verbetert, met name voor de "grasp" en "do not grasp" klassen. Op de UMD dataset toonde de HW-NAS benadering met RGB-D nauwkeurigheidsverbeteringen van tot wel 2,8% ten opzichte van de RGB-only tegenhangers.
Pareto-optimaliteit: De gegenereerde modellen bevinden zich consistent op het Pareto-optimale front wanneer de generalisatieprestaties worden uitgezet tegen modelgrootte en FLOPs. Ze presteren beter dan bestaande hardware-efficiënte benaderingen (kleine modellen) terwijl ze aanzienlijk lagere hulpbronvereisten behouden dan grote onbeperkte modellen.
Hardware-efficiëntie:
- Inferentietijd: Geoptimaliseerde modellen (gebruikmakend van TensorRT float16 kwantisatie) bereikten real-time prestaties op de Jetson Nano, met framerates variërend van 8–16 FPS afhankelijk van het model en de power mode (5W vs. 10W).
- Energieverbruik: Het systeem opereerde binnen een energiebudget dat compatibel is met standaard smartphonebatterijen (ongeveer 7–11W totaal systeemvermogen), wat ongeveer 3,5 uur operatie mogelijk maakt op een 5000 mAh batterij.
- Geheugen: De door NAS gegenereerde modellen waren efficiënter qua geheugen dan de MobileNetV3-gebaseerde modellen, waarbij ze ongeveer 300 MB RAM gebruikten vergeleken met circa 400 MB voor de laatste.
Robuustheid: Diepte-informatie bleek cruciaal in scenario's met suboptimale verlichting of wanneer objectkleuren overeenkwamen met de achtergrond (bijv. een blauwe schep tegen een blauwe voorgrond), wat de segmentatienauwkeurigheid aanzienlijk verbeterde.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage een ontwerpstrategie is die er succesvol in slaagt de kloof te dichten tussen "kleine" modellen en hoogwaardige accelerators, specifiek voor draagbare robotica. Door een toegewijde HW-NAS zoekruimte voor RGB-D data te introduceren en een lichtgewicht fine-tuning mechanisme, demonstreren de auteurs dat het mogelijk is om:

Hoge-niveau semantische informatie te extraheren direct van RGB-D camera's op slimme apparaten met beperkt vermogen.
Architecturen te genereren die Pareto-optimaal zijn, waarbij de beste afweging wordt geboden tussen nauwkeurigheid en hardwarebeperkingen.
Real-time inferentie te bereiken op draagbare hardware (Jetson Nano) met energieprofielen die geschikt zijn voor batterijgestuurde draagbare robots.

De auteurs benadrukken dat hoewel diepteverwerking extra computationele complexiteit toevoegt, hun methoden effectief schalen om deze kosten te beheersen, waarmee zij bewijzen dat mid-range, applicatie-specifieke DNN's een levensvatbare en effectieve oplossing zijn voor semi-autonome draagbare besturingspijplijnen. Toekomstig werk wordt geïdentificeerd als het integreren van objectlokalisatie om het kaderen te automatiseren en het uitbreiden van deze technieken naar transformer-gebaseerde modellen.

Meer zoals dit