Efficient Domain-Adaptive Multi-Task Dense Prediction with Vision Foundation Models

Dit paper introduceert FAMDA, een effectief zelftrainingskader dat Vision Foundation Models gebruikt als leraren om robuuste en efficiënte multi-task dense prediction-modellen te creëren die de prestaties van bestaande methoden voor domeinadaptatie in robotica significant verbeteren.

De kern

Stel je voor dat je een robot wilt bouwen die zelfstandig door een stad kan rijden. Deze robot heeft twee dingen nodig om veilig te zijn: hij moet weten wat hij ziet (is dat een auto, een boom of een voetganger?) en hij moet weten hoe ver die dingen van hem af staan. In de wereld van kunstmatige intelligentie noemen we dit "dichte voorspelling": het invullen van elk klein puntje op een foto met informatie.

Het probleem? Robotjes worden vaak getraind in een veilige, virtuele wereld (zoals een computerspelletje), maar moeten daarna echt gaan rijden in de regen, 's nachts of in een andere stad. Als je de robot daar direct neerzet, raakt hij in de war. De wereld ziet er anders uit dan in zijn training. Dit noemen we een "domain shift" (een verschuiving in de omgeving).

Hier komt FAMDA om de hoek kijken. Het is een slimme methode om deze robot aan te passen aan nieuwe omgevingen, zonder dat je duizenden mensen nodig hebt om alles handmatig te labelen.

Hier is hoe het werkt, vertaald naar een simpel verhaal:

1. Het Probleem: De Verkeerde Leraar

Stel je voor dat je een beginnende kok (de robot) wilt leren koken in een nieuw land. Je hebt een receptboek (de trainingsdata) uit je eigen land, maar de ingrediënten en smaken in het nieuwe land zijn anders.

• De oude manier: Je gaf de kok een leraar die probeerde de nieuwe smaken te raden door te gokken of de kok "te veel op de oude manier" kookte. Dit werkte vaak niet goed; de kok bleef verwarde smaken maken.
• Het nieuwe probleem: Om de robot slim te maken, heb je vaak enorme, zware computers nodig (zoals de "Vision Foundation Models" in de paper). Die zijn als een superchef met een Michelin-ster. Die chef kan in elke situatie perfect koken, maar hij is zo zwaar en traag dat hij niet in een kleine keuken (zoals een robot op een batterij) past.

2. De Oplossing: FAMDA (De Slimme Leermeester)

FAMDA is een slimme strategie die twee dingen combineert:

1. De Superchefs (De Foundation Models): Ze gebruiken twee bestaande, zeer slimme AI's als "leraren".
   • Eén leraar is een Scheidingsexpert (Segment Anything Model). Die ziet perfect waar de randen van objecten zitten, maar weet niet welke kleur ze hebben.
   • De andere leraar is een Dieptemeter (Depth Anything Model). Die kan perfect inschatten hoe ver iets weg is, zonder dat hij er ooit eerder is geweest.
2. De Student (De Robot): Dit is een klein, lichtgewicht robotje dat snel en efficiënt moet werken.

Hoe werkt het in de praktijk?
In plaats van dat de robot zelf moet raden wat hij ziet in de nieuwe omgeving, laat je de Superchefs eerst kijken.

• De Superchef zegt: "Kijk, daar is een auto, en daar is een boom." (Hij maakt een ruwe schets).
• De robot kijkt naar die schets en zegt: "Ah, oké, ik zie het nu!" en leert daarvan.
• De robot probeert het dan zelf, en als hij het goed doet, wordt hij een beetje slimmer. De Superchef past zich ook een beetje aan op basis van wat de robot leert.

Dit noemen ze Zelf-training. Het is alsof je een leerling een antwoordboekje geeft dat door een expert is gemaakt, zodat de leerling zichzelf kan verbeteren.

3. Waarom is dit zo speciaal?

De paper laat zien dat FAMDA drie grote voordelen heeft:

• Het werkt ook in het donker: Ze testten het zelfs op beelden van 's nachts. Normaal gesproken raken robots dan de weg kwijt, maar omdat de "Superchefs" zo goed zijn, kunnen ze de robot helpen om ook in het donker te zien wat er gebeurt.
• Het is klein en snel: De "Superchefs" zijn te groot om op een robot te zetten. FAMDA pakt de kennis van die enorme chefs en "distilleert" (overdraagt) die naar een klein robotje. Het resultaat? Een robotje dat 10 keer kleiner is dan de grote chef, maar bijna net zo goed presteert. Het is alsof je de kennis van een hele bibliotheek in één slimme smartphone past.
• Het doet twee dingen tegelijk: Veel systemen moeten één ding doen (alleen kijken OF alleen diepte meten). FAMDA leert de robot om beide dingen tegelijk te doen, wat veel efficiënter is.

Samenvattend

FAMDA is een slimme manier om robots te trainen. In plaats van ze te laten worstelen met nieuwe omgevingen, geven we ze een paar "superleraren" die hen helpen om snel te leren wat ze moeten zien en hoe ver dingen weg zijn. Het resultaat is een robot die niet alleen slim is, maar ook klein genoeg om op een batterij te werken en snel genoeg om in real-time te reageren.

Het is alsof je een beginnende bestuurder niet alleen een kaart geeft, maar ook een ervaren navigatiesysteem dat hem in real-time helpt om veilig door een onbekende stad te rijden, zonder dat de auto zelf zwaar en traag wordt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Efficient Domain-Adaptive Multi-Task Dense Prediction with Vision Foundation Models" in het Nederlands.

Probleemstelling

Multi-task dense prediction (zoals semantische segmentatie en diepteschattting) is cruciaal voor robotica-toepassingen, maar lijdt onder domeinverschuiving (domain shift) wanneer modellen worden ingezet in nieuwe omgevingen.

• Huidige uitdagingen: Bestaande methoden voor Unsupervised Domain Adaptation (UDA) voor multi-task learning (MTL) vertrouwen voornamelijk op adversarial learning. Deze benaderingen zijn minder effectief dan de recente doorbraken in self-training die voor single-task UDA zijn ontwikkeld.
• Beperkingen van bestaande self-training: Direct toepassen van single-task self-training op multi-task scenario's is problematisch. Augmentatietechnieken die beeldmixing gebruiken (waarbij objecten uit de bron- in de doel-domein worden gekopieerd) werken niet voor diepteschattting vanwege inconsistente diepteschalen. Bovendien hebben lichte modellen vaak te weinig generalisatievermogen om betrouwbare pseudo-labels te genereren voor de doel-domein.
• Efficiëntie: Vision Foundation Models (VFMs) zoals SAM en Depth Anything bieden uitstekende zero-shot generalisatie, maar zijn te groot en traag voor real-time robotica-toepassingen (hoge geheugenvraag en latentie).

Methodologie: FAMDA

De auteurs introduceren FAMDA (Foundation model Assisted Multi-task unsupervised Domain Adaptation). Dit is een framework dat VFMs gebruikt als krachtige "docenten" binnen een self-training paradigma om een efficiënt "student" model te trainen.

Kerncomponenten:

1. Self-training met EMA: Het framework gebruikt een klassieke teacher-student architectuur waarbij de parameters van de teacher worden bijgewerkt als een Exponential Moving Average (EMA) van de student.
2. Integratie van Vision Foundation Models (VFMs):
   • Voor Semantische Segmentatie: Het model gebruikt Segment Anything Model (SAM). Omdat SAM geen semantische labels genereert maar wel objectgrenzen, worden SAM-masks offline gegenereerd en gecachet. Tijdens het trainen worden deze masks gebruikt om de pseudo-labels van de teacher te verfijnen via meerderheidsstemming (majority voting). Dit corrigeert inconsistente voorspellingen van de student.
   • Voor Diepteschattting: Het model gebruikt Depth Anything Model (DAM). In tegenstelling tot SAM, genereert DAM direct betrouwbare pseudo-dieptekaarten voor de doel-domein. Deze dienen als directe supervisie voor de student, zonder dat er grondwaarheid (ground truth) nodig is in de bron-domein.
3. Verliesfuncties:
   • Cross-Entropy (CE) verlies voor segmentatie op zowel de gelabelde bron- als de gepseudo-labelde doel-domein.
   • Root Mean Square Error (RMSE) verlies voor diepteschattting op de doel-domein, gebruikmakend van een schaal- en verschuiving-invariante normalisatie (SSI) om te omgaan met relatieve diepte van DAM.
4. Architectuur: Het framework is model-agnostisch en werkt met verschillende backbones (van ResNet tot SegFormer/MiT). Het gebruikt een gedeelde encoder met specifieke decoders voor elke taak.

Belangrijkste Bijdragen

1. Nieuw Framework: FAMDA integreert VFMs (SAM en DAM) in een self-training UDA-pijplijn voor multi-task learning, wat kennisdistillatie mogelijk maakt van grote pre-getrainde modellen naar lichte studenten.
2. Efficiëntie en Prestaties: Het framework levert state-of-the-art (SOTA) prestaties terwijl het gebruik maakt van zeer lichte modellen. Een variant (MiT-B2) is 10x kleiner dan DAM en 27x kleiner dan SAM, maar behoudt hoge nauwkeurigheid.
3. Uitgebreide Validatie: Het paper presenteert resultaten op standaard synthetisch-naar-reële benchmarks (SYNTHIA/Cityscapes, Virtual KITTI2/Cityscapes) en introduceert een nieuwe uitdaging: dag-naar-nacht adaptatie op een zelfverzamelde dataset met lage lichtomstandigheden.

Resultaten

• Synthetisch-naar-reël: FAMDA presteert overtuigend beter dan bestaande UDA-methoden (zoals XTAM, VTAGML, MulT) en zelfs beter dan enkele single-task UDA-methoden, zelfs met kleinere backbones (MiT-B0 t/m B5).
  • Bijvoorbeeld: Op SYNTHIA→Cityscapes bereikt de MiT-B2 variant 58.03% mIoU (segmentatie) en 6.41m RMSE (diepte), wat een verbetering is ten opzichte van baselines.
• Lichtgewicht Efficiency: De MiT-B2 variant (ca. 120 MB) bereikt SOTA-nauwkeurigheid en werkt met een latentie van 29ms, wat **near real-time prestaties (7 Hz)** mogelijk maakt op een embedded NVIDIA Jetson Orin Nano.
• Dag-naar-Nacht: Op de nieuwe low-light dataset presteert FAMDA (B5) met 55.32% mIoU en 5.53m RMSE. Dit is significant beter dan zero-shot toepassing van foundation modellen (SSAM en DAM) die kampen met domeinverschuiving, en beter dan gescheiden single-task UDA-modellen.
• Schalbaarheid: Het framework kan eenvoudig worden uitgebreid naar meer taken (bijv. oppervlaktenormaal schattting) door extra decoder-koppen toe te voegen, zonder de kern-UDA-strategie te wijzigen.

Betekenis en Conclusie

Dit werk biedt een praktische oplossing voor het dilemma tussen de hoge prestaties van grote foundation models en de strenge efficiëntie-eisen van robotica.

• Kennisdistillatie: Het toont aan dat VFMs effectief kunnen worden gebruikt als docenten om lichte studenten te trainen, waardoor de generalisatiecapaciteit van kleine modellen drastisch wordt verbeterd zonder de inferentie-kosten van de VFMs zelf.
• Toepasbaarheid: FAMDA maakt robuuste, domein-adaptieve multi-task waarneming mogelijk voor autonome voertuigen en robots in wisselende omstandigheden (zoals nacht of verschillende weeromstandigheden), waarbij real-time verwerking essentieel is.
• Toekomstperspectief: De auteurs wijzen erop dat toekomstig werk kan focussen op het combineren van deze VFM-gestuurde self-training met gespecialiseerde multi-task decoder-ontwerpen om de onderlinge afhankelijkheid tussen taken beter te modelleren.