FeDepth: Federated Learning for Depth Estimation under Robot Heterogeneity

Technische Samenvatting van FeDepth: Federated Learning voor Diepte-inschatting onder Robot-heterogeniteit

Probleemstelling
Robotperceptie, in het bijzonder monoculaire diepte-inschatting, is sterk afhankelijk van trainingsdata uit diverse omgevingen om generalisatie te waarborgen. Bestaande benaderingen maken echter voornamelijk gebruik van Centralized Learning (CL), wat vereist dat breedbandige ruwe sensordata naar een centrale server wordt verzonden. Dit creëert aanzienlijke communicatieoverhead, schaalbaarheidsbottlenecks en privacyproblemen. Federated Learning (FL) biedt een gedistribueerd alternatief waarbij robots lokaal trainen en alleen modelgewichten delen. Toch worstelen standaard FL (bijv. FedAvg) en zelfs bestaande Clustered FL (CFL)-methoden in robotica-implementaties met ernstige heterogeniteit. Deze heterogeniteit ontstaat door diverse robotplatforms (bijv. UGVs, UAV's, looprobots), variërende omgevingen (bijv. stedelijk, bos, binnen) en ongebalanceerde hoeveelheden data.

Een kritieke kloof die in dit werk wordt geïdentificeerd, is dat de distributies van real-world robotdata vaak gedeeltelijk overlappend zijn in plaats van duidelijk scheidbaar. Een enkele robot kan in meerdere omgevingen opereren, of verschillende robots kunnen vergelijkbare omgevingen delen maar verschillen in platformdynamiek. Conventionele CFL-methoden gaan ervan uit dat cliënten kunnen worden opgedeeld in afzonderlijke, niet-overlappende clusters (hard clustering). Deze aanname faalt in robotica-omgevingen waar domeinverschuivingen continu en ambigu zijn, wat leidt tot prestatievermindering wanneer cliënten worden gedwongen in een enkele, potentieel mismatchende cluster.

Methodologie: FeDepth Framework
De auteurs stellen FeDepth voor, een op descriptors gebaseerd Clustered FL-framework dat is ontworpen om deze overlappende en complexe inter-client relaties aan te pakken via soft clustering. Het framework werkt in drie hoofdfasen:

1. Soft Clustering (Client Descriptor Generatie):

   • In plaats van uitsluitend te vertrouwen op ruwe afbeeldingen of modelparameters, gebruikt FeDepth een vooraf getrainde encoder (afkomstig van baseline dieptemodellen zoals AdaBins, NeWCRFs of DCDepth) om visuele descriptors te extraheren uit een subset van de lokale data van elke client.
   • Deze feature maps worden gecomprimeerd met behulp van Generalized Mean (GeM) pooling. Het gemiddelde en de variantie van deze gepoolde features worden geaggregeerd om een client descriptor $(\mu_c, \sigma_c^2)$ te vormen, die de featureverdeling van de client representeert.
   • De server berekent de paarwijze gelijkenissen tussen clients met behulp van de Jeffreys divergentie (een symmetrische vorm van KL-divergentie) tussen hun Gaussische benaderingen.
   • In tegenstelling tot hard clustering, maakt FeDepth gebruik van een soft clustering strategie. Clients worden toegewezen aan meerdere clusters op basis van een gelijkenisdrempel $\tau$. Dit stelt een enkele client in staat om deel te nemen aan meerdere relevante clusters, waardoor de continue en ambigue overgangen die gebruikelijk zijn in robotica-omgevingen worden gevangen. Een samenvoegingsstap lost redundante partities op om de clusterkaart te finaliseren.

2. Cluster Model Update:

   • Tijdens trainingsrondes voeren clients lokale updates uit.
   • De server aggregeert modellen cluster-gewijs. Voor elke cluster middelt de server de modellen van de clients die aan die cluster zijn toegewezen (gewogen naar datagrootte).
   • Clients downloaden vervolgens de modellen van alle clusters waaraan zij behoren en middelen deze om de volgende ronde van lokale training te initialiseren. Dit mechanisme stelt clients in staat om te profiteren van kennis uit meerdere gerelateerde domeinen.

3. Inference:

   • Voor een nieuwe testsequentie extraheert het systeem een descriptor en berekent de gelijkenis met bestaande cluster-centra.
   • De sequentie wordt toegewezen aan een set kandidaat-clusters (die onder de drempel $\tau$ vallen), en de uiteindelijke voorspelling is een gemiddelde van de modellen van deze geselecteerde clusters.

Belangrijkste Bijdragen

1. Systematische Investigatie van Robot-gedreven Heterogeniteit: Het artikel benadrukt dat FL voor robotperceptie unieke uitdagingen kent door platform-, omgeving- en diepteverdelingsverschuivingen, die vaak minder onderzocht zijn dan standaard beeldclassificatie FL.
2. Nieuwe Non-IID Scenario's (HPE en BMR): De auteurs introduceren twee realistische testomgevingen afgeleid van bestaande datasets (M3ED, NYUv2, KITTI):
   • Heterogeneous Platform-Environment (HPE): Simuleert combinatorische variaties waarbij clients attributen delen (bijv. dezelfde omgeving, verschillende robot) of overlappende trajecten hebben, wat ambigue domeingrenzen creëert.
   • Bi-Modal Range (BMR): Simuleert een sterke verschuiving tussen binnen (korte afstand) en buiten (lange afstand) dieptesimulaties, waarbij het vermogen wordt getest om fundamenteel verschillende diepteschalen aan te pakken.
3. FeDepth Framework: Een model-agnostisch CFL-framework dat soft clustering gebruikt om clients toe te staan lid te zijn van meerdere groepen. Dit pakt de beperking van hard clustering aan bij het verwerken van overlappende datadistributies.
4. Omvattende Evaluatie: De methode wordt gevalideerd over meerdere diepte-inschatting architecturen (AdaBins, NeWCRFs, DCDepth) en presteert consistent beter dan standaard FL, gepersonaliseerde FL en hard-clustering baselines.

Experimentele Resultaten

• HPE Scenario: FeDepth presteert consistent beter dan alle baselines (FedAvg, FedProx, FedDyn, SCAFFOLD, FedClust, PACFL) over alle geteste architecturen. Bijvoorbeeld, met de NeWCRFs backbone bereikte FeDepth een Abs Rel van 0,249, wat aanzienlijk lager is dan FedAvg (0,366) en de hard-clustering PACFL (0,318). De resultaten tonen aan dat soft clustering de continue aard van robotica-datadistributies beter vangt.
• BMR Scenario: In het duidelijk gescheiden binnen/buiten scenario presteert FeDepth vergelijkbaar met hard-clustering methoden (PACFL) voor architecturen zoals NeWCRFs en DCDepth, waar clusters van nature onderscheidend zijn. Echter, voor AdaBins, waar feature-representaties minder scheidbaar zijn, presteert FeDepth nog steeds beter dan centralized learning (CL) en standaard FL, wat robuustheid toont zelfs wanneer hard clustering theoretisch optimaal is.
• Ablatie-studies:
  • Soft vs. Hard: Soft clustering presteert consistent beter dan hard clustering onder dezelfde drempel, wat bevestigt dat de datadistributies in robotica te continu zijn voor rigide partitionering.
  • Overlap Sensitiviteit: Een overlapratio van 20% (clients toegewezen aan meerdere clusters) leverde optimale prestaties op. Te weinig overlap beperkt de kennisdeling; te veel (100%) laat het systeem instorten tot standaard FedAvg.
  • Label-gebaseerd vs. Distributie-gebaseerd: Clustering gebaseerd op ground-truth labels (platform/omgeving) resulteerde in een instabiele prestatie vergeleken met FeDepth's distributie-bewuste clustering, wat suggereert dat semantische labels niet altijd overeenkomen met de gelijkenis in feature-distributie.

Betekenis en Claims
Het artikel claimt dat FeDepth een praktische en effectieve oplossing biedt voor federated robotperceptie door het specifieke probleem van overlappende client-domeinen aan te pakken. Door af te stappen van de aanname van duidelijk scheidbare clusters, maakt FeDepth robuuste training mogelijk in heterogene multi-robot systemen waar robots meerdere attributen delen. De auteurs positioneren FeDepth niet alleen als een verbetering in nauwkeurigheid, maar als een noodzakelijke stap naar schaalbare, privacy-bewarende perceptie voor diverse real-world robotica-implementaties. Het werk vestigt nieuwe benchmarks (HPE en BMR) voor het evalueren van FL onder realistische robotica-heterogeniteit, waarmee de stap wordt gezet voorbij gecontroleerde laboratoriumomgevingen.