FeDepth: Federated Learning for Depth Estimation under Robot Heterogeneity

Résumé technique de FeDepth : Apprentissage fédéré pour l'estimation de la profondeur sous l'hétérogénéité robotique

Énoncé du problème
La perception robotique, en particulier l'estimation de la profondeur monoculaire, repose fortement sur des données d'entraînement provenant d'environnements diversifiés pour garantir la généralisation. Cependant, les approches existantes utilisent principalement l'apprentissage centralisé (CL - Centralized Learning), qui nécessite la transmission de données sensorielles brutes à large bande passante vers un serveur central. Cela crée une surcharge de communication, des goulots d'étranglement en matière de scalabilité et des préoccupations liées à la confidentialité. L'apprentissage fédéré (FL - Federated Learning) offre une alternative distribuée où les robots s'entraînent localement et ne partagent que les poids des modèles. Pourtant, le FL standard (par exemple, FedAvg) et même les méthodes existantes d'apprentissage fédéré par grappes (CFL - Clustered FL) peinent dans les déploiements robotiques en raison d'une hétérogénéité sévère. Cette hétérogénéité provient de plateformes robotiques diverses (par exemple, UGV, UAV, robots à pattes), de variations d'environnements (par exemple, urbain, forêt, intérieur) et de quantités de données déséquilibrées.

Une lacune critique identifiée dans ce travail est que les distributions de données robotiques réelles sont souvent partiellement chevauchantes plutôt que clairement séparables. Un robot peut opérer dans plusieurs environnements, ou différents robots peuvent partager des environnements similaires mais différer par leurs dynamiques de plateforme. Les méthodes conventionnelles de CFL supposent que les clients peuvent être partitionnés en grappes distinctes et non chevauchantes (clustering dur). Cette hypothèse échoue dans les contextes robotiques où les décalages de domaine sont continus et ambigus, entraînant une dégradation des performances lorsque les clients sont forcés de rejoindre une grappe unique, potentiellement inadéquate.

Méthodologie : Cadre FeDepth
Les auteurs proposent FeDepth, un cadre de CFL basé sur des descripteurs conçu pour gérer les relations complexes et chevauchantes entre les clients grâce au clustering doux (soft clustering). Le cadre fonctionne en trois étapes principales :

1. Clustering doux (Génération de descripteurs de client) :

   • Au lieu de s'appuyer uniquement sur des images brutes ou des paramètres de modèle, FeDepth utilise un encodeur pré-entraîné (provenant de modèles de profondeur de base comme AdaBins, NeWCRFs ou DCDepth) pour extraire des descripteurs visuels à partir d'un sous-ensemble des données locales de chaque client.
   • Ces cartes de caractéristiques sont compressées à l'aide du pooling de moyenne généralisée (GeM). La moyenne et la variance de ces caractéristiques agrégées sont utilisées pour former un descripteur de client $(\mu_c, \sigma_c^2)$, représentant la distribution de caractéristiques du client.
   • Le serveur calcule les similitudes par paires entre les clients en utilisant la divergence de Jeffreys (une forme symétrique de la divergence de KL) entre leurs approximations gaussiennes.
   • Contrairement au clustering dur, FeDepth emploie une stratégie de clustering doux. Les clients sont assignés à plusieurs grappes basées sur un seuil de similitude $\tau$. Cela permet à un seul client de participer à plusieurs grappes pertinentes, capturant les transitions continues et ambiguës communes aux environnements robotiques. Une étape de fusion résout les partitions redondantes pour finaliser la carte des grappes.

2. Mise à jour du modèle de grappe :

   • Pendant les cycles d'entraînement, les clients effectuent des mises à jour locales.
   • Le serveur agrège les modèles par grappe. Pour chaque grappe, il fait la moyenne des modèles des clients assignés à cette grappe (pondérée par la taille des données).
   • Les clients téléchargent ensuite les modèles de toutes les grappes auxquelles ils appartiennent et en font la moyenne pour initialiser leur prochain cycle d'entraînement local. Ce mécanisme permet aux clients de bénéficier des connaissances de plusieurs domaines connexes.

3. Inférence :

   • Pour une nouvelle séquence de test, le système extrait un descripteur et calcule la similitude avec les centroïdes de grappes existants.
   • La séquence est assignée à un ensemble de grappes candidates (celles situées sous le seuil $\tau$), et la prédiction finale est une moyenne des modèles issus de ces grappes sélectionnées.

Principales contributions

1. Investigation systématique de l'hétérogénéité induite par les robots : Le papier souligne que l'apprentissage fédéré pour la perception robotique fait face à des défis uniques dus aux changements de plateforme, d'environnement et de distribution de profondeur, qui sont souvent moins explorés que le FL pour la classification d'images standard.
2. Nouveaux scénarios Non-IID (HPE et BMR) : Les auteurs introduisent deux bancs d'essai réalistes dérivés de jeux de données existants (M3ED, NYUv2, KITTI) :
   • Hétérogénéité Plateforme-Environnement (HPE) : Simule des variations combinatoires où les clients partagent des attributs (par exemple, même environnement, robot différent) ou ont des trajectoires qui se chevauchent, créant des frontières de domaine ambiguës.
   • Plage Bi-Modale (BMR) : Simule un décalage sévère entre les distributions de profondeur intérieures (courte portée) et extérieures (longue portée), testant la capacité à gérer des échelles de profondeur fondamentalement différentes.
3. Cadre FeDepth : Un cadre de CFL agnostique au modèle qui utilise le clustering doux pour permettre aux clients d'appartenir à plusieurs groupes. Cela répond à la limitation du clustering dur pour traiter les distributions de données chevauchantes.
4. Évaluation complète : La méthode est validée sur plusieurs architectures d'estimation de la profondeur (AdaBins, NeWCRFs, DCDepth) et surpasse systématiquement l'apprentissage fédéré standard, l'apprentissage personnalisé et les bases de comparaison de clustering dur.

Résultats expérimentaux

• Scénario HPE : FeDepth surpasse systématiquement toutes les bases de comparaison (FedAvg, FedProx, FedDyn, SCAFFOLD, FedClust, PACFL) sur toutes les architectures testées. Par exemple, avec l'architecture NeWCRFs, FeDepth a obtenu un Abs Rel de 0,249, nettement inférieur à celui de FedAvg (0,366) et du clustering dur PACFL (0,318). Les résultats démontrent que le clustering doux capture mieux la nature continue des distributions de données robotiques.
• Scénario BMR : Dans le scénario clairement séparé intérieur/extérieur, FeDepth est comparable aux méthodes de clustering dur (PACFL) pour les architectures comme NeWCRFs et DCDepth, où les grappes sont naturellement distinctes. Cependant, pour AdaBins, où les représentations de caractéristiques sont moins séparables, FeDepth reste supérieur à l'apprentissage centralisé (CL) et au FL standard, montrant sa robustesse même lorsque le clustering dur est théoriquement optimal.
• Études d'ablation :
  • Doux vs Dur : Le clustering doux surpasse systématiquement le clustering dur sous le même seuil, confirmant que les distributions de données robotiques sont trop continues pour un partitionnement rigide.
  • Sensibilité au chevauchement : Un ratio de chevauchement de 20 % (clients assignés à plusieurs grappes) a donné des performances optimales. Un chevauchement trop faible limite le partage de connaissances ; un chevauchement trop important (100 %) fait s'effondrer le système vers un FedAvg standard.
  • Basé sur les étiquettes vs Basé sur la distribution : Le clustering basé sur les étiquettes de vérité terrain (plateforme/environnement) a entraîné des performances instables par rapport au clustering de FeDepth sensible à la distribution, suggérant que les étiquettes sémantiques ne s'alignent pas toujours sur la similitude de la distribution des caractéristiques.

Signification et affirmations
Le papier affirme que FeDepth fournit une solution pratique et efficace pour la perception robotique fédérée en abordant le défi spécifique des domaines de clients chevauchants. En s'éloignant de l'hypothèse de grappes clairement séparables, FeDepth permet un entraînement robuste dans des systèmes multi-robots hétérogènes où les robots partagent plusieurs attributs. Les auteurs positionnent FeDepth non seulement comme une amélioration de la précision, mais comme une étape nécessaire vers une perception évolable et respectueuse de la vie privée pour des déploiements robotiques diversifiés dans le monde réel. Ce travail établit de nouveaux points de référence (HPE et BMR) pour évaluer le FL sous une hétérogénéité robotique réaliste, dépassant les cadres de laboratoire contrôlés.