Résumé Technique : MuSix – Mélange de modèles de monde multi-échelles pour les agents incarnés

Problématique

Les agents incarnés alimentés par des modèles de vision-langage (VLM) sont confrontés à des défis importants lorsqu'ils opèrent dans des environnements réels et non stationnaires. Bien que les avancées récentes aient amélioré le respect des instructions, ces agents peinent avec le raisonnement multi-échelle (intégrer la dynamique physique de bas niveau avec l'inférence abstraite de haut niveau) et l'adaptation continue aux conditions changeantes.

Les auteurs identifient deux limitations spécifiques lors de l'application des architectures classiques de mélange d'experts (MoE) à ce domaine :

1. Le défi du mélange : Le routage conventionnel des MoE manque d'une notion explicite d'« échelle ». Les décisions de routage sont basées sur des représentations latentes sans être liées à des échelles identifiables, ce qui empêche des mises à jour ciblées de granularités de connaissances spécifiques au moment du test.
2. Le défi de l'évolution : Une politique de mise à jour uniforme ne peut pas accommoder les différents rythmes auxquels la connaissance devient obsolète. La connaissance de bas niveau (ex. : la dynamique locale) change fréquemment, tandis que les abstractions de haut niveau (ex. : les règles) restent stables. Le MoE standard force tous les experts à évoluer au même rythme, entravant une adaptation efficace.

Méthodologie : Cadre MuSix

Le papier propose MuSix, un cadre qui intègre des modèles de monde via un mélange et une évolution sensibles à l'échelle. L'innovation centrale est de fonder les décisions de routage sur la distance expérientielle, une mesure scalaire de la nouveauté situationnelle inspirée par la Théorie du Niveau de Construction (CLT - Construal Level Theory). La CLT postule que la distance psychologique régit le niveau d'abstraction du raisonnement humain ; MuSix opérationnalise cela en cartographiant l'écart entre les observations actuelles et l'expérience accumulée vers un espace de l'échelle continu.

1. Routage à deux étapes basé sur l'échelle

Pour répondre au défi du mélange, MuSix découple le routage en deux étapes :

• Étape 1 : Méta-Routeur (Détermination de l'échelle) : Un méta-routeur continu ($MR$) mappe la distance expérientielle ($\delta$) vers une fonction de poids sur un espace d'échelle continu ($S$).
  • Distance Expérientielle ($\delta$) : Calculée comme la distance de Mahalanobis entre l'embedding de l'observation actuelle et une distribution pondérée de l'expérience passée de l'agent au sein d'un épisode. Un $\delta$ élevé indique de la nouveauté ; un $\delta$ faible indique de la familiarité.
  • Perte sensible à l'échelle : Une fonction de perte ($\mathcal{L}_{space}$) aligne l'amplitude d'échelle attendue avec $\delta$, garantissant que les situations familières routent vers des modèles à faible échelle (motifs concrets) et que les situations nouvelles routent vers des modèles à haute échelle (généralisation abstraite).
• Étape 2 : Routeur de Base (Sélection du modèle de monde) : Les poids d'échelle du méta-routeur sont intégrés aux scores du routeur de base par échelle pour sélectionner un sous-ensemble top-$k$ de modèles de monde parmi $G$ groupes. Cela garantit que l'échelle de la décision de routage est explicite.

2. Adaptation de la connaissance intra et inter-échelle

Pour répondre au défi de l'évolution, MuSix introduit des mécanismes pour l'entraînement au moment du test (test-time training) :

• Adaptation Intra-Échelle : Les incréments de connaissances (dérivés des erreurs de prédiction) sont distribués entre les groupes en fonction de la sortie du méta-routeur. Crucialement, des taux d'oubli dépendants de l'échelle sont appliqués : les groupes à faible échelle ont des taux d'oubli élevés (rafraîchissement rapide), tandis que les groupes à haute échelle ont des taux d'oubli faibles (persistance des abstractions stables).
• Adaptation Inter-Échelle : Un mécanisme de transfert trans-échelle à porte (gated cross-scale transfer) permet à la connaissance de circuler de manière bidirectionnelle entre les échelles voisines. Les paramètres de porte modulent le flux d'information, garantissant que les mises à jour à un niveau puissent informer les niveaux adjacents tout en maintenant la cohérence hiérarchique.

Contributions Clés

1. Cadre MuSix : Un mélange de modèles de monde multi-échelles qui permet un mélange et une évolution dynamiques des modèles de monde au moment du test, fondés sur la distance expérientielle.
2. Routage à deux étapes : Une architecture de routage novatrice qui sépare explicitement la détermination de l'échelle de la sélection du modèle de monde, permettant des mises à jour ciblées à l'échelle appropriée.
3. Mécanismes d'adaptation : Des stratégies d'adaptation intra et inter-échelle qui respectent les caractéristiques temporelles distinctes, permettant un ajustement rapide des détails transitoires tout en préservant les abstractions stables.
4. Validation Empirique : Démonstration de l'efficacité du cadre sur des benchmarks de raisonnement multi-échelle et d'adaptation dynamique.

Résultats Expérimentaux

Les auteurs ont évalué MuSix sur EmbodiedBench (raisonnement multi-échelle) et HAZARD (adaptation dynamique dans des scénarios de catastrophe).

• EmbodiedBench (Habitat) : MuSix a obtenu une amélioration de 6,05 points de pourcentage (p.p.) par rapport à la ligne de base de pointe SayCanPay (40,44 % contre 34,39 % de taux de réussite moyen). Il a montré des gains substantiels dans les tâches de raisonnement complexe (Cpx) et de compréhension visuelle (Vis).
• HAZARD (Feu/Inondation) : MuSix a obtenu une amélioration de 1,49 p.p. par rapport à FLARE dans le scénario Feu (43,71 contre 42,22 de valeur de sauvetage). Dans le scénario Inondation, bien que les valeurs de sauvetage soient comparables, MuSix a considérablement réduit le ratio de dommages (4,65 contre 6,60–7,49 pour les lignes de base), indiquant un comportement plus efficace.
• Robotique Réelle : Des expériences sur un bras robotique Franka Research 3 ont montré que MuSix est comparable à la ligne de base la plus forte (SayCanPay) en termes de taux de réussite moyen (56,2 % contre 58,4 %) tout en atteignant la meilleure performance dans les cas les plus défavorables à travers diverses tâches.
• Études d'Ablation : Le retrait du méta-routeur a provoqué la plus grande dégradation des performances, confirmant la nécessité du routage à deux étapes. Désactiver l'oubli dépendant de l'échelle ou le transfert trans-échelle a également systématiquement réduit les performances, validant les mécanismes d'adaptation.

Signification et Revendications

Le papier affirme que MuSix répond avec succès aux limitations des MoE conventionnels dans l'IA incarnée en introduisant une sensibilité à l'échelle et une évolution hiérarchique. En fondant le routage sur la distance expérientielle, le cadre permet aux agents de :

• Sélectionner dynamiquement le niveau d'abstraction approprié pour une situation donnée.
• Mettre à jour des granularités de connaissances spécifiques sans perturber l'ensemble du système (atténuant l'oubli catastrophique).
• Équilibrer l'adaptation rapide aux changements locaux avec la stabilité des stratégies de haut niveau.

Les auteurs notent que l'efficacité du cadre provient du mécanisme de routage lui-même plutôt que de variantes architecturales spécifiques de modèles de monde, car il s'est montré robuste à travers diverses variantes architecturales. Cependant, ils reconnaissent modestement que le cadre hérite des limitations de son squelette VLM sous-jacent et qu'une validation plus large à travers diverses plateformes robotiques est une étape future nécessaire.