Résumé Technique : Cadre de Décision Séquentielle Basé sur l'Apprentissage Multi-échelle pour l'Exécution de Commandes des Systèmes Robotisés de Manipulation de Bacs (OLSF-TRS)

1. Énoncé du Problème

L'expansion rapide du commerce électronique et de la fabrication flexible en petits lots a entraîné un passage de la logistique interne basée sur les palettes à celle basée sur les bacs. Les systèmes robotisés de manipulation de bacs (par exemple, Hairobotics, Exotec, AirRob) sont devenus dominants dans les centres de fulfillment automatisés. Cependant, l'exécution des commandes dans ces systèmes implique un processus complexe de prise de décision séquentielle comportant trois couches interdépendantes : l'affectation des commandes (allocation des commandes aux postes de travail), l'appariement des bacs (sélection et séquençage des bacs) et la planification des robots (attribution des tâches et routage des robots).

La littérature existante présente deux limitations principales :

1. Spécificité du Système : La plupart des mécanismes de décision sont adaptés à des architectures robotiques spécifiques (par exemple, manipulation multi-bacs 2D vs escalade d'étagères 3D), ce qui les rend difficiles à généraliser ou à transférer vers différents types de systèmes sans réingénierie substantielle.
2. Limitations d'Échelle et de Couplage : Les heuristiques conventionnelles basées sur des règles échouent à capturer les dépendances dynamiques inter-couches dans des conditions variables. Les méthodes d'optimisation exactes sont computationnellement intraitables pour des instances stochastiques à grande échelle. Bien que des approches basées sur l'apprentissage récentes existent, elles traitent souvent des sous-problèmes isolés plutôt que l'ensemble du pipeline de décision séquentielle, échouant à coordonner efficacement la boucle « commande-bac-robot ».

Le défi central est un problème d'optimisation combinatoire conjointe multi-étapes où chaque étape est NP-difficile, et où les étapes sont fortement couplées. Les décisions au niveau des commandes influencent la demande et la congestion des bacs, ce qui affecte à son tour le routage des robots, créant une boucle de rétroaction que les approches fragmentées ne peuvent résoudre.

2. Méthodologie : OLSF-TRS

Les auteurs proposent OLSF-TRS, un cadre de décision séquentielle généralisé et évolutif qui intègre l'optimisation combinatoire neuronale structurée avec l'apprentissage par renforcement multi-agents (MARL). Le cadre abstrait les systèmes robotiques hétérogènes en un paradigme unifié et piloté par les données.

2.1. Abstraction de l'Espace d'État via le Quotient de Bisimulation (BQ-MDP)

Pour faire face à la croissance exponentielle de l'espace d'état dans les grands entrepôts, le cadre emploie le quotient de bisimulation.

• Mécanisme : Les états originaux sont regroupés en états abstraits s'ils sont équivalents par bisimulation, ce qui signifie qu'ils produisent des distributions de transition et des récompenses attendues identiques pour toutes les actions.
• Application : Par exemple, deux robots situés à des positions miroir par rapport à un poste de travail ou deux bacs contenant le même SKU sont traités comme équivalents. Cela réduit de vastes configurations de stockage (par exemple, plus de 50 000 emplacements) en classes compactes et comportementalement équivalentes, préservant la structure de la politique optimale tout en assurant la faisabilité computationnelle.

2.2. Optimisation Combinatoire Neuronale (BQ-NCO)

Le cadre utilise BQ-NCO pour résoudre les sous-problèmes combinatoires sous-jacents (regroupement des commandes, séquençage des bacs, allocation des tâches).

• Architecture : Un encodeur Transformer partagé traite des représentations unifiées de caractéristiques et d'actions pour les commandes, les bacs et les robots.
• Entraînement : Les politiques sont pré-entraînées par apprentissage par imitation en utilisant des trajectoires d'experts générées par des solveurs exacts (par exemple, Gurobi) sur des instances à petite échelle.
• Couplage Doux : Pour prévenir la propagation des erreurs dans le pipeline séquentiel, un mécanisme de couplage doux aligne les vecteurs d'action prédits d'une étape avec les entrées de vérité terrain de l'étape suivante, stabilisant ainsi les performances de bout en bout.

2.3. Coordination Multi-Agents via MAPPO

Pour les scénarios à grande échelle et à haute concurrence, le cadre emploie l'Optimisation de Politique Proximale Multi-Agents (MAPPO) avec un paradigme d'entraînement centralisé et d'exécution décentralisée (CTDE).

• Agents : Trois agents coopératifs (Commande, Bac, Robot) opèrent avec des rôles distincts mais partagent un objectif global.
• Critique Centralisé : Un critique de réseau de neurones récurrent (RNN) évalue les états et actions conjoints sur la base d'un objectif opérationnel unifié : minimiser le nombre total de mouvements de bacs ($Z_{Final}$), qui inclut les récupérations et les retours.
• Façonnage de la Récompense : Les agents reçoivent une récompense globale dérivée de la réduction de $Z_{Final}$, complétée par des récompenses locales façonnées qui intègrent des objectifs intrinsèques issus du pré-entraînement BQ-NCO et des termes de coordination inter-agents (quantifiant l'impact de l'action d'un agent sur un autre).

3. Contributions Clés

1. Cadre de Décision Séquentielle Généralisé : OLSF-TRS reformule l'exécution des commandes comme une séquence structurée de décisions interdépendantes aux niveaux commande, bac et robot. En abstraisant les architectures hétérogènes en une représentation unifiée, il prend en charge diverses plateformes de manipulation de bacs sans redéfinition spécifique à la plateforme.
2. Paradigme Modulaire Conscient des Dépendances : Contrairement à l'optimisation de couches isolées ou aux modèles monolithiques de bout en bout, OLSF-TRS préserve explicitement les dépendances inter-étapes en reliant les sous-problèmes dans un pipeline cohérent. Cela permet un entraînement modulaire tout en maintenant la cohérence au niveau du système.
3. Réalisation Algorithmique Évolutif : L'intégration de BQ-MDP pour l'abstraction d'état, de BQ-NCO pour les décisions combinatoires structurées et de MAPPO pour le contrôle coopératif permet au cadre de fonctionner efficacement sur tout le spectre des tailles de déploiement, des petites instances solubles par des méthodes exactes aux scénarios stochastiques à grande échelle comportant des centaines de commandes et des dizaines de robots.

4. Résultats Expérimentaux

Le cadre a été évalué sur 18 groupes d'instances structurées couvrant des scénarios à petite échelle (S-1 à S-9) et à grande échelle (L-1 à L-15), testés sur deux types de systèmes distincts : Manipulation Multi-Bacs 2D (Hairobotics) et Escalade d'Étagères 3D (Exotec).

4.1. Performance à Petite Échelle

• Optimalité : OLSF-TRS a atteint des performances quasi-optimales avec des écarts d'optimalité moyens inférieurs à 3,5 % par rapport aux solutions exactes de Gurobi.
• Efficacité : Les temps d'inférence étaient dans la plage des millisecondes (38–59 ms), confirmant une efficacité computationnelle adaptée au contrôle en temps réel.

4.2. Performance à Grande Échelle

Dans des scénarios à haute concurrence et à ressources contraintes (jusqu'à 600 SKU, 350 commandes, 70 robots) :

• Réduction des Mouvements de Bacs : OLSF-TRS a constamment surpassé les bases de référence heuristiques. Par rapport aux approches basées sur des règles de l'état de l'art (R3, G3), il a réduit le nombre total de mouvements de bacs de jusqu'à 43,4 % (Exotec) et 42,1 % (Hairobotics). Par rapport à l'Heuristique Collaborative de Groupes de SKU (C-SGH), les réductions ont atteint 14,9 %.
• Évolutivité : Alors que les bases de référence heuristiques présentaient une croissance superlinéaire des mouvements de bacs à mesure que la charge du système augmentait, OLSF-TRS a maintenu un profil de croissance quasi-linéaire.
• Robustesse : En cas de pénurie de ressources (faibles ratios robot/commande), les méthodes décentralisées (IPPO) et les heuristiques statiques ont souffert de problèmes d'attribution de crédit et de congestion, tandis qu'OLSF-TRS a maintenu des performances stables grâce à la capacité du critique centralisé à résoudre les conflits de coordination globaux.
• Temps d'Exécution : Bien que le temps d'exécution de la simulation ait été supérieur à celui des heuristiques légères, cela était dominé par la simulation d'environnement haute fidélité. L'inférence de la politique est restée inférieure à 15 ms par étape de décision, garantissant une réactivité en temps réel lors du déploiement.

5. Importance et Revendications

L'article revendique qu'OLSF-TRS fournit un cadre de prise de décision unifié et transférable qui comble le fossé entre les modèles d'optimisation combinatoire et l'exécution au niveau du système dans des environnements dynamiques.

• Impact Opérationnel : La réduction des mouvements de bacs se traduit directement par des avantages industriels tangibles : une consommation d'énergie réduite, une usure mécanique diminuée et une stabilité accrue du débit.
• Avance Méthodologique : L'étude démontre qu'une performance de haute qualité au niveau du système ne nécessite pas de résoudre explicitement le problème complet d'optimisation conjointe. Au lieu de cela, décomposer le problème en sous-problèmes structurellement significatifs (via BQ-NCO) et résoudre le couplage global par une coordination centralisée (via MAPPO) est une stratégie plus efficace.
• Applicabilité Pratique : Le cadre comble les lacunes « limitées par l'échelle » et « spécifiques au système » de la littérature actuelle, offrant une solution capable de s'adapter à diverses architectures de systèmes et échelles opérationnelles sans réingénierie.

Les auteurs notent des limitations, notamment l'accent actuel mis sur des flottes de robots homogènes et l'abstraction de la planification de mouvement de bas niveau (gérée implicitement via des temps de déplacement conscients de la congestion). Des travaux futurs sont suggérés pour les flottes hétérogènes, la planification de trajectoire explicite et l'intégration avec des retours sensoriels en temps réel.