Technische Samenvatting: Een op schaalvariabele leer gebaseerd raamwerk voor sequentiële besluitvorming voor orderafhandeling van robotische systemen voor trollethandeling (OLSF-TRS)

1. Probleemstelling

De snelle uitbreiding van e-commerce en flexibele, kleinschalige productie heeft een verschuiving van pallet-gebaseerde naar trolleth-gebaseerde intralogistiek teweeggebracht. Robotische systemen voor trolleth-handeling (zoals Hairobotics, Exotec, AirRob) zijn dominant geworden in geautomatiseerde fulfilmentcentra. De orderafhandeling in deze systemen omvat echter een complex, sequentieel besluitvormingsproces dat drie onderling afhankelijke lagen omvat: toewijzing van orders (toewijzen van orders aan werkstations), matching van trolleths (selecteren en sequentiëren van trolleths) en roosteren van robots (toewijzen van taken en routeren van robots).

Bestaande literatuur staat voor twee primaire beperkingen:

1. Systeemspecificiteit: De meeste besluitvormingsmechanismen zijn op maat gemaakt voor specifieke robotarchitecturen (bijv. 2D multi-trolleth versus 3D rek-klimmen), waardoor ze moeilijk te generaliseren of over te dragen zijn naar verschillende systeemtypen zonder ingrijpende herontwikkeling.
2. Beperkingen qua schaal en koppeling: Conventionele op regels gebaseerde heuristieken slagen er niet in om dynamische kruislaagafhankelijkheden onder wisselende omstandigheden vast te leggen. Exacte optimalisatiemethoden zijn computationeel onuitvoerbaar voor grootschalige, stochastische gevallen. Hoewel er recente op leer gebaseerde benaderingen bestaan, richten deze zich vaak op geïsoleerde deelvragen in plaats van de volledige sequentiële besluitvormingspijplijn, waardoor ze de "order-trolleth-robot"-lus niet effectief coördineren.

De kernuitdaging is een meerstaps gezamenlijk combinatorisch optimalisatieprobleem waarbij elke stap NP-hard is en de stappen sterk gekoppeld zijn. Beslissingen op order-niveau beïnvloeden de vraag naar trolleths en congestie, wat op zijn beurt de robotroutering beïnvloedt, waardoor een feedbacklus ontstaat die gefragmenteerde benaderingen niet kunnen oplossen.

2. Methodologie: OLSF-TRS

De auteurs stellen OLSF-TRS voor, een gegeneraliseerd, schaalbaar raamwerk voor sequentiële besluitvorming dat gestructureerde neurale combinatorische optimalisatie integreert met multi-agent versterkende leer (MARL). Het raamwerk abstrahert heterogene robotische systemen naar een uniek, datagedreven paradigma.

2.1. Abstrahering van de toestandsruimte via Bisimulatiekwotiëntering (BQ-MDP)

Om de exponentiële groei van de toestandsruimte in grote magazijnen aan te pakken, maakt het raamwerk gebruik van bisimulatiekwotiëntering.

• Mechanisme: Originele toestanden worden gegroepeerd in abstracte toestanden als ze bisimulatie-equivalent zijn – wat betekent dat ze voor alle acties identieke overgangsverdelingen en verwachte beloningen opleveren.
• Toepassing: Bijvoorbeeld, twee robots op gespiegelde posities ten opzichte van een werkstation of twee trolleths met dezelfde SKU worden als equivalent behandeld. Dit reduceert enorme opslagconfiguraties (bijv. 50.000+ locaties) tot compacte, gedragsmatig equivalente klassen, waarbij de structuur van het optimale beleid behouden blijft terwijl computationele uitvoerbaarheid wordt gewaarborgd.

2.2. Neurale Combinatorische Optimalisatie (BQ-NCO)

Het raamwerk maakt gebruik van BQ-NCO om de onderliggende combinatorische deelvragen op te lossen (orderbatching, trolleth-sequentiëring, taaktoewijzing).

• Architectuur: Een gedeelde Transformer-encoder verwerkt verenigde kenmerk-actie-representaties voor orders, trolleths en robots.
• Training: Beleid wordt vooringesteld via imitatielearning met behulp van experttrajecten gegenereerd door exacte oplosprogramma's (zoals Gurobi) op kleinschalige gevallen.
• Zachte Koppeling: Om foutpropagatie in de sequentiële pijplijn te voorkomen, zorgt een zachte koppelingsmechanisme ervoor dat de voorspelde actievectoren van één stap worden afgestemd op de ground-truth-invoer van de daaropvolgende stap, waardoor de end-to-end-prestaties worden gestabiliseerd.

2.3. Multi-agent Coördinatie via MAPPO

Voor grootschalige scenario's met hoge concurrentie maakt het raamwerk gebruik van Multi-Agent Proximal Policy Optimization (MAPPO) met een paradigma van gecentraliseerd trainen en gedecentraliseerd uitvoeren (CTDE).

• Agents: Drie coöperatieve agents (Order, Trolleth, Robot) opereren met distincte rollen maar delen een globaal doel.
• Gecentraliseerde Critic: Een recurrente neurale net (RNN)-critic evalueert gezamenlijke toestanden en acties op basis van een verenigd operationeel doel: het minimaliseren van het totale aantal trolleth-bewegingen ($Z_{Final}$), inclusief ophaal- en terugkeerbewegingen.
• Beloningsvorming: Agents ontvangen een globale beloning die is afgeleid van de reductie in $Z_{Final}$, aangevuld met vormgegeven lokale beloningen die intrinsieke doelen uit de BQ-NCO-vooringespanning en inter-agent coördinatie-termen incorporeren (die kwantificeren hoe de actie van één agent een andere beïnvloedt).

3. Belangrijkste Bijdragen

1. Gegeneraliseerd Raamwerk voor Sequentiële Besluitvorming: OLSF-TRS herformuleert orderafhandeling als een gestructureerde reeks onderling afhankelijke beslissingen op het niveau van order, trolleth en robot. Door heterogene architecturen te abstraheren naar een verenigde representatie, ondersteunt het diverse platformen voor trolleth-handeling zonder platform-specifiek herontwerp.
2. Afhankelijkheidsbewust Modulair Paradigma: In tegenstelling tot geïsoleerde laagoptimalisatie of monolithische end-to-end-modellen, behoudt OLSF-TRS expliciet kruisstap-afhankelijkheden door deelvragen te koppelen aan een samenhangende pijplijn. Dit maakt modulair trainen mogelijk terwijl systeemniveau-consistentie wordt gehandhaafd.
3. Schaalbaar Algorithmische Realisatie: De integratie van BQ-MDP voor toestandsabstrahering, BQ-NCO voor gestructureerde combinatorische beslissingen en MAPPO voor coöperatieve controle stelt het raamwerk in staat om effectief te opereren over het volledige spectrum van implementatiegroottes – van kleine gevallen die met exacte methoden oplosbaar zijn tot grootschalige stochastische scenario's met honderden orders en tientallen robots.

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op 18 gestructureerde groepen van gevallen die kleinschalige (S-1 tot S-9) en grootschalige (L-1 tot L-15) scenario's omvatten, getest op twee verschillende systeemtypen: 2D Multi-Trolleth Handling (Hairobotics) en 3D Rek-Klimmen (Exotec).

4.1. Prestaties op Kleinschalig Niveau

• Optimaliteit: OLSF-TRS behaalde bijna optimale prestaties met gemiddelde optimaliteitsgaten onder de 3,5% vergeleken met exacte oplossingen van Gurobi.
• Efficiëntie: Inferentietyden lagen in het milliseconde-bereik (38–59 ms), wat de computationele efficiëntie bevestigt die geschikt is voor realtime besturing.

4.2. Prestaties op Grootschalig Niveau

In scenario's met hoge concurrentie en beperkte middelen (tot 600 SKU's, 350 orders, 70 robots):

• Reductie van Trolleth-bewegingen: OLSF-TRS presteerde consequent beter dan heuristische baselines. In vergelijking met state-of-the-art op regels gebaseerde benaderingen (R3, G3) verminderde het het totale aantal trolleth-bewegingen met tot 43,4% (Exotec) en 42,1% (Hairobotics). In vergelijking met de Collaborative SKU-Group Heuristic (C-SGH) bedroegen de reducties 14,9%.
• Schaalbaarheid: Waar heuristische baselines een superlineaire groei vertoonden in trolleth-bewegingen naarmate de systeembelasting toenam, behield OLSF-TRS een bijna lineair groeiprofiel.
• Robuustheid: Bij schaarste aan middelen (lage robot-tot-order-ratio's) leden gedecentraliseerde methoden (IPPO) en statische heuristieken onder problemen met krediettoewijzing en congestie, terwijl OLSF-TRS stabiele prestaties behield dankzij het vermogen van de gecentraliseerde critic om globale coördinatieconflicten op te lossen.
• Uitvoeringstijd: Hoewel de simulatie-uitvoeringstijd hoger was dan bij lichtgewicht heuristieken, werd dit gedomineerd door de simulatie van de omgeving met hoge fideliteit. De beleidsinferentie bleef onder de 15 ms per beslissingsstap, waardoor realtime responsiviteit bij implementatie wordt gewaarborgd.

5. Betekenis en Claims

Het artikel beweert dat OLSF-TRS een verenigd, overdraagbaar besluitvormingsraamwerk biedt dat de kloof overbrugt tussen combinatorische optimalisatiemodellen en systeemniveau-uitvoering in dynamische omgevingen.

• Operationele Impact: De reductie in trolleth-bewegingen vertaalt zich direct naar tastbare industriële voordelen: lager energieverbruik, verminderde mechanische slijtage en verbeterde stabiliteit van de doorvoer.
• Methodologische Vooruitgang: De studie toont aan dat hoogwaardige systeemniveau-prestaties niet vereisen dat het volledige gezamenlijke optimalisatieprobleem expliciet wordt opgelost. In plaats daarvan is het ontleden van het probleem in structureel betekenisvolle deelvragen (via BQ-NCO) en het oplossen van globale koppeling via gecentraliseerde coördinatie (via MAPPO) een effectievere strategie.
• Praktische Toepasbaarheid: Het raamwerk adresseert de "schaal-beperkte" en "systeem-specifieke" gaten in de huidige literatuur en biedt een oplossing die zich kan aanpassen aan diverse systeemarchitecturen en operationele schalen zonder herontwikkeling.

De auteurs merken beperkingen op, waaronder de huidige focus op homogene robotvloot en de abstrahering van motionplanning op laag niveau (impliciet afgehandeld via congestie-bewuste reistijden). Toekomstig werk wordt voorgesteld voor heterogene vlootten, expliciete padplanning en integratie met realtime sensorische feedback.