IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models

1. Probleemstelling

In de moderne industriële productie moeten meerdere robots vaak samenwerken om complexe taken uit te voeren. Hoewel Large Language Models (LLM's) succesvol zijn gebleken in het coördineren van robots voor eenvoudige huishoudelijke taken, lopen ze tegen ernstige beperkingen aan in industriële scenario's:

• Strikte afhankelijkheden: Industriële taken hebben vaak rigide sequentiële beperkingen en complexe wederzijdse uitsluitingsrelaties (bijv. twee robots kunnen niet tegelijkertijd dezelfde machine gebruiken).
• Onvoldoende redenering: Het vertrouwen op de redeneercapaciteit van een LLM alleen is vaak onvoldoende om haalbare en optimale planningen te garanderen voor deze complexe afhankelijkheden.
• Programmering en uitvoerbaarheid: Bestaande methoden voor het genereren van code (programmering) vertrouwen vaak op "few-shot prompting" (voorbeelden). Dit leidt tot code die overfit op specifieke voorbeelden, niet past bij de werkelijke uitvoeringsomgeving, en daardoor lage uitvoerbaarheid heeft.

Het doel is om een framework te ontwikkelen dat zowel een hoog-niveau takenplanning (wat doet welke robot en wanneer) als laag-niveau uitvoerbare programma's genereert voor multi-robot systemen in fabrieken.

2. Methodologie: IMR-LLM

Het auteurs stellen IMR-LLM voor, een framework dat LLM's combineert met deterministische oplossingsmethoden en boomstructuren. Het proces bestaat uit drie hoofdfasen:

A. Takenplanning (Task Planning)

In plaats van dat de LLM direct de volledige uitvoeringsvolgorde bepaalt (wat foutgevoelig is bij complexe resources), wordt de LLM gebruikt om de basisinformatie te extraheren, waarna een wiskundige methode de planning oplost.

1. Disjunctieve Grafiek Constructie: De LLM analyseert de natuurlijke taal instructie en het industriële scenario om een set operaties, robottoewijzingen en interne afhankelijkheden te genereren.
2. Modellering: Deze informatie wordt omgezet in een disjunctieve grafiek (disjunctive graph). Dit is een datastructuur die zowel de volgorde van operaties binnen een werkstuk als de conflicten om gedeelde resources (machines en robots) weergeeft.
3. Deterministische Oplossing: De grafiek wordt opgelost met een heuristisch algoritme (in dit geval een First-In-First-Out of FIFO algoritme). Dit zorgt voor een haalbare en efficiënte planning die resource-conflicten garandeert oplost, in plaats van te vertrouwen op de intuïtie van het LLM.

B. Programmagegeneratie (Program Generation)

Om de gegenereerde planning om te zetten in uitvoerbare Python-code, gebruiken de auteurs een Procesboom (Process Tree) in plaats van directe voorbeelden.

1. Procesboom Constructie: Uit bestaande voorbeeldprogramma's bouwt het LLM een gestructureerde boom. Deze boom bevat knopen die representatief zijn voor operationele stappen (bijv. "foto maken", "grenzen detecteren").
2. Vergelijking en Samenvoeging: Operaties met dezelfde functionaliteit maar verschillende implementaties (bijv. camera op een arm vs. camera op een statief) worden als takken in de boom gemodelleerd.
3. Code Generatie: Bij het genereren van code voor een nieuwe taak, navigeert het LLM door deze boom om de juiste tak te kiezen op basis van het specifieke scenario. Het combineert vervolgens de code-snippets uit de boomknopen. Dit zorgt voor modulaire, herbruikbare en minder foutgevoelige code.

C. Uitvoering

De gegenereerde planning (hoge niveau) en de gegenereerde code (lage niveau) worden gebruikt om de robots in een gesimuleerde of echte omgeving aan te sturen. De uitvoering volgt strikt de volgorde uit de opgeloste grafiek.

3. Kernbijdragen

1. IMR-LLM Framework: Een nieuw systeem dat LLM's integreert met heuristische algoritmen voor het oplossen van disjunctieve grafieken (voor planning) en procesbomen (voor programmering). Dit combineert het beste van twee werelden: het taalbegrip van LLM's en de betrouwbaarheid van deterministische optimalisatie.
2. IMR-Bench: De auteurs hebben een nieuw benchmark-dataset ontwikkeld specifiek voor industriële multi-robot taken. Dit bevat 23 scènes en 50 taken met variërende complexiteit (van 1 tot 7 robots en tot 24 operaties), inclusief grondwaarheid (ground truth) voor evaluatie.
3. Uitgebreide Evaluatie: Het framework is getest in zowel gesimuleerde omgevingen als in een echte real-world setting met drie robotarmen, waarbij de methoden significant beter presteerden dan bestaande state-of-the-art benaderingen.

4. Resultaten

De experimenten werden uitgevoerd op de IMR-Bench dataset en vergeleken met bestaande methoden zoals SMART-LLM, LaMMA en LiP-LLM.

• Prestaties: IMR-LLM overtrof alle baselines op alle evaluatiemetrics, inclusief:
  • Operatieconsistentie (OC): Hoe goed de gegenereerde takenplanning overeenkomt met de grondwaarheid.
  • Plannings-efficiëntie (SE): De kwaliteit van de tijdsplanning (makespan).
  • Uitvoerbaarheid (Exe): Of de gegenereerde code daadwerkelijk kan worden uitgevoerd.
  • Doel-herinnering (GCR): Of de taak succesvol is voltooid.
  • Succesratio (SR): Het percentage taken dat volledig succesvol is uitgevoerd.
• Complexiteit: Terwijl andere methoden snel faalden bij complexe multi-robot taken (veel robots en operaties), behaalde IMR-LLM de hoogste successcore (SR) door de combinatie van disjunctieve grafieken (voor planning) en procesbomen (voor code).
• Ablatie-studies: Het verwijderen van de disjunctieve grafiek (en het laten doen van planning door de LLM) leidde tot een sterke daling in plannings-efficiëntie. Het verwijderen van de procesboom leidde tot een sterke daling in de uitvoerbaarheid van de code.
• Real-world Validatie: Het systeem slaagde erin om in een echte fabrieksomgeving met drie robots een transport- en bewerkingsopdracht succesvol uit te voeren, wat de praktische toepasbaarheid bewijst.

5. Significantie

Deze paper is significant omdat het een brug slaat tussen de flexibiliteit van Large Language Models en de strikte eisen van industriële automatisering.

• Betrouwbaarheid: Door LLM's te beperken tot het begrijpen van context en het construeren van grafieken, en de zware wiskundige optimalisatie over te laten aan deterministische algoritmen, wordt de kans op fouten in de planning drastisch verkleind.
• Schaalbaarheid: De gebruikte procesboom-methode voor programmering maakt het systeem schaalbaar en aanpasbaar aan nieuwe productielijnen zonder dat het LLM opnieuw getraind hoeft te worden of duizenden voorbeelden nodig heeft.
• Industriële Toepassing: Het biedt een concrete oplossing voor het probleem van "embodied intelligence" in de industrie, waar robots niet alleen moeten kunnen "denken" maar ook strikte veiligheids- en procesregels moeten volgen.

Kortom, IMR-LLM demonstreert dat hybride systemen (LLM + deterministische solvers) superieur zijn aan pure LLM-benaderingen voor complexe, multi-robot industriële taken.