💻 computer science

iPack: Intuitive Bin Packing with Large Language Models

Dit artikel introduceert LLM-Pack, een nieuwe, modulaire benadering die taal- en visie-fundamentmodellen benut om mensachtige verpakkingssequenties voor boodschappen te genereren zonder dat daarvoor specifieke training voor nieuwe artikelen nodig is, waarmee het kritieke probleem van productbeschadiging in retailautomatisering wordt aangepakt.

Oorspronkelijke auteurs: Yannik Blei, Michael Krawez, Adrian Göß, Devadas Vijayan Sheela, Tobias Jülg, Pierre Krack, Florian Walter, Wolfram Burgard

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yannik Blei, Michael Krawez, Adrian Göß, Devadas Vijayan Sheela, Tobias Jülg, Pierre Krack, Florian Walter, Wolfram Burgard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vriend helpt met het inpakken van een verhuiswagen. Je hebt een stapel willekeurige voorwerpen: een zware gietijzeren koekenpan, een doos met breekbare glazen, een zak diepvrieserwten en een brood. Als je ze zomaar willekeurig in de wagen gooit, gaat het glas breken, wordt het brood geplet en smelten de diepvrieserwten. Je hebt een plan nodig dat rekening houdt met de "persoonlijkheid" van elk item.

Dit is precies het probleem dat het papier iPack probeert op te lossen, maar dan voor robots.

Het Probleem: Robots zijn slecht in "gezond verstand"

Robots zijn geweldig in het verplaatsen van dingen in fabrieken waar alles een perfecte doos is. Maar in de echte wereld—zoals een supermarkt of een keuken—zijn voorwerpen vreemd. Sommige zijn zwaar, sommige zijn breekbaar en sommige zijn plakkerig. Traditionele robots hebben geen "gezond verstand". Ze weten niet dat je niet een zware watermeloen bovenop een pak eieren moet leggen. Meestal moet je een robot leren dit door maandenlang handmatig regels te programmeren voor elk type object, wat onmogelijk is omdat er te veel verschillende dingen in de wereld zijn.

De Oplossing: iPack (De Robot met een Brein)

De auteurs hebben iPack ontwikkeld, een systeem waarmee een robot intelligent items kan inpakken zonder dat hij voor elk nieuw object opnieuw getraind hoeft te worden. Denk aan iPack als een robot die twee superkrachten heeft: Ogen en Gezond Verstand.

Zo werkt het, stap voor stap:

1. De "Ogen" (Perceptie)

Eerst kijkt de robot naar de tafel waar de voorwerpen verspreid liggen. Het gebruikt geavanceerde camera's en AI om elk object te vinden.

De Magische Truk: In plaats van alleen "een doos" te zien, vraat de robot een slimme AI (een Vision Language Model) om het object te identificeren. Is het een blik soep? Een zak chips?
De Gissing: De robot moet ook weten hoe zwaar of groot de items zijn. Omdat de robot met een camera niet perfect kan wegen, gebruikt het de AI om het item online "op te zoeken" (zoals het controleren van een recept of een productpagina) om het standaard gewicht en de afmetingen te achterhalen. Als het een vreemde vrucht is, raadt de AI het gewicht op basis van het uiterlijk.

2. Het "Gezond Verstand" (Planning)

Dit is het belangrijkste deel. De robot stelt een Large Language Model (LLM)—eigenlijk een superintelligente chatbot die getraind is op alle menselijke kennis—een simpele vraag: "Als ik deze specifieke items heb, wat is dan de veiligste manier om ze te stapelen zodat er niets breekt?"

De AI antwoordt met regels zoals:

"Leg de diepvries spinazie niet naast het brood (het maakt het brood zompig)."
"Leg de zware pot onderaan."
"De banaan heeft een zachte plek nodig, niet onder de ontbijtgranen."

De robot neemt vervolgens deze "menselijke" regels en voert ze in een wiskundige puzzeloplosser (een zogenaamde Mixed-Integer Linear Programming). Deze oplosser werkt als een 3D-Tetrismeester en berekent de perfecte indeling die alles in de doos past terwijl alle veiligheidsregels worden nageleefd.

3. De "Handen" (Executie)

Zodra het plan klaar is, pakt de robot de items één voor één op, beginnend bij de onderkant van de stapel en werkend naar boven toe. Het gebruikt een speciale, zachte grijper (als een milde hand) die kan voelen of hij te hard knijpt. Het plaatst elk item precies waar de wiskunde heeft aangegeven dat het moet komen.

Waarom is dit bijzonder?

Geen training nodig: Je hoeft de robot niet te leren wat een "ananas" is. Als je hem voor het eerst een ananas laat zien, weet de AI wat het is en hoe hij het moet inpakken. Het werkt met elk object (Open-Vocabulary).
Vindt de juiste doos: Het pakt niet zomaar een doos in; het kan kijken naar een plank met verschillende dozen en de kleinste doos kiezen die alles past, wat ruimte bespaart.
Menselijk: De onderzoekers testten dit door echte mensen te vragen hoe zij items zouden inpakken. Ze creëerden een "Consistentiescore" om te meten in hoeverre het inpakgedrag van de robot overeenkwam met menselijke intuïtie. iPack scoorde erg hoog, wat betekent dat de robot de dingen inpakte zoals een zorgvuldig mens dat zou doen.

De Resultaten

Het team testte iPack in een computersimulatie en met een echte robotarm.

Succespercentage: De robot slaagde er ongeveer 93% van de tijd in om de items succesvol in te pakken.
Efficiëntie: De robot pakte items compacter in dan oudere methoden die geen rekening hielden met veiligheidsregels.
Fouten: Wanneer het misging, kwam dat meestal doordat de camera een beetje wazig werd (waardoor de robot de grip miste) of doordat de robot tegen de zijkant van de doos stootte.

In een Notendop

iPack is een robotsysteem dat het "brein" van een chatbot gebruikt om te begrijpen wat objecten zijn en hoe je ze moet behandelen, en de "wiskunde" van een puzzeloplosser om ze perfect te rangschikken. Het stelt robots in staat om boodschappen of verhuisdozen in te pakken met dezelfde zorg en het gezonde verstand van een mens, zonder dat ze voor elk item in de winkel handmatig geprogrammeerd hoeven te worden.

Technische Samenvatting van iPack: Intuïtief Bin Packing met Large Language Models

Probleemstelling
Hoewel robotica en automatisering aanzienlijk zijn gevorderd in de magazijnlogistiek, blijft de specifieke taak van het verpakken van diverse artikelen (zoals boodschappen) in bakken minder onderzocht vergeleken met 'bin picking'. Bestaande methoden voor bin packing richten zich primair op het optimaliseren van de verpakkingsdichtheid en de stabiliteit van objecten binnen gecontroleerde omgevingen waar de vormen van artikelen bekend en vooraf verpakt zijn. In scenario's met een open wereld, zoals het verpakken van boodschappen, is de volgorde van verpakken cruciaal voor de integriteit van producten (bijvoorbeeld het voorkomen dat zware artikelen breekbare producten pletten, of het gescheiden houden van bevroren goederen en vochtgevoelige artikelen). Het definiëren van expliciete regels voor deze beperkingen is moeilijk vanwege de enorme variëteit aan objecten en de noodzaak van semantisch redeneren. Huidige benaderingen vereisen vaak handmatige specificatie van regels of training op specifieke datasets, wat de aanpasbaarheid aan nieuwe artikelen of open-vocabulaire scenario's beperkt.

Methodologie
Het artikel introduceert iPack, een nieuw framework dat Vision Language Models (VLM's), Large Language Models (LLM's) en Mixed-Integer Linear Programming (MILP) combineert om bin packing te automatiseren met menselijke semantische beperkingen. Het systeem werkt in drie afzonderlijke stappen:

Perceptiestap:
- Het systeem gebruikt GroundDINO om objecten in een RGB-D scène te detecteren en SAM 2 om segmentatiemaskers te genereren.
- Om afleidende elementen (zoals de doos of de robotgrijper) te filteren en de objectselectie te verfijnen, wordt een VLM geprompt met visuele nummering om boodschappen te identificeren.
- De VLM schat de eigenschappen van objecten (gewicht, grootte, pose). Voor gestandaardiseerde artikelen maakt het gebruik van een agentic internetzoekopdracht om exacte afmetingen op te halen; voor niet-gestandaardiseerde artikelen (bijv. groenten/fruit) vertrouwt het op het visuele uiterlijk.
- Objecttracking wordt onderhouden met behulp van het Hongaarse algoritme, waarbij de Intersection over Union (IoU) van maskers en de afstand tussen zwaartepunten worden gecombineerd.
Planningsstap:
- Een LLM wordt bevraagd om een set kritieke artikelparen ( $F$ ) te genereren die "productintegriteitsbeperkingen" vertegenwoordigen (bijv. "Artikel $j$ mag niet bovenop Artikel $i$ geplaatst worden").
- Deze beperkingen, samen met regels voor contactvermijding (bijv. bevroren artikelen die geen contact mogen hebben met brood), worden geïntegreerd in een Mixed-Integer Linear Programming (MILP) framework (opgelost via PySCIPOpt).
- De optimizer berekent een ruimtelijk optimaal verpakkingsschema dat het containervolume minimaliseert (door de kleinste geschikte doos te selecteren uit een set) terwijl het voldoet aan overlap-vrije en integriteitsbeperkingen.
- Om de robotische uitvoerbaarheid te garanderen, incorporeert de planner manipulatiebeperkingen: het beperkt de oriëntatie van objecten tot stabiele posities, past botsingspadding toe (5 mm) voor de afmetingen van de grijper en perceptieruis, en minimaliseert de som van de verticale ( $z$ ) posities om een stabiele stapel te garanderen.
Executiestap:
- Een robotmanipulator voert het plan uit door artikelen op te pakken en te plaatsen in oplopende volgorde van hun $z$ -posities (van onder naar boven).
- De grasp pose (grijppositie) wordt geconstrueerd met behulp van Principal Component Analysis (PCA) op de segmentatiemaskers geprojecteerd op de puntenwolk. De benaderingsrichting is verticaal, en de grijper lijnt uit met de kleinere hoofdcomponent van het masker.
- Het systeem gebruikt een standaard RRT motion planner voor de pick-and-place operaties.

Belangrijkste Bijdragen

Open-Vocabulary Verpakken: Een nieuwe aanpak die de verpakkingsruimte optimaliseert onder dynamisch gegenereerde productintegriteitsbeperkingen zonder dat er hertraining nodig is voor nieuwe artikelklassen.
Packing Consistency Score ( $C$ ): Een nieuwe datagedreven metriek gebaseerd op menselijke voorkeuren om te evalueren hoe goed een verpakkingsschema voldoet aan menselijke stapelregels. Deze metriek werd afgeleid van een webgebaseerde enquête met 84 deelnemers en 14 objectklassen.
Uitgebreide Evaluatie: Uitgebreide validatie in zowel simulatie als op een echte robot (Franka Research 3), die het vermogen van het systeem aantoont om diverse boodschappen te verwerken en optimale containerformaten te selecteren.
Open Source: Publicatie van de broncode, de manipulatiestack en de evaluatiedataset om integratie in aangepaste scenario's te vergemakkelijken.

Experimentele Resultaten

VLM Gevoeligheid: De auteurs evalueerden vier VLM's (GPT-5, GPT-5-mini, Claude Sonnet 4.5, Gemini 3 Flash) voor het genereren van beperkingen. GPT-5 leverde de beste Packing Consistency Score ( $C=0.2$ ), wat wijst op de dichtste aansluiting bij menselijke voorkeuren, terwijl Claude Sonnet 4.5 de hoogste verpakkingsdichtheid bereikte maar met een hogere schendingsscore ( $C=1.6$ ).
Baseline Vergelijking: Vergeleken met offline methoden (Elhedhli et al., Dube et al.) en een online methode (GOPT), behaalde iPack het laagste aantal geschonden beperkingen ( $C=0.2$ ) en een hoge verpakkingsdichtheid ($0.445$). De vanilla versie van iPack (zonder integriteitsbeperkingen) behaalde een hogere dichtheid ($0.478$) maar aanzienlijk meer schendingen ( $C=2.4$ ), wat de afweging tussen dichtheid en productveiligheid benadrukt.
Prestaties in de echte wereld: In end-to-end experimenten met 6 tot 12 artikelen behaalde het systeem een manipulatiesuccespercentage van 92,6%. Falen werd toegeschreven aan RGB-D ruis die de grasp-schatting beïnvloedde, botsingen van de grijper met de wanden van de container, en plaatsingsonnauwkeurigheden die leidden tot downstream botsingen. De Packing Consistency Score nam toe met het aantal artikelen, wat consistent is met de complexiteit van het planningsprobleem.

Betekenis en Claims
Het artikel beweert dat iPack de kloof overbrugt tussen traditionele, op dichtheid gerichte bin packing en de semantische vereisten van de echte logistiek. Door gebruik te maken van de algemene kennis van getrainde LLM's en VLM's, kan het systeem willekeurige objecten afhandelen zonder handmatige specificatie van regels of het verzamelen van trainingsdata. De auteurs benadrukken dat hun aanpak zero-shot en open-vocabulary is, waardoor deze aanpasbaar is aan diverse verpakkingsdomeinen en gebruikersvoorkeuren. Hoewel zij de beperkingen in manipulatierobustheid erkennen (bijv. slippen, wandbotsingen), toont dit werk aan dat semantische beperkingen succesvol kunnen worden geïntegreerd in optimalisatieframeworks om de productintegriteit te waarborgen in geautomatiseerde boodschappenverpakking. Toekomstig werk suggereert het integreren van vision-language-action modellen om contactrijke gedragingen zoals duwen voor foutcorrectie aan te pakken.