Lang2Lift: A Language-Guided Autonomous Forklift System for Outdoor Industrial Pallet Handling

Dit paper introduceert Lang2Lift, een autonoom vorkheftruck-systeem dat natuurlijke taal gebruikt om pallets in ongestructureerde buitenomgevingen te identificeren en te manipuleren door foundation-modellen te integreren met bewegingsplanning en controle.

De kern

Stel je voor dat je een forklift bestuurt op een drukke bouwplaats of in een openluchtlogistiekcentrum. Normaal gesproken moet je zelf achter het stuur zitten en met je ogen zoeken: "Waar staat die pallet met de bakstenen? Die daar, links van de kraan."

De uitdaging is dat buitenomstandigheden chaotisch zijn: het regent, het sneeuwt, de lichten zijn slecht, en pallets staan overal verspreid. Bestaande robots zijn als zeer stijve robot-hondjes: ze kunnen alleen doen wat ze precies zijn ingesleuteld. Als je een nieuwe pallet ziet die er anders uitziet dan in hun 'geheugen', raken ze in de war.

Lang2Lift is de oplossing die dit probleem oplost. Het is een systeem dat een forklift slim en spraakzaam maakt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Oren" en "Ogen" van de Robot (Het Brein)

Stel je voor dat de forklift een zeer slimme assistent heeft die niet alleen kijkt, maar ook luistert.

• Het gesprek: In plaats van ingewikkelde codes in te tikken, zegt een mens gewoon: "Pak die pallet met de betonnen blokken erop, die links van de vrachtwagen."
• De vertaling: Het systeem (gebaseerd op geavanceerde AI-modellen) vertaalt deze zin direct naar een visuele zoekopdracht. Het is alsof de robot een bril opzet die precies weet waar hij moet kijken, gebaseerd op wat je zegt.
• De zoektocht: Het systeem scant de omgeving en zoekt niet naar "een pallet" (want er zijn er honderden), maar naar "die specifieke pallet met die specifieke lading". Het is als het vinden van een naald in een hooiberg, maar dan met een magneet die precies weet hoe die naald eruitziet.

2. Van "Ik zie het" naar "Ik pak het" (De Handeling)

Zodra de robot de juiste pallet heeft gevonden, moet hij weten hoe hij hem moet vastpakken.

• De 3D-ruimte: De robot berekent niet alleen waar de pallet is, maar ook hoe hij ligt. Is hij schuin? Hoe diep moet de vork erin?
• De "Symmetrie-probleem": Pallets zijn vaak symmetrisch (ze zien er van twee kanten hetzelfde uit). De robot moet weten welke kant "voor" is. Het systeem lost dit op door een slimme wiskundige truc toe te passen, alsof de robot even nadenkt: "Als ik hierheen ga, past de vork perfect; als ik daarheen ga, botst ik."
• De precisie: De robot berekent de perfecte hoek en afstand, zodat de vorken soepel in de gaten van de pallet glijden, net als het invoegen van een sleutel in een slot.

3. De "Oefening" (De Tests)

De onderzoekers hebben dit systeem getest op een echte forklift (de ADAPT) in de buitenlucht. Ze hebben het getest in:

• Zonnige dagen (helder zicht).
• Sneeuw (witte chaos).
• Donkere momenten (slechte verlichting).
• Verborgen pallets (waar andere objecten voor staan).

De resultaten?
Het systeem werkt verrassend goed. In de beste scenario's slaagt het in meer dan 60% van de gevallen om de pallet precies te vinden en te grijpen, zelfs als de instructies complex zijn. Het is alsof je een nieuwe werknemer hebt die na één uitleg al direct de juiste lading kan vinden, zonder dat je hem eerst maanden moet trainen.

Waarom is dit belangrijk?

Vroeger moest je een robot programmeren voor elke mogelijke situatie. Als er een nieuwe vracht kwam, moest je de software herschrijven.
Met Lang2Lift kun je gewoon praten met de machine.

• "Haal die houten kist."
• "Neem de pallet met de rode doos."

Het maakt de robot flexibeler, veiliger en makkelijker te gebruiken voor mensen die geen programmeurs zijn. Het is een stap in de richting van robots die echt meedoen aan het dagelijkse werk op de bouwplaats of in het magazijn, in plaats van alleen maar in een strakke fabriekshal te draaien.

Kortom: Lang2Lift is de vertaler tussen menselijke taal en robotische precisie, waardoor forklifts buiten kunnen werken alsof ze een ervaren chauffeur hebben die perfect kan zien en horen.

Technische samenvatting

Probleemstelling

De automatisering van palletbehandeling in ongestructureerde buitenomgevingen (zoals logistieke centra en bouwplaatsen) blijft een grote uitdaging. Bestaande systemen zijn vaak star en afhankelijk van vooraf geprogrammeerde instructies, wat hun aanpassingsvermogen beperkt bij nieuwe pallettypes, onverwachte oriëntaties of rommelige scènes.

• Beperkingen huidige systemen: Ze kunnen niet flexibel reageren op contextuele instructies (bijv. "pak de pallet met de betonnen blokken links"). Ze vereisen vaak uitgebreide herprogrammering bij veranderingen in de omgeving.
• Uitdaging: Er is behoefte aan systemen die natuurlijke taal kunnen interpreteren om specifieke pallets te selecteren uit een mengeling van ladingen, onder wisselende omgevingscondities (licht, weer, obstructies).

Methodologie: Het Lang2Lift Framework

Lang2Lift is een end-to-end systeem dat natuurlijke taalinstructies omzet in autonome palletophaalmoves. Het systeem is gebaseerd op een gesloten lus van perceptie, planning en besturing, en maakt gebruik van "foundation models" (basismodellen) zonder dat er specifiek getrainde data nodig is voor de perceptie.

1. Perceptiepijplijn (Vision-Language Models)
De perceptie werkt in drie fasen:

• Taalgebaseerde Segmentatie:
  • Een semantische parser vertaalt vrije taalopdrachten (bijv. "pallet met houten kisten") naar gestructureerde prompts.
  • Florence-2 (een Vision-Language Foundation Model) wordt gebruikt voor objectdetectie op basis van deze prompts ("referring-expression detection"). Dit stelt het systeem in staat om open-vocabulary detectie uit te voeren zonder vooraf getrainde datasets.
  • SAM-2 (Segment Anything Model 2): Voor elke gedetecteerde bounding box genereert SAM-2 een pixel-nauwkeurige segmentatiemaske. Dit is cruciaal voor de precisie die nodig is voor de volgende stap.
• 6D Pose Schatting en Geometrische Verfijning:
  • FoundationPose wordt ingezet om de 6D pose (positie en oriëntatie) van de pallet te schatten, gebruikmakend van RGB-D data en de gegenereerde maskers.
  • Symmetrie-oplossing: Omdat pallets vaak symmetrisch zijn, levert de pose-schatting twee mogelijke oriëntaties op. Het systeem voert een geometrische verfijning uit om de juiste invoeroriëntatie voor de vorkheftruck te bepalen (op basis van de camera-positie en de pallet-as).
  • De uiteindelijke pose wordt getransformeerd naar het referentiekader van de vorkheftruck voor optimale vorkinvoering.
• Temporele Tracking: Een probabilistisch framework (gebaseerd op factor graphs en iSAM2) integreert voertuig-odometrie, GNSS en perceptie-data om de pose van de pallet stabiel te houden tijdens dynamische bewegingen.

2. Planning en Besturing

• Bewegingsplanning: Gebruikt een aangepast Hybrid A*-algoritme voor voertuigen met een scharnierende constructie (articulated vehicles), geschikt voor krappe ruimtes op bouwplaatsen.
• Besturing: Een Lyapunov-gebaseerde regelaar zorgt voor robuuste padvolging, terwijl een gespecialiseerde regeling voor de vorken (met PI(D)-controllers) centimeter-nauwkeurige positionering garandeert voor het invoeren in de palletgaten.

Belangrijkste Bijdragen

1. End-to-End Systeem: Een volledig autonoom voorbeeld van een taalgeleid voorkeursysteem dat is gedemonstreerd op een volledige schaal voorkeursplatform (ADAPT) in echte buitenomgevingen.
2. Praktische Integratie: In plaats van nieuwe algoritmes te bedenken, focust het paper op de engineering-integratie van bestaande foundation models (Florence-2, SAM-2, FoundationPose) in een robuuste industriële pijplijn.
3. Tolerantie-gedreven Evaluatie: De evaluatie koppelt perceptie-accuraatheid direct aan de fysieke haalbaarheid van de manipulatie (bijv. vorkinvoering), in plaats van alleen abstracte meetpunten te gebruiken.
4. Analyse van Real-World Beperkingen: Het biedt inzicht in timing, faalmodi en de afwegingen bij het implementeren van taalgeleide perceptie in industriële systemen.

Resultaten

Het systeem werd getest op een dataset van 129 afbeeldingen met 387 prompt-afbeeldingsparen onder diverse condities (zon, sneeuw, weinig licht, obstructie).

• Segmentatieprestaties:
  • De beste configuratie (Florence-2 + SAM-2) bereikte een gemiddelde IoU (Intersection over Union) van 0,587 en een succesrate (SR) van 60,47% bij een IoU-threshold van 0,5.
  • In omstandigheden met weinig licht presteerde het systeem zelfs beter (IoU 0,805), wat aantoont dat taalcontext helpt bij het onderscheiden van objecten wanneer visuele cues zwak zijn.
  • Ablatiestudies toonden aan dat het gebruik van SAM-2 voor maskerverfijning essentieel is; zonder dit daalde de succesrate voor strikte overlap (IoU ≥ 0,75) drastisch naar 8,53%.
• Pose Schatting:
  • De pose-schatting voldoet aan de operationele toleranties voor succesvolle vorkinvoering: laterale nauwkeurigheid binnen ±0,05m en verticale ruimte binnen ±0,04m.
  • De nauwkeurigheid neemt af naarmate de afstand toeneemt, maar dynamische aanpassingen tijdens de nadering compenseren dit grotendeels.
• Tijdsanalyse:
  • De volledige perceptiecyclus (van taal naar pose) duurt ongeveer 1,05 seconden.
  • De totale cyclus inclusief planning duurt 1,45 seconden. Voor een voorkeursvoertuig dat langzaam beweegt, is dit voldoende voor veilige bediening.

Betekenis en Conclusie

Lang2Lift bewijst dat foundation models succesvol kunnen worden geïntegreerd in industriële automatiseringssystemen voor ongestructureerde buitenomgevingen.

• Flexibiliteit: Het stelt operators in staat om intuïtieve, natuurlijke taalcommando's te gebruiken in plaats van technische programmering, wat de drempel voor automatisering verlaagt.
• Robuustheid: Het systeem toont aan dat taalgeleide perceptie kan werken onder uitdagende weersomstandigheden en bij complexe ladingen, mits gekoppeld aan strikte geometrische verfijning en tolerantiebewuste besturing.
• Toekomstperspectief: Hoewel het systeem succesvol is, blijven uitdagingen bestaan bij volledige obstructie, grammaticale nuances in taalopdrachten en beeldkwaliteit. De studie biedt een blauwdruk voor de toekomstige ontwikkeling van taalgeleide robotsystemen in de logistiek en bouw, met een focus op systeemintegratie en operationele veiligheid boven puur algoritmische innovatie.