Lang2Lift: A Language-Guided Autonomous Forklift System for Outdoor Industrial Pallet Handling

Ce papier présente Lang2Lift, un système de chariot élévateur autonome guidé par le langage conçu pour identifier et saisir des palettes dans des environnements industriels extérieurs non structurés en utilisant des instructions naturelles et une perception visuelle basée sur des modèles fondamentaux.

L'essentiel

Imaginez un grand chantier de construction ou un entrepôt en plein air. Il y a des dizaines de palettes partout : certaines sont pleines de briques, d'autres de bois, certaines sont sous la neige, d'autres cachées derrière un camion. Traditionnellement, un humain doit venir, regarder la scène, décider quelle palette prendre, et la soulever avec un chariot élévateur.

Le papier que nous allons explorer, appelé Lang2Lift, propose une solution révolutionnaire : donner à ce chariot élévateur la capacité de comprendre le langage humain pour travailler seul, sans qu'un programmeur ait besoin de lui dire exactement où se trouve chaque objet à l'avance.

Voici comment cela fonctionne, expliqué simplement avec des images de la vie quotidienne.

1. Le Problème : Le Charriot "Rigide" vs Le Camion "Intelligent"

Aujourd'hui, la plupart des robots sont comme des musiciens qui ne lisent que la partition. Si la partition dit "joue la note Do", ils jouent le Do. Mais si vous leur demandez "joue une note triste", ils ne comprennent pas. Dans les entrepôts, si un robot voit une palette inattendue ou placée bizarrement, il panique ou s'arrête. Il faut tout reprogrammer.

Lang2Lift, c'est comme donner au robot un cerveau humain capable de converser. Au lieu de programmer des coordonnées GPS précises, un opérateur peut simplement dire :

"Ramasse la palette avec les blocs de béton sur le côté gauche, près du camion."

Le robot comprend le sens de la phrase, cherche ce qui correspond à cette description, et agit.

2. Comment le Robot "Voit" et "Comprend" ? (Le Pipeline de Perception)

Pour réaliser cette magie, le système utilise une chaîne de trois étapes, comme un détective qui résout une énigme :

• Étape 1 : L'Interprète (Le Modèle de Langage)
  Imaginez un traducteur très rapide qui écoute votre phrase. Il ne la prend pas mot à mot, mais il en extrait l'essence : "Quoi ?" (une palette), "Où ?" (près du camion), "Quel aspect ?" (avec du béton). Il transforme votre phrase en une "requête visuelle" pour les yeux du robot.

  • Analogie : C'est comme si vous donniez une description à un ami pour qu'il trouve un objet dans une pièce sombre.

• Étape 2 : Les Yeux Magiques (La Vision par Ordinateur)
  Le robot utilise une caméra et deux "super-cerveaux" artificiels (appelés Foundation Models) :

  1. Le Détecteur (Florence-2) : Il regarde l'image et dit : "Ah ! Il y a une palette qui correspond à ta description ici !" Il trace un cadre autour.
  2. Le Peintre (SAM-2) : Le cadre est trop grossier. Le robot a besoin de savoir exactement où sont les bords de la palette pour ne pas la rater. Le "Peintre" découpe la palette pixel par pixel, comme un chirurgien qui sépare parfaitement un fruit de son écorce.
  • Résultat : Le robot sait exactement quelle palette est la bonne, même s'il y a de la neige, de l'ombre ou des objets cachés.

• Étape 3 : Le Géomètre (Estimation de la Position)
  Une fois la palette identifiée, le robot doit savoir comment la prendre. Il ne suffit pas de savoir où elle est, il faut savoir comment elle est tournée.

  • Le défi : Une palette est symétrique. Si vous la regardez de face, vous ne savez pas si les fourches doivent entrer par la gauche ou la droite.
  • La solution : Le système fait un petit calcul géométrique (comme un puzzle 3D) pour déterminer l'angle exact et la distance précise pour glisser les fourches sans toucher le sol ni renverser la charge.

3. La Danse du Charriot (Planification et Contrôle)

Une fois que le robot a la "carte" de la palette, il doit bouger.

• Le Chef d'Orchestre : Un planificateur de trajectoire calcule le chemin le plus sûr. Comme un chauffeur de camion articulé (le charriot a une articulation au milieu), il doit faire des manœuvres complexes pour ne pas heurter les obstacles.
• Le Pilote Automatique : Le système contrôle les roues et les fourches hydrauliques avec une précision au centimètre près. C'est comme si le robot avait des mains très stables pour saisir délicatement un objet fragile.

4. Les Résultats : Ça marche vraiment ?

Les chercheurs ont testé ce système sur un vrai charriot élévateur autonome (la plateforme ADAPT) dans des conditions réelles et difficiles :

• Météo : Soleil, neige, faible luminosité.
• Scènes : Encombrées, avec des palettes vides ou pleines de matériaux lourds.

Les chiffres clés :

• Le système a réussi à identifier la bonne palette dans plus de 60 % des cas les plus difficiles (ce qui est excellent pour un robot en plein air).
• Même si la précision n'est pas parfaite à 100 %, elle est suffisante pour que le charriot puisse insérer ses fourches sans accident.
• Le temps de réaction est d'environ 1,5 seconde par cycle (voir, décider, bouger), ce qui est assez rapide pour un chariot qui avance lentement et prudemment.

5. Les Limites et le Futur

Ce n'est pas encore de la science-fiction parfaite. Le système a quelques faiblesses :

• Le langage : Si l'opérateur dit quelque chose de trop ambigu (ex: "prends celle-là" en pointant du doigt sans contexte), le robot peut se tromper. Il faut des phrases claires.
• L'occlusion totale : Si la palette est complètement cachée derrière un mur, le robot ne peut pas la voir (ce qui est logique !).
• La vitesse : Le système est encore un peu lent pour des environnements ultra-rapides, mais parfait pour des chantiers où la sécurité prime sur la vitesse.

En Résumé

Lang2Lift est un pont entre la façon dont les humains parlent et la façon dont les robots travaillent. Au lieu de programmer un robot avec des milliers de règles rigides ("Si la palette est à 2 mètres, tourne à gauche"), on lui donne la capacité de comprendre le contexte.

C'est comme passer d'un robot-esclave qui suit des ordres aveugles à un robot-ouvrier qui écoute, réfléchit et agit avec vous sur un chantier. C'est une étape majeure vers des usines et des chantiers où les humains et les machines collaborent naturellement, sans barrières techniques.

Résumé technique

1. Problématique

Le maniement autonome de palettes dans des environnements industriels extérieurs (chantiers de construction, logistique) présente des défis majeurs par rapport aux entrepôts contrôlés. Les systèmes actuels souffrent de rigidité : ils reposent sur des programmes préétablis et des configurations de capteurs spécifiques, ce qui les rend peu adaptables aux scènes non structurées, aux variations d'éclairage, aux types de charges variables et aux orientations imprévues des palettes.

Le défi central est de permettre à un chariot élévateur autonome de sélectionner dynamiquement et de manipuler une palette spécifique parmi plusieurs options, en répondant à des instructions en langage naturel (ex: "Ramassez la palette de bois près du mélangeur à béton"). Les méthodes existantes, basées sur des CNN, peinent à généraliser hors des données d'entraînement et ne peuvent pas distinguer les charges sans réapprentissage.

2. Méthodologie : Le Framework Lang2Lift

Lang2Lift est un système de boucle fermée intégrant la perception guidée par le langage, la planification de mouvement et le contrôle. Il est déployé sur la plateforme de chariot élévateur autonome ADAPT.

A. Pipeline de Perception (3 étapes)

1. Segmentation guidée par le langage :
   • Le système interprète les commandes naturelles via un module de parsing sémantique.
   • Il utilise un modèle de fondation Vision-Language (Florence-2) pour la détection d'objets basée sur des expressions de référence (referring expressions).
   • Pour obtenir une précision pixelique nécessaire à la pose, les boîtes englobantes sont affinées par SAM-2 (Segment Anything Model 2) pour générer des masques de segmentation précis.
2. Estimation de pose 6D et raffinement géométrique :
   • Les données RGB-D et les masques sont traités par FoundationPose, un modèle de fondation capable d'estimer la pose 6D (rotation et translation) sans fine-tuning.
   • Gestion de la symétrie : Les palettes étant symétriques, le modèle initial peut produire deux orientations valides. Un processus de raffinement géométrique résout cette ambiguïté en évaluant l'axe local de l'objet par rapport à la caméra et en appliquant une transformation homogène pour aligner le repère sur le point d'insertion optimal des fourches.
3. Suivi temporel :
   • Un suiveur de pose basé sur un graphe de facteurs (utilisant iSAM2) intègre l'odométrie du véhicule, les mesures GNSS et les détections visuelles pour maintenir une estimation robuste à 25 Hz, même lors des mouvements dynamiques.

B. Planification et Contrôle

• Planification de trajectoire : Utilisation d'un algorithme Hybrid A* adapté à la cinématique des véhicules articulés, permettant des manœuvres avant et arrière dans des espaces contraints.
• Contrôle : Une loi de contrôle basée sur Lyapunov assure le suivi de trajectoire, tandis qu'une boucle de contrôle dédiée aux fourches (avec actionneurs hydrauliques) atteint une précision centimétrique pour l'insertion.

3. Contributions Clés

• Système end-to-end : Présentation d'un système complet de chariot élévateur autonome capable de sélectionner des palettes en extérieur via des commandes vocales naturelles.
• Intégration ingénierie : Démonstration pratique de l'intégration de modèles de fondation (sans entraînement spécifique) dans un pipeline d'autonomie industrielle, en mettant l'accent sur la robustesse opérationnelle plutôt que sur la nouveauté algorithmique pure.
• Évaluation basée sur les tolérances : Une évaluation quantitative qui lie directement la précision de la perception et de l'estimation de pose à la faisabilité physique de l'insertion des fourches (tolérances latérales de ±0,05 m et verticales de ±0,04 m).
• Analyse de déploiement : Fourniture d'une analyse détaillée des temps de calcul, des échecs et des compromis de déploiement dans des conditions réelles.

4. Résultats Expérimentaux

Les tests ont été menés sur un ensemble de données extérieur contenant 129 images et 387 paires instruction-image, couvrant diverses conditions (ensoleillé, neige, faible luminosité, occlusion).

• Performance de Segmentation :
  • La configuration optimale (Florence-2 + SAM-2) atteint un mIoU moyen de 0,587 et un taux de réussite (SR) de 52,71% pour un IoU ≥ 0,75.
  • En conditions de faible luminosité, le système performe exceptionnellement bien (mIoU 0,805), démontrant l'utilité des descriptions contextuelles.
  • L'ablation montre que l'utilisation de SAM-2 est cruciale : sans elle, le taux de réussite à IoU ≥ 0,75 chute drastiquement à 8,53%, prouvant que la précision des contours est vitale pour l'estimation de pose.
• Précision de la Pose :
  • L'estimation de pose atteint des précisions suffisantes pour l'insertion des fourches. Les erreurs augmentent avec la distance, mais le suivi temporel permet de maintenir les tolérances opérationnelles lors de l'approche finale.
• Temps de Traitement (Latence) :
  • Le cycle complet de perception (du langage à la pose) prend environ 1,05 seconde.
  • Le cycle complet (perception + planification) prend environ 1,45 seconde.
  • Bien que la détection de pose soit le goulot d'étranglement (0,83 s), la fréquence de suivi (25 Hz) assure une stabilité suffisante pour des opérations à basse vitesse.

5. Signification et Limites

Signification :
Ce travail marque une avancée significative vers l'automatisation flexible des chantiers. Il démontre que les modèles de fondation peuvent être intégrés avec succès dans des systèmes industriels critiques, permettant aux opérateurs humains d'interagir avec des robots via un langage naturel intuitif, réduisant ainsi la nécessité de reprogrammation technique pour chaque nouvelle tâche.

Limites et Défis identifiés :

• Ambiguïté linguistique : Le système est sensible aux variations grammaticales et aux relations spatiales complexes (ex: distinction singulier/pluriel).
• Occlusions et Qualité d'image : Les occlusions complètes et les images de mauvaise qualité entraînent des échecs de segmentation.
• Latence : Le temps de calcul actuel (sur une station de travail de recherche) est élevé pour une intégration embarquée temps réel strict, nécessitant une compression de modèle et une optimisation matérielle pour un déploiement industriel final.

En conclusion, Lang2Lift offre une feuille de route concrète pour l'industrie, prouvant que la perception guidée par le langage est viable pour la manutention extérieure, à condition de coupler ces modèles à des stratégies de contrôle robustes et tolérantes aux incertitudes.