💻 computer science

iPack: Intuitive Bin Packing with Large Language Models

Cet article introduit LLM-Pack, une approche modulaire novatrice qui exploite des modèles de fondation de langage et de vision pour générer des séquences d'emballage de courses semblables à celles de l'humain sans nécessiter d'entraînement dédié pour de nouveaux articles, répondant ainsi au défi critique de la prévention des dommages aux produits dans l'automatisation de la vente au détail.

Auteurs originaux : Yannik Blei, Michael Krawez, Adrian Göß, Devadas Vijayan Sheela, Tobias Jülg, Pierre Krack, Florian Walter, Wolfram Burgard

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yannik Blei, Michael Krawez, Adrian Göß, Devadas Vijayan Sheela, Tobias Jülg, Pierre Krack, Florian Walter, Wolfram Burgard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous aidez un ami à charger un camion de déménagement. Vous avez un tas d'objets disparates : une poêle en fonte lourde, une boîte de verrerie délicate, un sac de petits pois surgelés et une miche de pain. Si vous les jetez simplement au hasard, le verre se brisera, le pain sera écrasé et les petits pois fondront. Vous avez besoin d'un plan qui respecte la « personnalité » de chaque objet.

C'est exactement le problème que le papier iPack tente de résoudre, mais pour les robots.

Le Problème : Les robots manquent de « bon sens »

Les robots sont excellents pour déplacer des objets dans des usines où tout est un cube parfait. Mais dans le monde réel — comme un supermarché ou une cuisine — les objets sont bizarres. Certains sont lourds, d'autres fragiles, certains sont collants. Les robots traditionnels n'ont pas de « bon sens ». Ils ne savent pas qu'il ne faut pas poser une pastèque lourde sur une boîte d'œufs. Habituellement, pour enseigner cela à un robot, il faut passer des mois à programmer manuellement des règles pour chaque type d'objet, ce qui est impossible car il existe trop de choses dans le monde.

La Solution : iPack (Le robot doté d'un cerveau)

Les auteurs ont créé iPack, un système qui permet à un robot d'emballer des objets intelligemment sans avoir besoin d'être réentraîné pour chaque nouvel objet. Considérez iPack comme un robot possédant deux superpouvoirs : des Yeux et du Bon Sens.

Voici comment cela fonctionne, étape par étape :

1. Les « Yeux » (Perception)

D'abord, le robot regarde la table où les objets sont éparpillés. Il utilise des caméras avancées et l'IA pour identifier chaque objet.

Le tour de magie : Au lieu de simplement voir « une boîte », le robot demande à une IA intelligente (un Modèle de Langage-Vision) d'identifier l'objet. Est-ce une boîte de soupe ? Un paquet de chips ?
La supposition : Le robot doit aussi savoir à quel point les objets sont lourds ou grands. Comme il ne peut pas les peser parfaitement avec une caméra, il utilise l'IA pour « chercher » l'article en ligne (comme consulter une recette ou une fiche produit) afin d'obtenir le poids et la taille standard. S'il s'agit d'un fruit étrange, l'IA devine en fonction de son apparence.

2. Le « Bon Sens » (Planification)

C'est la partie la plus importante. Le robot pose une question à un Modèle de Langage Étendu (LLM) — essentiellement un chatbot super intelligent entraîné sur toute la connaissance humaine — : « Si j'ai ces objets spécifiques, quelle est la façon la plus sûre de les empiler pour que rien ne se casse ? »

L'IA répond avec des règles telles que :

« Ne mettez pas les épinards surgelés à côté du pain (cela rendra le pain détrempé). »
« Placez le bocal lourd au fond. »
« La banane a besoin d'un endroit doux, pas sous la boîte de céréales. »

Le robot prend ensuite ces règles « humaines » et les injecte dans un solveur de casse-tête mathématique (appelé Programmation Linéaire en Nombres Entiers Mixtes). Ce solveur agit comme un maître du Tetris en 3D, calculant l'arrangement parfait qui fait entrer tout le monde dans la boîte tout en respectant toutes les règles de sécurité.

3. Les « Mains » (Exécution)

Une fois que le plan est prêt, le robot ramasse les objets un par un, en partant du bas de la pile et en remontant. Il utilise une pince spéciale et souple (comme une main délicate) qui peut sentir s'il serre trop fort. Il place chaque objet exactement là où les mathématiques lui ont indiqué d'aller.

Pourquoi est-ce spécial ?

Aucun entraînement requis : Vous n'avez pas besoin d'apprendre au robot ce qu'est un « ananas ». Si vous lui montrez un ananas pour la première fois, l'IA sait ce que c'est et comment l'emballer. Il fonctionne avec n'importe quel objet (Open-Vocabulary).
Trouve la bonne boîte : Il ne se contente pas d'emballer une boîte ; il peut regarder un rayon de boîtes de différentes tailles et choisir la plus petite qui contient tout, optimisant ainsi l'espace.
Humain : Les chercheurs ont testé cela en demandant à de vrais humains comment ils emballeraient les objets. Ils ont créé un « Score de Cohérence » pour mesurer à quel point l'emballage du robot correspondait à l'intuition humaine. iPack a obtenu un score très élevé, ce qui signifie qu'il a emballé les choses comme le ferait un humain prudent.

Les Résultats

L'équipe a testé iPack dans une simulation informatique et avec un vrai bras robotique.

Taux de réussite : Le robot a réussi à emballer les objets environ 93 % du temps.
Efficacité : Il a emballé les objets de manière plus dense (plus serrée) que les anciennes méthodes qui ne se souciaient pas des règles de sécurité.
Erreurs : Lorsqu'il échouait, c'était généralement parce que la caméra était un peu floue (faisant manquer la prise au robot) ou que le robot heurtait le côté de la boîte.

En résumé

iPack est un système robotique qui utilise le « cerveau » d'un chatbot pour comprendre ce que sont les objets et comment les traiter, et la « mathématique » d'un solveur de casse-tête pour les arranger parfaitement. Il permet aux robots d'emballer des courses ou des cartons de déménagement avec le même soin et le même bon sens qu'un humain, sans avoir besoin d'être programmé manuellement pour chaque article du magasin.

Résumé technique d'iPack : Un emballage intuitif avec les modèles de langage de grande taille

Énoncé du problème
Bien que la robotique et l'automatisation aient progressé de manière significative dans la logistique d'entrepôt, la tâche spécifique de l'emballage d'articles divers (tels que des produits d'épicerie) dans des bacs reste moins explorée que le prélèvement d'objets (bin picking). Les méthodes existantes de mise en bac se concentrent principalement sur l'optimisation de la densité de l'emballage et de la stabilité des objets dans des environnements contrôlés où les formes des articles sont connues et pré-emballées. Cependant, dans des scénarios en monde ouvert comme l'emballage de produits d'épicerie, l'ordre d'emballage est critique pour l'intégrité des produits (par exemple, empêcher les articles lourds d'écraser les articles fragiles, ou maintenir les produits surgelés à l'écart des articles sensibles à l'humidité). Définir des règles explicites pour ces contraintes est difficile en raison de la grande variété d'objets et de la nécessité d'un raisonnement sémantique. Les approches actuelles nécessitent souvent une spécification manuelle des règles ou un entraînement sur des jeux de données spécifiques, ce qui limite leur adaptabilité à de nouveaux articles ou à des scénarios à vocabulaire ouvert.

Méthodologie
Le document présente iPack, un nouveau cadre qui combine des modèles de langage visuels (VLM), des modèles de langage de grande taille (LLM) et la programmation linéaire en nombres entiers (MILP) pour automatiser l'emballage dans des bacs avec des contraintes sémantiques humaines. Le système fonctionne en trois étapes distinctes :

Étape de perception :
- Le système utilise GroundingDINO pour détecter les objets dans une scène RGB-D et SAM 2 pour générer des masques de segmentation.
- Pour filtrer les éléments perturbateurs (comme la boîte ou la pince du robot) et affiner la sélection des objets, un VLM est sollicité avec une numérotation visuelle pour identifier les articles d'épicerie.
- Le VLM estime les propriétés des objets (poids, taille, pose). Pour les articles standardisés, il exploite une recherche internet agentique pour récupérer des dimensions précises ; pour les articles non standardisés (ex: produits frais), il se repose sur l'apparence visuelle.
- Le suivi des objets est maintenu à l'aide de l'algorithme hongrois, combinant l'intersection sur union (IoU) des masques et la distance des centroïdes.
Étape de planification :
- Un LLM est interrogé pour générer un ensemble de paires d'articles critiques ( $F$ ) représentant les « contraintes d'intégrité des produits » (ex : « l'article $j$ ne peut pas être placé sur l'article $i$ »).
- Ces contraintes, ainsi que les règles d'évitement de contact (ex : les produits surgelés ne doivent pas toucher le pain), sont intégrées dans un cadre de programmation linéaire en nombres entiers mixtes (MILP) (résolu via PySCIPOpt).
- L'optimiseur calcule un schéma d'emballage spatialement optimal qui minimise le volume du contenant (en sélectionnant la plus petite boîte appropriée parmi un ensemble) tout en satisfaisant les contraintes de non-chevauchement et d'intégrité.
- Pour garantir la faisabilité robotique, le planificateur intègre des contraintes de manipulation : il restreint les orientations des objets à des poses stables, applique un rembourrage de collision (5 mm) pour les dimensions de la pince et le bruit de perception, et minimise la somme des positions verticales ( $z$ ) pour assurer un empilement stable.
Étape d'exécution :
- Un manipulateur robotique exécute le plan en prélevant et en déposant les articles par ordre croissant de leurs positions $z$ (du bas vers le haut).
- La pose de saisie est construite à l'aide de l'analyse en composantes principales (PCA) sur les masques de segmentation projetés sur le nuage de points. La direction d'approche est verticale, et la pince s'aligne avec la plus petite composante principale du masque.
- Le système utilise un planificateur de mouvement RRT standard pour les opérations de prise et de dépose.

Contributions clés

Emballage à vocabulaire ouvert : Une nouvelle approche qui optimise l'espace d'emballage sous des contraintes d'intégrité de produit générées dynamiquement sans nécessiter de réentraînement pour de nouvelles classes d'articles.
Score de cohérence d'emballage ( $C$ ) : Un nouveau métrique fondé sur les données et les préférences humaines pour évaluer comment un schéma d'emballage respecte les règles d'empilement humaines. Cette métrique a été dérivée d'une enquête en ligne impliquant 84 participants et 14 classes d'objets.
Évaluation complète : Une validation étendue tant en simulation que sur un robot réel (Franka Research 3), démontrant la capacité du système à gérer divers articles d'épicerie et à sélectionner des tailles de conteneurs optimales.
Open Source : Publication du code source, de la pile de manipulation et du jeu de données d'évaluation pour faciliter l'intégration dans des scénarios personnalisés.

Résultats expérimentaux

Sensibilité des VLM : Les auteurs ont évalué quatre VLM (GPT-5, GPT-5-mini, Claude Sonnet 4.5, Gemini 3 Flash) pour la génération de contraintes. GPT-5 a produit le meilleur score de cohérence d'emballage ( $C=0,2$ ), indiquant l'alignement le plus proche avec les préférences humaines, tandis que Claude Sonnet 4.5 a atteint la densité d'emballage la plus élevée mais avec un score de violation plus élevé ( $C=1,6$ ).
Comparaison avec les bases de référence : Comparé aux méthodes hors ligne (Elhedhli et al., Dube et al.) et à une méthode en ligne (GOPT), iPack a obtenu le plus faible nombre de contraintes violées ( $C=0,2$ ) et une densité d'emballage élevée ($0,445$). La version vanilla d'iPack (sans contraintes d'intégrité) a atteint une densité plus élevée ($0,478$) mais nettement plus de violations ( $C=2,4$ ), soulignant le compromis entre densité et sécurité des produits.
Performance en conditions réelles : Dans des expériences de bout en bout avec 6 à 12 articles, le système a atteint un taux de réussite de manipulation de 92,6 %. Les échecs ont été attribués au bruit RGB-D affectant l'estimation de la saisie, aux collisions de la pince avec les parois du conteneur et aux imprécisions de placement entraînant des collisions en aval. Le score de cohérence d'emballage augmentait avec le nombre d'articles, ce qui est cohérent avec la complexité du problème de planification.

Signification et affirmations
L'article affirme qu'iPack comble le fossé entre l'emballage traditionnel axé sur la densité et les exigences sémantiques de la logistique réelle. En exploitant les connaissances de bon sens des modèles pré-entraînés (LLM et VLM), le système peut gérer des objets arbitraires sans spécification manuelle de règles ni collecte de données d'entraînement. Les auteurs soulignent que leur approche est zero-shot et à vocabulaire ouvert, ce qui la rend adaptable à divers domaines d'emballage et préférences d'utilisateurs. Tout en reconnaissant les limites de la robustesse de la manipulation (ex : glissements, collisions avec les parois), ce travail démontre que les contraintes sémantiques peuvent être intégrées avec succès dans des cadres d'optimisation pour préserver l'intégrité des produits dans l'emballage automatisé de produits d'épicerie. Des travaux futurs sont suggérés pour incorporer des modèles vision-langage-action afin de gérer les comportements riches en contact comme la poussée pour la correction d'erreurs.