iPack: Intuitive Bin Packing with Large Language Models

Resumo Técnico do iPack: Empacotamento Intuitivo com Grandes Modelos de Linguagem

Declaração do Problema
Embora a robótica e a automação tenham avançado significativamente na logística de armazéns, a tarefa específica de empacotar itens diversos (como mantimentos) em caixas permanece subexplorada em comparação ao processo de coleta (bin picking). Os métodos existentes de empacotamento de caixas focam principalmente na otimização da densidade de empacotamento e da estabilidade dos objetos em ambientes controlados, onde as formas dos itens são conhecidas e pré-empacotadas. Em cenários de mundo aberto, como o empacotamento de mantimentos, a ordem de empacotamento é crítica para a integridade do produto (por exemplo, evitar que itens pesados esmagem itens frágeis ou manter produtos congelados longe de itens sensíveis à umidade). Definir regras explícitas para essas restrições é difícil devido à vasta variedade de objetos e à necessidade de raciocínio semântico. As abordagens atuais geralmente exigem a especificação manual de regras ou treinamento em conjuntos de dados específicos, o que limita sua adaptabilidade a novos itens ou cenários de vocabulário aberto.

Metodologia
O artigo apresenta o iPack, um novo framework que combina Modelos de Linguagem de Visão (VLMs), Modelos de Linguagem de Grande Escala (LLMs) e Programação Linear Inteira Mista (MILP) para automatizar o empacotamento de caixas com restrições semânticas semelhantes às humanas. O sistema opera em três etapas distintas:

1. Etapa de Percepção:

   • O sistema utiliza o GroundingDINO para detectar objetos em uma cena RGB-D e o SAM 2 para gerar máscaras de segmentação.
   • Para filtrar distratores (como a caixa ou o gripper do robô) e refinar a seleção de objetos, um VLM é estimulado com numeração visual para identificar os itens de mantimentos.
   • O VLM estima as propriedades do objeto (peso, tamanho, pose). Para itens padronizados, ele utiliza uma busca agêntica na internet para recuperar dimensões precisas; para itens não padronizados (ex: produtos frescos), baseia-se na aparência visual.
   • O rastreamento de objetos é mantido usando o algoritmo de Hungarian, combinando a Interseção sobre União (IoU) das máscaras e a distância do centroide.

2. Etapa de Planejamento:

   • Um LLM é consultado para gerar um conjunto de pares críticos de itens ($F$) que representam "restrições de integridade do produto" (ex: "O item $j$ não pode ser colocado sobre o item $i$").
   • Essas restrições, juntamente com regras de evitar contato (ex: itens congelados não tocando o pão), são integradas a um framework de Programação Linear Inteira Mista (MILP) (resolvido via PySCIPOpt).
   • O otimizador calcula um esquema de empacotamento espacialmente otimizado que minimiza o volume do recipiente (selecionando a menor caixa adequada de um conjunto) enquanto satisfaz as restrições de não sobreposição e integridade.
   • Para garantir a viabilidade robótica, o planejador incorpora restrições de manipulação: ele restringe as orientações dos objetos a poses estáveis, aplica preenchimento de colisão (collision padding de 5mm) para as dimensões do gripper e ruído de percepção, e minimiza a soma das posições verticais ($z$) para garantir uma pilha estável.

3. Etapa de Execução:

   • Um manipulador robótico executa o plano realizando a coleta e o posicionamento dos itens em ordem ascendente de suas posições $z$ (de baixo para cima).
   • A pose de preensão (grasp pose) é construída usando Análise de Componentes Principais (PCA) nas máscaras de segmentação projetadas no nuvem de pontos. A direção de abordagem é vertical, e o gripper se alinha com a menor componente principal da máscara.
   • O sistema utiliza um planejador de movimento RRT padrão para as operações de coleta e posicionamento (pick-and-place).

Principais Contribuições

1. Empacotamento de Vocabulário Aberto: Uma abordagem inovadora que otimiza o espaço de empacotamento sob restrições de integridade de produtos geradas dinamicamente, sem a necessidade de retreinamento para novas classes de itens.
2. Pontuação de Consistência de Empacotamento ($C$): Uma nova métrica baseada em dados de preferências humanas para avaliar o quão bem um esquema de empacotamento adere a regras de empilhamento humanas. Esta métrica foi derivada de um levantamento web envolvendo 84 participantes e 14 classes de objetos.
3. Avaliação Abrangente: Validação extensa tanto em simulação quanto em um robô real (Franka Research 3), demonstrando a capacidade do sistema de lidar com diversos itens de mantimentos e selecionar tamanhos de contêiner ideais.
4. Código Aberto: Liberação do código-fonte, da pilha de manipulação e do conjunto de dados de avaliação para facilitar a integração em cenários personalizados.

Resultados Experimentais

• Sensibilidade do VLM: Os autores avaliaram quatro VLMs (GPT-5, GPT-5-mini, Claude Sonnet 4.5, Gemini 3 Flash) para geração de restrições. O GPT-5 apresentou a melhor Pontuação de Consistência de Empacotamento ($C=0,2$), indicando o maior alinhamento com as preferências humanas, enquanto o Claude Sonnet 4.5 alcançou a maior densidade de empacotamento, porém com uma pontuação de violação mais alta ($C=1,6$).
• Comparação com Baselines: Comparado a métodos offline (Elhedhli et al., Dube et al.) e um método online (GOPT), o iPack alcançou o menor número de restrições violadas ($C=0,2$) e uma alta densidade de empacotamento ($0,445$). A versão vanilla do iPack (sem restrições de integridade) alcançou maior densidade ($0,478$), mas significativamente mais violações ($C=2,4$), destacando o trade-off entre densidade e segurança do produto.
• Desempenho no Mundo Real: Em experimentos de ponta a ponta com 6 a 12 itens, o sistema alcançou uma taxa de sucesso de manipulação de 92,6%. As falhas foram atribuídas ao ruído RGB-D afetando a estimativa de preensão, colisões do gripper com as paredes do contêiner e imprecisões de posicionamento levando a colisões subsequentes. A Pontuação de Consistência de Empacotamento aumentou com o número de itens, o que é consistente com a complexidade do problema de planejamento.

Significância e Alegações
O artigo afirma que o iPack preenche a lacuna entre o empacotamento de caixas tradicional, focado em densidade, e os requisitos semânticos da logística do mundo real. Ao aproveitar o conhecimento de senso comum de modelos LLM e VLM pré-treinados, o sistema pode lidar com objetos arbitrários sem especificação manual de regras ou coleta de dados de treinamento. Os autores enfatizam que sua abordagem é zero-shot e de vocabulário aberto, tornando-a adaptável a vários domínios de empacotamento e preferências do usuário. Embora reconheçam limitações na robustez da manipulação (ex: deslizamento, colisões com paredes), o trabalho demonstra que restrições semânticas podem ser integradas com sucesso em frameworks de otimização para preservar a integridade do produto no empacotamento automatizado de mantimentos. Sugere-se como trabalho futuro a incorporação de modelos de visão-linguagem-ação para lidar com comportamentos ricos em contato, como o ato de empurrar para correção de erros.