iPack: Intuitive Bin Packing with Large Language Models

iPack 기술 요약: 대규모 언어 모델을 이용한 직관적인 빈 패킹(Bin Packing)

문제 정의
로보틱스와 자동화 기술이 물류 창고 분야에서 크게 발전했음에도 불구하고, 다양한 품목(예: 식료품)을 빈(bin)에 담는 특정 작업인 빈 패킹(bin packing)은 빈 피킹(bin picking)에 비해 상대적으로 미개척 영역으로 남아 있습니다. 기존의 빈 패킹 방식은 주로 아이템의 형태가 알려져 있고 사전 포장된 제어된 환경 내에서 패킹 밀도와 객체의 안정성을 최적화하는 데 집중합니다. 그러나 식료품 포장과 같은 오픈 월드 시나리오에서는 제품의 무결성(예: 무거운 물건이 부서지기 쉬운 물건을 짓누르는 것을 방지하거나, 냉동 제품을 습기에 민가한 제품과 격리하는 것 등)을 위해 패킹 순서가 매우 중요합니다. 이러한 제약 조건을 명시적인 규칙으로 정의하는 것은 매우 어려운데, 이는 객체의 종류가 매우 다양하고 의미론적 추론이 필요하기 때문입니다. 현재의 접근 방식은 종종 수동적인 규칙 지정이나 특정 데이터셋에 대한 학습을 요구하며, 이는 새로운 아이템이나 오픈 보캐블러리(open-vocabulary) 시나리오에 대한 적응성을 제한합니다.

방법론
본 논문은 인간과 유사한 의미론적 제약 조건을 적용하여 빈 패킹을 자동화하기 위해 시각 언어 모델(VLM), 대규모 언어 모델(LLM), 그리고 혼합 정수 선형 계획법(MILP)을 결합한 새로운 프레임워크인 iPack를 소개합니다. 이 시스템은 세 가지 뚜렷한 단계로 작동합니다:

1. 인지 단계 (Perception Step):

   • 시스템은 GroundingDINO를 사용하여 RGB-D 장면에서 객체를 탐지하고, SAM 2를 사용하여 세그멘테이션 마스크를 생성합니다.
   • 방해 요소(예: 박스 또는 로봇 그리퍼)를 필터링하고 객체 선택을 정교화하기 위해, 시각적 번호 매기기(visual numbering)를 포함한 VLM 프롬프트를 사용하여 식료품 아이템을 식별합니다.
   • VLM은 객체의 속성(무게, 크기, 포즈)을 추정합니다. 표준화된 아이템의 경우, 에이전트 기반 인터넷 검색을 활용하여 정확한 치수를 검색하며, 비표준 아이템(예: 농산물)의 경우 시각적 외형에 의존합니다.
   • 객체 추적은 마스크 IoU(Intersection over Union)와 중심점 거리를 결합한 헝가리안 알고리즘(Hungarian algorithm)을 통해 유지됩니다.

2. 계획 단계 (Planning Step):

   • LLM에 질의하여 "제품 무결성 제약 조건"(예: "아이템 $j$는 아이템 $i$ 위에 놓일 수 없다")을 나타내는 핵심 아이템 쌍($F$)의 집합을 생성합니다.
   • 이러한 제약 조건은 접촉 회피 규칙(예: 냉동 식품이 빵에 닿지 않도록 함)과 함께 혼합 정수 선형 계획법(MILP) 프레임워크(PySCIPOpt를 통해 해결)에 통합됩니다.
   • 최적화 도구는 비중첩(non-overlap) 및 무결성 제약 조건을 준수하면서 컨테이너 부피를 최소화하는(주어진 세트 중 가장 적합한 작은 상자를 선택) 공간적으로 최적화된 패킹 스킴을 계산합니다.
   • 로봇의 실행 가능성을 보장하기 위해, 플래너는 조작 제약 조건을 포함합니다: 객체의 방향을 안정적인 포즈로 제한하고, 그리퍼 치수 및 인지 노이즈를 고려한 충돌 여유 공간(5mm)을 적용하며, 안정적인 적재를 위해 수직($z$) 위치의 합을 최소화합니다.

3. 실행 단계 (Execution Step):

   • 로봇 매니퓰레이터는 $z$ 위치의 오름차순(하단에서 상단으로)에 따라 아이템을 집어서 배치함으로써 계획을 실행합니다.
   • 그립 포즈(grasp pose)는 세그멘테이션 마스크를 포인트 클라우드에 투영한 주성분 분석(PCA)을 사용하여 구축됩니다. 접근 방향은 수직이며, 그리퍼는 마스크의 작은 주성분에 맞춰 정렬됩니다.
     고전적인 RRT 모션 플래너를 사용하여 pick-and-place 작업을 수행합니다.

주요 기여

1. 오픈 보캐블러리 패킹: 새로운 아이템 클래스에 대한 재학습 없이 동적으로 생성된 제품 무결성 제약 조건 하에서 패킹 공간을 최적화하는 새로운 접근 방식을 제시합니다.
2. 패킹 일관성 점수 ($C$): 패킹 스킴이 인간의 스태킹 규칙을 얼마나 잘 준수하는지 평가하기 위한 새로운 데이터 기반 지표입니다. 이 지표는 84명의 참가자와 14개의 객체 클래스를 대상으로 한 웹 기반 설문 조사를 통해 도출되었습니다.
3. 포괄적인 평가: 시뮬레이션과 실제 로봇(Franka Research 3) 모두에서의 광범위한 검증을 통해, 다양한 식료품 아이템을 처리하고 최적의 컨테이너 크기를 선택하는 시스템의 능력을 입증했습니다.
4. 오픈 소스: 커스텀 시나리오로의 통합을 용이하게 하기 위해 소스 코드, 조작 스택 및 평가 데이터셋을 공개합니다.

실험 결과

• VLM 민감도: 저자들은 제약 조건 생성을 위해 네 가지 VLM(GPT-5, GPT-5-mini, Claude Sonnet 4.5, Gemini 3 Flash)을 평가했습니다. GPT-5가 가장 우수한 패킹 일관성 점수($C=0.2$)를 기록하여 인간의 선호도와 가장 유사함을 보여주었으며, Claude Sonnet 4.5는 가장 높은 패킹 밀도를 달로 달성했으나 더 높은 위반 점수($C=1.6$)를 보였습니다.
• 베이스라인 비교: 오프라인 방식(Elhedhli et al., Dube et al.) 및 온라인 방식(GOPT)과 비교했을 때, iPack은 가장 낮은 제약 위반 횟수($C=0.2$)와 높은 패킹 밀도($0.445$)를 달성했습니다. 제약 조건이 없는 기본 버전의 iPack은 더 높은 밀도($0.478$)를 달성했지만 위반 횟수가 훨씬 많았습니다($C=2.4$). 이는 밀도와 제품 안전성 사이의 트레이드오프를 강조합니다.
• 실제 성능: 6개에서 12개의 아이템을 사용하는 엔드 투 엔드 실험에서, 시스템은 92.6%의 조작 성공률을 달았습니다. 실패 원인은 그립 추정에 영향을 주는 RGB-D 노이즈, 컨테이너 벽과의 그리퍼 충돌, 그리고 후속 충돌을 유발하는 배치 부정확성으로 분석되었습니다. 패킹 일관성 점수는 문제의 복잡성에 따라 아이템 수가 증가함에 따라 함께 상승했습니다.

의의 및 주장
본 논문은 iPack이 전통적인 밀도 중심의 빈 패킹과 실제 물류의 의미론적 요구 사항 사이의 간극을 메운다고 주장합니다. 사전 학습된 LLM과 VLM의 상식 지식을 활용함으로써, 시스템은 수동적인 규칙 지정이나 학습 데이터 수집 없이도 임의의 객체를 처리할 수 있습니다. 저자들은 이 방식이 제로샷(zero-shot) 및 오픈 보캐블러리(open-vocabulary) 방식임을 강조하며, 다양한 패킹 도메인과 사용자 선호도에 적응 가능하다는 점을 내세웁니다. 조작의 견고성(예: 미끄러짐, 벽 충돌)에 대한 한계를 인정하면서도, 본 연구는 자동화된 식료품 패킹에서 제품의 무결성을 보존하기 위해 의미론적 제약 조건을 최적화 프레임워크에 성공적으로 통합할 수 있음을 보여줍니다. 향후 연구로는 오류 수정을 위한 푸싱(pushing)과 같은 접촉이 풍부한 동작을 다루기 위해 시각-언어-행동 모델(vision-language-action models)을 통합하는 것이 제안되었습니다.