IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models

1. 문제 정의 (Problem Statement)

현대 산업 생산 환경에서는 복잡한 제조 작업을 완수하기 위해 여러 대의 로봇이 협력해야 합니다. 최근 대규모 언어 모델 (LLM) 은 추론 능력을 바탕으로 로봇 제어에 적용되고 있으나, 산업 현장의 특수성으로 인해 다음과 같은 한계가 존재합니다.

• 엄격한 순서 제약 및 복잡한 의존성: 가정용 로봇 작업과 달리, 산업 공정은 표준화된 조작 (Transport, Polishing, Welding 등) 으로 구성되며, 기계와 로봇 간의 상호 배타적 접근 (Mutual-exclusion) 으로 인해 작업 간 순서와 의존성이 매우 엄격하고 복잡합니다.
• LLM 의 한계: LLM 만으로 이러한 복잡한 자원 충돌과 최적의 스케줄링을 직접 추론하는 것은 비현실적이며, 실행 가능한 계획을 보장하기 어렵습니다.
• 프로그램 생성의 실패: 기존 Few-shot 프롬프팅 방식은 특정 예제에 과적합 (Overfitting) 되어 실제 실행 환경 (생산 라인별 차이) 과 맞지 않는 코드를 생성하거나, 중요한 공정 단계를 누락시키는 문제가 있습니다.

2. 제안 방법론: IMR-LLM

저자들은 LLM 의 추론 능력과 결정론적 (Deterministic) 알고리즘을 결합한 IMR-LLM 프레임워크를 제안합니다. 이 프레임워크는 크게 세 단계로 구성됩니다.

A. 작업 계획 (Task Planning)

• 이산 그래프 (Disjunctive Graph) 구축: 자연어 명령어와 장면 정보를 LLM 을 통해 분석하여 작업 분해 (Decomposition), 로봇 할당 (Allocation), 작업 간 순서 (Scheduling) 를 도출합니다. 이때 LLM 은 복잡한 자원 충돌을 직접 해결하는 대신, 작업 내 순서와 의존성만 추론하여 이산 그래프를 구성하는 데 활용합니다.
• 결정론적 솔버 활용: 구축된 이산 그래프는 LLM 이 아닌, 기존에 검증된 휴리스틱 알고리즘 (FIFO 등) 을 사용하여 해를 구합니다. 이를 통해 자원 충돌을 피하고 최적의 실행 순서 (Scheduling Graph) 를 보장합니다.
• 장점: LLM 의 추론 부담을 줄이고, 산업 현장에서 필수적인 계획의 설명 가능성 (Explainability) 과 정확성을 확보합니다.

B. 프로그램 생성 (Program Generation)

• 프로세스 트리 (Process Tree) 도입: 기존 방식처럼 구체적인 예제 코드를 프롬프트에 넣는 대신, 모든 작업 유형을 포괄하는 계층적 프로세스 트리를 구성합니다.
• 트리 기반 코드 생성: LLM 은 주어진 장면과 작업에 맞춰 트리 내에서 적절한 실행 경로를 선택하고, 해당 경로의 노드들에 포함된 코드 스니펫 (Snippet) 을 조합하여 실행 가능한 Python 코드를 생성합니다.
• 장점: 환경별 변이 (예: 카메라 위치 차이) 를 트리 분기로 명확히 처리하며, 공통 공정의 코드 재사용을 통해 생성된 프로그램의 실행 가능성 (Executability) 과 완전성을 극대화합니다.

C. 실행 (Execution)

• 생성된 고수준 계획 (High-level Plan) 과 저수준 실행 프로그램 (Low-level Program) 을 기반으로 로봇이 시뮬레이션 또는 실제 환경에서 작업을 수행합니다.

3. 주요 기여 (Key Contributions)

1. IMR-LLM 프레임워크 개발: 산업용 다중 로봇 작업을 위해 LLM 과 휴리스틱 솔버 (이산 그래프 기반) 를 통합하고, 프로세스 트리를 활용한 프로그램 생성 방식을 제안했습니다.
2. IMR-Bench 벤치마크 구축: 실제 산업 환경을 기반으로 한 새로운 평가 데이터셋을 개발했습니다. 이는 3 가지 난이도 (단일 로봇, 단순 다중 로봇, 복잡 다중 로봇) 와 다양한 작업 유형을 포함하며, 정밀한 평가 지표를 제공합니다.
3. 광범위한 실험 및 검증: 시뮬레이션 환경과 실제 로봇 실험을 통해 제안된 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

IMR-Bench를 기반으로 기존 방법론 (SMART-LLM, LaMMA, LiP-LLM 등) 과 비교 평가한 결과는 다음과 같습니다.

• 성능 우위: 모든 평가 지표 (작업 일관성, 스케줄링 효율성, 실행 가능성, 목표 조건 회수율, 성공률) 에서 기존 최첨단 방법론들을 압도적으로 능가했습니다.
  • 특히 복잡한 다중 로봇 작업에서 기존 LLM 기반 방법론들은 자원 충돌로 인해 실패율이 높았으나, IMR-LLM 은 이산 그래프 솔버를 통해 높은 성공률 (Success Rate) 을 기록했습니다.
• Ablation Study (성분 분석):
  • 이산 그래프를 사용하지 않고 LLM 으로만 스케줄링을 결정할 경우, 복잡한 작업에서 실행 가능한 계획 수립이 불가능해졌습니다.
  • 프로세스 트리를 사용하지 않고 예제 기반 프롬프팅을 사용할 경우, 생성된 코드의 실행 가능성과 목표 달성률이 크게 저하되었습니다.
• 실제 환경 적용: 3 대의 로봇 팔이 협력하여 작업물을 컨베이어 벨트에 배치하는 실제 실험에서 계획과 코드가 정확하게 실행됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 산업 자동화의 새로운 패러다임: LLM 의 유연한 추론 능력과 전통적인 최적화 알고리즘의 견고함을 결합하여, 산업 현장의 엄격한 제약 조건 하에서도 신뢰할 수 있는 로봇 제어를 가능하게 했습니다.
• 확장성과 재사용성: 프로세스 트리 구조를 통해 새로운 작업 유형이나 환경 변화에 유연하게 대응할 수 있으며, 코드 생성의 모듈화를 달성했습니다.
• 향후 과제: 향후 실행 피드백 (Execution Feedback) 을 시스템에 통합하여 폐쇄 루프 (Closed-loop) 시스템을 구축함으로써 더욱 견고한 로봇 제어를 목표로 합니다.

이 논문은 LLM 이 단순한 대화나 가정용 작업을 넘어, 고도의 제약이 있는 산업 현장의 다중 로봇 협업에서도 실용적으로 적용될 수 있음을 입증한 중요한 연구로 평가됩니다.