Hybrid LLM-based Intelligent Framework for Robot Task Scheduling

기술 요약: 로봇 작업 스케줄링을 위한 하이브리드 LLM 기반 지능형 프레임워크

문제 제기
건설 산업은 다양한 수준의 숙련도를 가진 인력, 역동적인 현장 조건, 그리고 전통적인 소프트웨어 도구의 한계로 인해 작업 스케줄링 및 자원 할당에서 상당한 도전에 직면해 있습니다. 기존의 스케줄링 방법은 사전 정의된 작업 설명과 전문 도구에 의존하며, 전례 없는 변화에 적응하거나 건설 전문가의 자연어 지시를 해석할 유연성이 부족합니다. 대규모 언어 모델 (LLM) 은 자연어 상호작용과 논리적 추론에 잠재력을 제공하지만, 수학적 정밀도, 제약 조건 충족, 그리고 논리적 제약 (예: 배터리 소모, 선행 규칙) 에 기반한 미래 상태 예측에 있어서는 종종 어려움을 겪습니다. 또한, 기존 연구는 다중 로봇 건설 시나리오에서 표준화된 지표를 사용하여 정확도를 벤치마크하기 위해 생성형 LLM 과 감시형 LLM 을 결합한 하이브리드 파이프라인을 충분히 평가하지 못했습니다.

방법론
저자들은 로봇 작업 스케줄을 생성하고 검증하기 위해 2 에이전트 아키텍처를 활용하는 하이브리드 LLM 기반 프레임워크를 제안합니다. 이 시스템은 4 단계 파이프라인을 통해 작동합니다:

1. 시스템 개요 및 컨텍스트 기반화: 시스템은 영어 지시사항과 현장 컨텍스트 (지도, 로봇 명단, API 스키마) 를 입력받습니다. 이는 모호성을 줄이기 위해 개체 (위치, 로봇 ID) 를 표준화합니다.
2. 1 단계: 생성기 (계획 합성): 생성기 에이전트 (GPT-4) 는 시나리오 컨텍스트, 퓨샷 (few-shot) 예시, 명시적 스키마 불변식을 포함한 구조화된 코드 유사 프롬프트를 받습니다. 이는 API 수준의 명령 시퀀스로 구성된 예비 스케줄 ($\tilde{\pi}$) 을 생성합니다.
3. 2 단계: 감시기 (제약 조건 확인): 감시기 에이전트 (Gemma 3, LLaMA 4, 또는 Mistral 7B) 는 다섯 가지 범주의 제약 조건에 대해 예비 계획을 독립적으로 검증합니다:
   • 선행 관계: 작업이 방향성 비순환 그래프 (DAG) 순서를 따르도록 보장합니다.
   • 역량/연합: 로봇이 필요한 기술을 보유하고 있는지 확인하거나 복잡한 작업을 위해 최소 연합을 형성합니다.
   • 용량/자원: 적재 한계와 자재 수를 확인합니다.
   • 배터리/운동학: 배터리 수준이 음수가 되지 않고 이동이 물리적으로 실현 가능하도록 보장합니다.
   • 스키마/고유성: 명령 형식을 확인하고 중복을 방지합니다.
4. 3 단계: 감시 수리 루프: 위반이 감지되면 감시기는 "최소 편집 투영"을 수행하여 모든 제약 조건을 충족하면서 편집 거리 (재순서화, 치환, 연합 재할당) 를 최소화하는 수정된 계획 ($\hat{\pi}$) 을 제안합니다. 이 루프는 제한된 횟수 ($T=3$) 까지 반복됩니다.
5. 4 단계: 최종화: 검증된 스케줄은 로봇 미들웨어가 실행할 수 있도록 API 준비 형식으로 출력됩니다.

이 프레임워크는 제약 조건 집합 $\Phi$를 만족하는 실현 가능한 명령 시퀀스 $\hat{\pi} \in \mathcal{P}$를 찾는 문제로 모델링되며, 여기서 감시기는 실현 불가능한 초안을 가장 가까운 실현 가능한 계획으로 매핑하는 투영 연산자 역할을 합니다.

주요 기여

• 하이브리드 생성기 - 감시기 아키텍처: 이 논문은 GPT-4 를 생성기로, 할루시네이션과 논리적 오류를 수정하기 위해 Gemma 3, LLaMA 4, Mistral 7B 와 같은 더 작고 전문화된 LLM 을 감시기로 결합하는 새로운 파이프라인을 소개합니다.
• 제약 조건 인식 스케줄링: 기존 규칙 기반 스케줄러 (예: FCFS) 나 단일 패스 LLM 과 달리, 이 프레임워크는 배터리 수명, 연합 형성, 공간적 안전을 포함한 복잡한 제약 조건을 명시적으로 강제합니다.
• 표준화된 평가: 본 연구는 텍스트 기반 지표 (BLEU, ROUGE, METEOR) 와 계획 기반 지표 (실현 가능성률, 편집 거리, 메이크스팬) 를 모두 사용하여 LLM 기반 작업 스케줄링에 대한 벤치마크를 제공합니다.
• 최소 편집 수정 전략: 이 연구는 완전한 계획 재생성이 아닌 국소적이고 최소한의 편집을 통해 높은 실현 가능성을 달성할 수 있음을 보여주며, 이는 생성기의 원래 의도를 보존합니다.

실험 결과
이 프레임워크는 두 가지 시뮬레이션 건설 작업에 대해 평가되었습니다:

1. 배터리 제약 벽면 조립: 단일 로봇이 배터리 수명을 관리하면서 벽을 쌓아야 합니다.
   • 결과: 생성기 전용 접근 방식은 종종 배터리 제약 조건을 위반했습니다. 모든 하이브리드 구성 (GPT-4 + Gemma/LLaMA/Mistral) 은 실현 가능성률 (FR) 1.0을 달성했습니다.
   • 수정 스타일: Gemma 3 와 LLaMA 4 는 "외과적" 수정 (예: 단일 충전 단계 삽입 또는 항법 재순서화) 을 수행하여 높은 텍스트 유사성 (BLEU > 0.87) 과 최소 메이크스팬 오버헤드를 달성했습니다. Mistral 7B 는 더 보수적인 접근 방식을 채택하여 중복 충전 단계를 추가했는데, 이는 BLEU 점수를 낮췄지만 실현 가능성을 유지했습니다.
2. 스캔 커버리지 및 경로 실현 가능성: 로봇이 그리드를 스캔하고 시작점으로 돌아와야 합니다.
   • 결과: 생성기는 종종 특정 셀의 커버리지를 놓쳤습니다. 모든 하이브리드 감시기는 **100% 실현 가능 계획률 (FPR)**을 달성했습니다.
   • 수정 스타일: LLaMA 4 는 단일 SCAN 삽입으로 가장 효율적인 수정을 제공하여 가장 높은 BLEU 및 ROUGE 점수를 달성했습니다. Gemma 3 는 짧은 우회로를 필요로 했으며, Mistral 7B 는 견고성을 위해 중복 스캔을 추가했습니다.

의의 및 주장
이 논문은 로봇이 관여하는 건설 운영 작업의 효율성과 유연성을 향상시키기 위해 LLM 의 구현이 중요하다고 주장합니다. 주요 의의는 LLM 의 자연어 이해 능력과 로봇 실행에 필요한 엄격한 제약 조건 사이의 간극을 하이브리드 다중 에이전트 접근 방식이 효과적으로 연결한다는 것을 입증하는 데 있습니다.

저자들은 그들의 프레임워크가 다음과 같다고 주장합니다:

• "단시적" (Myopic) 계획 극복: 생성과 검증을 분리함으로써 단일 패스 LLM 계획에서 흔히 발생하는 논리적 불일치를 피합니다.
• 안전성과 실현 가능성 보장: 감시 에이전트는 신뢰할 수 있는 가드레일 역할을 하여 생성된 계획이 실행 가능하고 안전하도록 보장합니다 (예: 배터리 과방전 없음, 완전한 커버리지).
• 추적 가능성 유지: 수정 사항이 최소적이고 국소적이기 때문에 최종 스케줄은 생성기의 원래 의도에 가깝게 유지되어 인간의 검토와 로봇 미들웨어로의 신뢰할 수 있는 인도를 용이하게 합니다.

이 연구는 현재 GPT-4 + Gemma-3 조합이 높은 텍스트 기반 점수와 신뢰할 수 있는 계획 검증을 균형 있게 유지하는 가장 강력한 기본 구성을 제공한다고 결론지었습니다. 향후 작업은 에이전트의 역할 튜닝과 전문 운송 및 조립 기능을 갖춘 이종 다중 로봇 환경으로의 확장으로 식별됩니다.