기술 요약: 모바일 엣지 컴퓨팅을 활용한 UAV 지원 물류 스케줄링을 위한 대규모 언어 모델과 사고 연쇄를 갖춘 에이전트 기반 AI 프레임워크

1. 문제 정의

본 논문은 클라우드 제조 (CMfg) 맥락에서 하이브리드 스케줄링 문제를 다룹니다. 핵심 과제는 두 개의 서로 다른 운영 영역이 긴밀하게 결합된 데 있습니다:

1. 물리적 물류: 무인 항공기 (UAV) 는 지리적으로 분산된 제조 스테이션에서 완제품을 수거하여 중앙 창고로 반송해야 합니다.
2. 컴퓨팅 오프로딩: 이러한 스테이션에 있는 산업용 센서 장치 (ISD) 는 품질 검사, 예측 유지보수 등의 계산 작업을 생성하며, 이는 로컬, UAV(모바일 엣지 컴퓨팅 - MEC), 또는 UAV 를 통한 클라우드에서 처리되어야 합니다.

식별된 주요 과제:

• 모델링 복잡성 (과제 I): 이 결합 문제의 수학적 공식화는 전통적인 단일 영역 스케줄링보다 훨씬 복잡합니다. UAV 라우팅 결정이 MEC 서비스 이용 가능 시간을 규정하는 시변 '서비스 윈도우'를 어떻게 생성하는지 포착해야 합니다. 모델은 엄격한 에너지, 용량, 기한 제약 하에서 물류 효율성 (제품 수거) 과 컴퓨팅 자원 할당이라는 상충되는 목표를 동시에 균형 있게 맞춰야 합니다.
• 해법 복잡성 (과제 II): 이 문제는 대규모 NP-하드 조합 최적화 작업입니다. 물류 및 컴퓨팅 결정은 고립적으로 최적화될 수 없습니다. 또한 시스템 조건과 사용자 요구가 진화함에 따라 최적화 지형이 변화하므로, 효율적이고 적응 가능한 해법 방법이 필요합니다.

2. 방법론

저자들은 이러한 과제를 해결하기 위해 두 가지 접근 방식을 제안합니다: 문제 공식화를 위한 에이전트 기반 AI 프레임워크와 문제 해결을 위한 계층적 심층 강화 학습 (DRL) 접근법입니다.

A. 수학적 공식화를 위한 에이전트 기반 AI 프레임워크

복잡한 하이브리드 문제를 수동으로 모델링하는 어려움을 해결하기 위해, 본 논문은 자연어 설명을 해석 가능한 수학적 공식으로 변환하는 에이전트 기반 AI 시스템을 도입합니다. 이 시스템은 다음을 통합합니다:

• 대규모 언어 모델 (LLM): 사용자 입력을 처리하고 추론을 생성합니다.
• 검색 증강 생성 (RAG): 도메인별 모델링 논리, 제약 조건, 그리고 문헌 및 기술 문서에서 추출한 목적 패턴을 포함한 큐레이션 지식 기반에 LLM 을 근거 있게 연결합니다. 이를 통해 환각 현상을 최소화하고 도메인 일관성을 보장합니다.
• 사고 연쇄 (CoT) 추론: 모델링 작업을 목적 정의, 라우팅 제약 도출, 오프로딩 제약 도출, 그리고 표기법 요약과 같은 구조화된 단계별 과정으로 분해합니다.
• 에이전트 검증: '응답자'가 공식화를 생성하고 '검증자'가 검색된 컨텍스트에 대해 각 추론 단계를 확인하는 다중 에이전트 워크플로우입니다. 어떤 단계가 검증을 통과하지 못하면 시스템이 진행하기 전에 '다시 생각하기' 루프를 트리거합니다.

B. 최적화를 위한 계층적 DRL

공식화된 NP-하드 문제를 해결하기 위해, 저자들은 근접 정책 최적화 (PPO) 를 기반으로 한 계층적 프레임워크를 설계하여 결합 문제를 두 개의 순차적 계층으로 분해합니다:

• 상위 계층 (UAV 라우팅): 중앙 집중식 마르코프 결정 과정 (MDP) 으로 공식화됩니다. 이는 적재 하중, 비행 거리, 에너지 제약 하에서 여러 UAV 에 대한 스테이션 할당 및 방문 순서를 결정합니다. 이 계층의 출력은 하위 계층을 위한 서비스 윈도우(도착/출발 시간) 와 잔여 에너지를 정의합니다.
• 하위 계층 (작업 스케줄링 및 자원 할당): 또한 MDP 로, 슬롯 단위로 작동합니다. 상위 계층에서 제공된 서비스 윈도우를 기반으로 각 작업에 대해 다음을 결정합니다:
  • 실행 모드 (로컬, UAV, 또는 UAV 를 통한 클라우드).
  • 자원 할당 (컴퓨팅 및 통신 대역폭).
  • 목표는 자원 점유 및 대기열을 최소화하면서 기한 내 작업 완료율을 극대화하는 것입니다.
• 학습 전략: 계층은 순차적으로 학습됩니다. 먼저 상위 계층이 학습되며, 그 최적 정책이 고정되어 하위 계층 학습을 위한 서비스 윈도우 데이터를 생성합니다. 이는 동시 최적화의 불안정성을 피하면서도 계층 간 결합을 유지합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 하이브리드 모델링을 위한 에이전트 기반 AI: 스마트 제조 분야에서 하이브리드 조합 최적화 문제를 공식화하기 위해 에이전트 기반 AI(LLM + RAG + CoT) 를 활용한 최초의 연구입니다. 이 프레임워크는 물류와 컴퓨팅 간의 복잡한 의존성을 포착하는 구조화되고 해석 가능한 최적화 모델로 복잡한 작업 요구사항을 분해할 수 있게 합니다.
2. 상호작용형 공식화 프로세스: 제안된 프로세스는 RAG 를 활용하여 도메인 지식을 검색하고 CoT 를 활용하여 생성된 모델의 해석 가능성과 추적 가능성을 향상시킵니다. 이는 AI 가 작업 결합과 제약 조건에 대해 단계별로 추론할 수 있게 하여 클라우드 - 엣지 - 디바이스 협업 하에서 정확한 모델 구축을 가능하게 합니다.
3. 계층적 DRL 해법: 본 논문은 결합된 라우팅-MEC 의사결정을 상위 라우팅 계층과 하위 작업 스케줄링 계층으로 분해하는 계층적 DRL 접근법을 개발합니다. 이는 라우팅으로 인한 서비스 가용성을 통한 필수적인 계층 간 조정을 유지하면서 학습 안정성을 향상시킵니다.

4. 실험 결과

본 프레임워크는 2 대의 UAV, 6 개의 제조 스테이션, 그리고 1,920 개의 무작위 생성 작업이 포함된 시뮬레이션 클라우드 제조 환경에서 평가되었습니다.

• 에이전트 기반 AI 성능: 단일 에이전트 베이스라인 (CoT/검증 없는 LLM + RAG) 과의 비교 결과, 제안된 프레임워크는 도메인 지식에 대한 의미적 충실도가 더 높은 공식을 생성했습니다. 구체적으로, 제안된 프레임워크는 추상적인 자원 점유 페널티를 올바르게 해석한 반면, 베이스라인은 이를 원시 자원 사용 합계로 잘못 재공식화했습니다.
• 상위 계층 DRL: PPO 기반 라우팅 정책은 초기 탐색 후 대부분의 에피소드에서 100% 에 근접하는 제품 수거율을 달성하며 견고한 수렴을 보였습니다.
• 하위 계층 DRL: 제안된 계층적 PPO 접근법은 하위 계층에 Advantage Actor-Critic(A2C) 을 사용한 베이스라인과 비교되었습니다.
  • 안정성: PPO 는 급격한 보상 감소로 고통받았던 A2C 에 비해 학습 후기 단계에서 더 안정적인 성능을 보였습니다.
  • 기한 충족: PPO 기반 하위 계층은 마지막 500 에피소드에서 일관되게 100% 기한 충족률을 유지한 반면, A2C 베이스라인은 때때로 100% 미만으로 떨어졌습니다.
  • 수거 성공: 시스템은 마지막 500 에피소드의 **99.6%**에서 완전한 제품 수거를 달성했습니다.

5. 의의 및 주장

본 논문은 이 작업을 클라우드 제조에서 하이브리드 물류 - 컴퓨팅 스케줄링 문제를 공식화하고 해결하기 위한 통합 프레임워크로 위치시킵니다.

• 공식화의 의의: 자연어 요구사항을 엄격한 수학적 모델로 자동 변환함으로써, 이 프레임워크는 엔지니어들이 복잡하고 긴밀하게 결합된 사이버 - 물리 시스템을 모델링하는 장벽을 낮춥니다.
• 해법의 의의: 계층적 DRL 접근법은 복잡한 결합 최적화 문제를 분해하는 것이 UAV 의 물리적 제약과 산업 작업의 시간 제약을 존중하는 안정적이고 고성능의 정책을 산출할 수 있음을 보여줍니다.
• 적은 범위: 저자들은 현재 작업이 동질적인 UAV 와 특정 제조 시나리오에 초점을 맞추고 있다고 지적합니다. 향후 작업은 이 프레임워크를 대규모 시스템, 이질적인 UAV 함대, 그리고 더 역동적인 제조 환경으로 확장할 수 있다고 제안합니다. 본 논문은 모든 스케줄링 문제를 해결한다고 주장하는 것이 아니라, 설명된 결합 UAV-MEC 시나리오에 대한 구체적인 방법론을 제공합니다.