When Do LLM Agents Help? Deadline-Aware Mixed-Criticality Task Scheduling at the Autonomous-Vehicle Edge

자율주행 자동차는 단순히 운전만 하는 것이 아니라, 끊임없이 생각합니다. 번화한 거리를 주행하기 위해 차량은 카메라와 센서로부터 들어오는 방대한 데이터를 처리하며, 찰나의 순간에 보행자, 다른 차량, 도로 표지판 등을 식별해야 합니다. 자동차 자체의 컴퓨터가 이 엄청난 작업량을 단독으로 처리할 수 없기 때문에, 차량은 이러한 긴급한 계산들을 네트워크의 가장자리(edge)에 위치한 인근 서버로 보냅니다. 이것이 바로 모바일 에지 컴퓨팅(mobile edge computing)이라 불리는 설정입니다. 엔지니어들의 과제는 모든 작업이 동일한 가치를 지니지 않는다는 점입니다. 충돌을 유발할 수 있는 장애물을 감지하는 것과 같은 작업은 생사와 직결되며 엄격한 마감 기한 내에 완료되어야 합니다. 반면, 지도를 업데이트하거나 음악을 재생하는 작업은 중요하긴 하지만 시스템이 바쁠 때는 잠시 미뤄질 수 있습니다. 목표는 자동차가 이동하고 네트워크 환경이 변화하는 상황 속에서, 시스템의 전력을 낭비하지 않으면서도 생사가 걸린 작업을 보호하는 디지털 교통 관제사, 즉 스케줄러를 구축하는 것입니다.

수년 동안 연구자들은 이 스케줄링 문제를 해결하기 위해 인공지능을 사용하려고 노력해 왔습니다. 최근에는 거대 언어 모델(large language model)이라는 새로운 유형의 AI가 잠재적인 해결책으로 등장했습니다. 이 모델들은 평이한 언어로 자신의 선택을 추론하고 설명하는 능력으로 유명하며, 이로 인해 많은 이들이 이 모델들이 복잡한 시스템을 위한 유연하고 지능적인 관리자 역할을 할 수 있기를 기대하고 있습니다. 그러나 이 모델들은 실행 속도가 느리고 비용이 많이 듭니다. 과학계의 질문은, 이 느리고 지능적인 계층을 빠르고 중요한 시스템에 추가하는 것이 실제로 도움이 될 것인가, 아니면 실질적인 이득 없이 모든 것을 느리게 만들기만 할 것인가 하는 점이었습니다. 한 연구자는 이러한 AI 관리자가 자율주행 자동차 네트워크의 성능을 언제, 그리고 실제로 개선하는지 정확히 알아보기 위해 엄격한 테스트를 구축하여 이 질문에 답하고자 했습니다.

연구자는 자율주한 자동차들이 자신들의 사고(thinking) 작업을 인근 서버로 오프로딩(offloading)하는 네트워크를 상세하게 시뮬레이션했습니다. 연구자는 무작위로 도착하는 200개의 작업이 포함된 60개의 서로 다른 시나리오를 만들었습니다. 이 시나리오들에서 작업의 60%는 생명에 직결된 작업이었고, 나머지는 표준적인 저순위 작업이었습니다. 연구자는 먼저 매우 강력한 전통적 스케줄링 시스템을 구축했습니다. 이 시스템은 들어오는 작업들을 작은 배치(batch)로 묶은 다음, 가장 긴급한 생명 직결 작업들이 항상 우선적으로 고려되도록 정렬하는 방식으로 작동했습니다. 그 후 각 작업을 가장 빨리 끝낼 수 있는 서버에 할당했습니다. 이 방식은 매우 효과적이었으며, 생명 직결 작업의 90% 이상을 성공적으로 완료했습니다. 이 시스템은 15개의 다른 표준 방식들보다 뛰어난 성능을 보였으며, 결정을 내리기 전에 미래의 모든 상황을 미리 볼 수 있는 여유를 가진 강력한 오프라인 솔버(offline solver)가 계산한 이론적 최적 성능에 13% 이내로 근접했습니다.

이 고성능 베이스라인이 구축된 후, 연구자는 거대 언어 모델을 도입했습니다. 연구자는 AI가 모든 결정을 내리는 방식(이는 너무 느릴 것이기 때문) 대신, 규칙의 게임을 가끔씩 조정하는 감독자 역할을 하도록 설계했습니다. 연구의 첫 번째 부분에서 교통 흐름은 안정적이고 예측 가능했습니다. 이러한 차분한 조건 하에서는 AI 감독관이 아무런 가치를 더하지 못했습니다. 전통적인 규칙 기반 스케줄러가 이미 매우 훌륭했기에 AI가 개선할 여지를 찾을 수 없었던 것입니다. 연구자는 AI의 추론, 경매와 같은 입찰 과정, 그리고 실시간 적응 능력이 작업량이 안정적일 때는 모두 불필요하다는 것을 발견했습니다. 단순하고 빠른 규칙만으로도 교통량을 효율적으로 처리하기에 충분했습니다.

이야기는 연구자가 갑작스럽고 혼란스러운 사건을 도입했을 때 바뀌었습니다. 연구자는 대규모 차량 그룹이 번화한 교차로에 동시에 도착하여, 표준 스케일러를 압도하는 생명 직결 작업의 급증을 일으키는 시나리오를 시뮬레이션했습니다. 이러한 비정상적(non-stationary)인 혼돈의 순간에, 전통적인 시스템은 어려움을 겪기 시작하며 평소라면 지켰을 마감 기한을 놓치기 시작했습니다. 여기서 거대 언어 모델 제어 계층이 마침내 그 가치를 드러냈습니다. 상황을 검토하고 스케줄링 규칙을 즉석에서 조정함으로써, AI 시스템은 손실된 성능의 일부를 회복하며 정적(static) 시스템이나 심지어 다른 유형의 적응형 알고리즘보다 훨씬 더 많은 생명 직결 작업을 완료해 냈습니다. AI가 문제를 완벽하게 해결하지는 못했지만, 고정된 규칙이 달성할 수 없는 작지만 통계적으로 유의미한 개선을 끌어내는 방법을 찾아냈습니다.

연구는 이러한 첨단 AI 모델을 사용하는 가치가 전적으로 조건부라는 결론을 내립니다. 이들은 모든 것을 항상 더 좋게 만드는 마법 같은 업그레이드가 아닙니다. 대신, 환경이 예측 불가능해지고 고정된 규칙이 더 이상 따라갈 수 없을 때에만 그 비용을 정당화합니다. 안정적인 조건에서는 단순하고 빠른 방법이 효율적이고 신뢰할 수 있기 때문에 더 우월합니다. 하지만 생명 직결 사건의 급증이 발생할 때, 추론을 통해 혼돈을 헤쳐 나가고 전략을 조정하는 AI의 능력은 실질적이고 측정 가능한 이점을 제공합니다. 연구자는 또한 AI가 결정을 내리는 데 걸리는 시간을 측정하였는데, AI가 모든 개별 작업에 직접 투입되기에는 너무 느리다는 것을 확인했으며, 이는 AI가 직접적인 작업자가 아닌 고차원적인 감독자로 남아 있어야 함을 확인시켜 주었습니다. 엔지니어를 향한 최종 메시지는 명확합니다. 이러한 복잡한 AI 계층을 기본적으로 채택하지 마십시오. 그것은 고정된 정책이 포착할 수 없는 변동성을 가진 작업 부하가 발생할 때만 유용한 특수 도구입니다.