🤖 machine learning

User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling

본 논문은 전용 인프라와 자원봉사 사용자 자원을 결합하여 QoS 인지형 오토스케일링을 가능하게 하는 사용자 지원 협력적 분산 추론 시스템을 제마다하며, 고차원 마르코프 모델과 시뮬레이션을 통해 이러한 접근 방식이 사용자 인구가 증가함에 따라 전용 자원 소비를 줄이는 동시에 지연 시간과 요청 완료율을 유의미하게 개선함을 입증한다.

원저자: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alfreds Lapkovskis, Ali Beikmohammadi, Sindri Magnússon, Praveen Kumar Donta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 수많은 사람들이 끊임없이 도움을 요청하는 거대하고 북적이는 도시라고 상상해 보세요. 때로는 빠른 답변이 필요하기도 하지만, 종종 사람들은 초지능 로봇에게 이야기를 써달라거나, 수학 문제를 풀어달라거나, 사진 속 얼굴을 인식해 달라는 것과 같이 믿기 힘들 정도로 복잡한 것을 요구하곤 합니다. 이것을 "AI 추론(AI inference)"이라고 부릅니다. 현재 이 모든 무거운 작업은 수천 대의 강력한 컴퓨터가 함께 작동하는 거대한 데이터 센터, 즉 거대한 요새와 같은 공장에서 대부분 수행됩니다. 이 공장들은 놀라운 성능을 보여주지만, 구축하고 운영하는 데 엄청난 비용이 들며, 너무 많은 에너지를 사용하여 지구에 거대한 탄소 발자국을 남기고 있습니다. 이는 마치 도시 전체의 교통 신호를 단 하나의 포효하는 발전기로 가동하려는 것과 같습니다. 작동은 하겠지만, 소음이 크고 비용이 많이 들며, 도로에 더 많은 사람이 합류함에 따라 그 속도를 따라잡기가 매우 어렵습니다.

이를 해결하기 위해 과학자들은 "엣지 컴퓨팅(edge computing)"을 연구해 왔는데, 이는 작업을 사람들이 필요로 하는 곳과 더 가까운 곳, 예를 들어 지역 사회의 허브와 같은 곳으로 옮기는 것과 같습니다. 하지만 여기에는 더 근본적인 아이디어가 있습니다. 만약 도움을 요청하는 사람들로부터 아주 작은 양의 컴퓨팅 파워를 빌려올 수 있다면 어떨까요? 이것이 바로 "자원 봉사형 컴퓨팅(volunteer computing)"의 개념입니다. 여러분의 스마트폰, 노트북, 또는 태블릿이 한가할 때 그 여분의 두뇌 능력을 그룹에 빌려주는 것입니다. 여기서 핵심적인 질문은 이것입니다. 우리는 이 두 세계를 결합할 수 있을까요? 기본적인 작업은 처리할 수 있는 몇 개의 강력한 서버를 유지하면서도, 수백만 명의 일반 사용자들이 나머지를 처리할 수 있도록 기여하게 함으로써, 더 거대한 공장을 지을 필요 없이 자동으로 규모를 확장할 수 있는 시스템을 만들 수 있을까요?

이것이 바로 이 논문의 연구진이 탐구하고자 했던 내용입니다. 그들은 "사용자 보조 협업 분산 추론(User-Assisted Collaborative Distributed Inference)"이라 불리는 새로운 방식의 AI 서비스 운영 방식을 제안합니다. 값비싼 중앙 집중식 서버에만 의존하는 대신, 이들의 시스템은 작업을 나눕니다. 중앙 서버는 기초적인 양의 작업을 처리하여 상황이 원활하게 돌아가도록 보장하는 "캡틴(captain)" 역할을 수행하지만, 동시에 큰 작업을 더 작은 "하위 작업(subtasks)"으로 분해하여 현재 온라인 상태인 사용자들의 기기로 보냅니다. 만약 사용자의 휴대폰이 유휴 상태라면, 그 기기는 하위 작업을 가져와 숫자를 계산하고 그 결과를 다시 보낼 수 있습니다. 이 시스템은 스마트하게 설계되었습니다. 사용자의 수가 적으면 서버가 대부분의 작업을 수행하고, 군중이 커지면 시스템은 자동으로 사용자들의 자원 봉사 능력에 더 많이 의존하게 됩니다.

이 아이디어가 시스템을 무너뜨리지 않고 실제로 작동하는지 확인하기 위해, 저자들은 단순히 실제 프로토타입을 만들어 운에 맡긴 것이 아닙니다. 대신, 그들은 시스템의 매우 상세한 "디지털 트윈(digital twin)"을 구축했습니다. 즉, 사용자와 기기, 그리고 작업이 시간에 따라 어떻게 상호작용하는지를 시뮬레이션하는 복잡한 수학적 모델입니다. 그들은 이 시스템을 매초 변화하는 살아있는 유기체처럼 다루었습니다. 사용자는 로그인을 하거나 로그아웃하며, 기기마다 속도가 다르고, 작업마다 걸리는 시간도 다릅니다. 그들은 이 모델을 사용하여 수천 번의 시뮬레이션을 실행하며 다양한 시나리오를 테스트했습니다. 사용자가 100명일 때는 어떤가? 10,000명일 때는 어떤가? 서버가 작을 때는 어떠하며, 서버가 매우 클 때는 어떠한가? 그들은 자신들의 새로운 "협업적" 접근 방식을 기존의 "중앙 집중식 전용" 방식과 비교했습니다.

시뮬레이션 결과는 상당히 유망했습니다. 연구진은 사용자 수가 증가함에 따라 협업 시스템이 전통적인 방식보다 훨씬 더 우수해진다는 것을 발견했습니다. 사용자 인구가 적을 때는 중앙 집중식 서버가 일을 잘 처리했습니다. 하지만 군중이 10,000명으로 불어나자, 중앙 집중식 시스템은 어려움을 겪기 시작했고, 많은 요청이 취소되거나 완료되는 데 매우 오랜 시간이 걸렸습니다. 반면, 협업 시스템은 번창했습니다. 작업을 사용자 기기로 오프로딩(offloading)함으로써, 시스템은 더 많은 요청을 완료할 수 있었고 "테일 레이턴시(tail latency, 가장 느린 요청이 완료될 때까지 걸리는 시간)"를 훨씬 낮게 유지했습니다. 아마도 가장 중요한 점은, 협업 시스템이 이러한 결과를 달enc기 위해 훨씬 적은 전용 서버 파워를 필요로 했다는 것입니다. 시뮬레이션에 따르면, 중간 정도의 서버 용량(기본 단위의 약 30~50배)만 있으면 협업 시스템은 사용자의 힘을 빌려 막대한 수요를 처리할 수 있었던 반면, 중앙 집중식 시스템은 하드웨어를 무한히 계속 확장해야 했을 것입니다. 이는 비용이 많이 들고 비효율적입니다.

하지만 논문은 이것이 시뮬레이션이며, 오늘 당장 여러분의 휴대폰에 적용될 완성된 제품은 아니라는 점을 주의 깊게 명시하고 있습니다. 연구진은 서버가 작업을 배분하는 다양한 "전략"들을 테스트했습니다. 한 전략은 사용 가능한 사용자에게 무작위로 작업을 전달하는 것이었고, 다른 전략은 시간을 절약하기 위해 유사한 작업들을 동일한 기기에 묶는 더 똑똑한 방식을 시도하는 것이었습니다. "무작위" 방식은 놀라울 정도로 잘 작동했지만, "스마트한 그룹화" 방식은 사용자의 기기가 갑자기 오프라인 상태가 될 경우 작업의 한 묶음 전체를 중단시키는 문제를 일으키기도 했습니다. 이 연구는 아이디어는 실현 가능하고 수학적으로도 타당해 보이지만, 스케줄링 규칙을 완벽하게 만들고 시스템이 실제 환경에서 충분히 견고할 수 있도록 보장하기 위해 아직 할 일이 남아있다고 결론짓습니다. 궁극적으로, 이 논문은 군중으로부터 약간의 힘을 빌리는 것이 끝없는 데이터 센터를 짓지 않고도 미래의 막대한 수요를 감당하며 AI 서비스를 더 저렴하고 친환경적이며 효율적으로 만드는 열쇠가 될 수 있음을 시사합니다.

기술 요약: 효율적인 QoS 인식 오토스케일링을 위한 사용자 지원 협력적 분산 추론

문제 정의
본 논문은 중앙 집중형 AI 추론 서비스와 관련된 운영 비용 및 환경적 부담의 급증 문제를 다룹니다. AI 추론 수요가 증가함에 따라 중앙 집중형 클라우드 인프라 비용도 비례하여 증가하며, 이는 막대한 비용과 상당한 에너지 소비(예: 이산화탄소 배출 및 물 사용량)를 초래합니다. 에지(edge) 및 포그(fog) 컴퓨팅이 계산을 분산함으로써 부분적인 해결책을 제공하지만, 이들은 여전히 광범위한 채택을 가로막는 경제적 및 구조적 장벽에 직면해 있습니다. 반면, 자원 봉사 컴퓨팅(volunteer computing)은 사용자 기기의 유휴 자원을 활용하지만, 자원의 이질성과 간헐적인 가용성으로 인해 소비자 지향적 AI 애플리케이션에 필요한 안정성이나 서비스 품질(QoS) 보장을 제공하기 어렵습니다. 핵심 과제는 전용 서버와 자원 봉사 사용자 자원 간에 추론을 효과적으로 분할하여, 엄격한 QoS 제약을 유지하면서도 확장 가능하고 비용 효율적인 오토스케일링을 달출하는 시스템을 설계하는 것입니다.

방법론
저자들은 중앙 서버가 전용 인프라와 자원 봉사 사용자 기기 혼합 환경에서 추론 작업을 조정하는 협력적 분산 추론 시스템을 제안합니다. 이 시스템은 세 단계로 작동합니다: 사용자가 추론을 요청하면, 서버는 정책에 따라 가용 자원에 서브태스크(subtask)를 스케줄링하고, 서버는 결과를 집계하여 응답을 반환합니다.

이 동적 시스템을 분석하고 최적화하기 위해, 저자들은 구조적 시간적 인수분해(temporal factorization)를 갖춘 **고차원 생성 마르코프 모델(high-dimensional generative Markov model)**을 개발했습니다. 이 모델은 사용자, 자원, 태스크, 정책 간의 확률적 상호작용을 포착합니다. 방법론의 주요 구성 요소는 다음과 같습니다:

시스템 상태 표현: 상태 $s_t$ 는 사용자 가용성( $o_t$ ), 추론 요청( $q_t$ ), 할당된 자원( $a_t$ ), 서브태스크 준비 상태( $x_t$ ), 서브태스크 실행 상태( $y_t$ ), 자원 소비( $c_t$ )를 포함하는 고차원 변수들의 튜플로 정의됩니다.
생성 모델링:
- 가용성: 상태 지속 시간과 전이 확률을 포착하기 위해 파라미터 기반 생존 분포(온라인의 경우 Weibull, 오프라인의 경우 log-normal)를 사용하여 모델링합니다.
- 요청: 요청 간 시간 및 사용자의 인내심을 반영하기 위해 파레토(Pareto) 생존 함수를 사용하여 모델링합니다.
- 자원 및 소비: 대역폭, CPU, 메모리, 스토리지의 실측치에 적합된 ARMA(자기회귀 이동평균) 모델을 활용하여 자원 궤적과 소비 패턴을 시뮬레이션합니다.
- 실행 역학: 서브태스크 실행 단계(다운로드, 실행, 업로드)는 다양한 배치 크기와 대역폭 하에서의 컴퓨터 비전 서브태스크 트레이스에 적합된 이산 시간 위험 모델(discrete-time hazard models)을 사용하여 모델링됩니다.
의사결정 정책: 시스템은 서버 측의 스케줄러( $\pi$ $π$ )와 노드 측의 실행기( $\varsigma$ $ς$ )라는 두 가지 정책을 사용합니다. 본 연구는 세 가지 스케줄링 전략을 평가합니다:
1. 중앙 집중형(Centralized): 모든 태스크가 전용 서버에서 실행됩니다.
2. 균등형(Uniform): 충분한 용량을 가진 온라인 사용자 노드에 태스크가 무작위로 할당됩니다.
3. 어피니티 기반(Affinity-based): 배치 효율성을 극대화하기 위해 동일한 유형의 서브태스크를 이미 활발히 실행 중인 노드에 태스크를 할당합니다.
최적화 프레임워크: 모델은 두 가지 최적화 문제를 정의합니다: 고정된 스케줄러에 대해 QoS를 극대화하는 것(지연 시간 최소화), 그리고 QoS 제약(예: P99 지연 시간 임계값)을 만족하면서 전용 자원 할당을 최소화하는 것입니다.

주요 기여

시스템 아키텍처: 워크로드를 전용 서버와 자원 봉사 사용자 기기 간에 분할하여, 중앙 집중식 인프라의 비례적 성장 없이도 오토스케일링을 가능하게 하는 새로운 협력적 분산 추론 시스템을 제안합니다.
생성 모델: 시스템 변수 간의 희소한 의존성을 포착하여 효율적인 시뮬레이션, 추론 및 정책 학습을 가능하게 하는, 시간적 인수분해가 적용된 다루기 쉬운 고차원 마르코프 모델을 개발했습니다.
실증적 평가: 다양한 사용자 인구, 자원 용량 및 서버 구성을 대상으로 중앙 집중형 및 분산 스케줄링 정책을 비교하는 종합적인 시뮬레이션 연구를 수행했습니다.

결과
시스템은 사용자 인구가 100명에서 10,000명 사이이고 서버 용량이 다양한 조건에서 약 28시간(100,000 타임 스텝) 동안 실행된 시뮬레이션을 통해 평가되었습니다. 주요 결과는 다음과 같습니다:

확장성 및 완료율: 사용자 인구가 증가함에 따라, 분산 스케줄링(균등형 및 어피니티 기반)이 중앙 집중형 스케줄링보다 점점 더 우수한 성능을 보입니다. 특히 사용자 기기 용량이 2배가 될 때, 분산 정책은 더 높은 요청 완료율과 낮은 취소율을 유지합니다.
지연 시간 (QoS): 분산 정책은 대규모 사용자 규모(예: 10,000명)에서 중앙 집중형 정책보다 현저히 나은 P99 지연 시간(꼬리 지연 시간)을 달성합니다. 중앙 집중형 지연 시간은 수요가 서버 용량을 포화시킬 때 악화되는 반면, 분산 정책은 작업을 효과적으로 오프로드합니다.
자원 효율성: 분산 스케줄링은 전용 자원 소비를 크게 줄입니다. 시뮬레이션에 따르면, 약 30배에서 50배 수준의 서버 용량이 자원 봉사 자원을 보완하고 QoS를 유지하는 데 충분한 반면, 중앙 집중형 방식은 유사한 성능을 달성하기 위해 훨씬 더 높은 용량이 필요합니다.
정책 비교: 균등형 정책은 완료율과 취소 위험 사이의 균형 측면에서 일반적으로 어피니티 기반 정책보다 우수한 성능을 보입니다. 어피니티 기반 스케줄링은 배칭을 개선하지만, 노드 이탈이나 자원 제약으로 인한 서브태스크의 동시 실패 위험을 높입니다.

의의 및 주장
본 논문은 사용자 지원 협력적 추론이 인프라 효율적인 오토스케일링을 위한 실행 가능한 전략임을 입증한다고 주장합니다. 저자들은 전용 인프라와 자원 봉사 자원을 결합함으로써, 전통적인 클라우드 스케일링과 관련된 중앙 집중형 비용 및 환경적 영향의 비례적 증가 없이도 증가하는 수요를 흡수할 수 있음을 확립했습니다.

저자들은 본인의 주요 기여가 실제 운영 가능한 스케줄러의 배포보다는, 이를 분석하기 위한 시스템 아키텍처의 정의와 동적 모델의 개발에 있음을 강조합니다. 저자들은 제안된 모델이 향-스케줄링 알고리즘 및 QoS 인식 자원 할당을 최적화하기 위한 필수적인 토대를 제공한다고 주장합니다. 연구는 분석 및 최적화를 위한 적절한 생성 모델이 뒷받침된다면, 분산 스케줄링이 전용 자원 소비를 줄이면서 요청 완료 및 꼬리 지연 시간을 개선하는 실질적인 경로를 제공한다고 결론짓습니다.

유사한 논문