SCOPE: Stateful Serverless in the Edge-to-Cloud Continuum
이 논문은 현재의 서버리스 엣지 솔루션들이 가진 상태 비저장(stateless)의 한계를 극복하기 위해, 저지연 근접성과 자원 가용성 사이의 균형을 맞추는 동적 세션 관리를 활용하는 에지-투-클라우드 컨티뉴엄을 위한 상태 유지(stateful) FaaS 프로그래밍 모델 및 실행 플랫폼인 SCOPE를 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신의 디지털 삶—사진, 건강 데이터, 스마트 홈 제어—이 거대하고 먼 창고에 살고 있는 세상을 상상해 보십시오. 수십 년 동안 이것은 컴퓨팅의 표준 모델이었습니다. 당신의 휴대폰이나 센서가 대양을 건너 거대한 데이터 센터로 요청을 보내면, 데이터 센터가 정보를 처리하고 다시 보내주는 방식입니다. 이는 많은 일에 잘 작동하지만, 거리가 멀어질수록 지연 시간, 즉 랙(lag)을 발생시킵니다. 즉각적인 영상 통화, 자율 주행 차량, 실시간 의료 모니터링의 시대에 이러한 지연은 문제가 되고 있습니다. 이를 해결하기 위해 엔지니어들은 사람들이 실제로 있는 곳 근처로 처리 능력을 이동시키는 전략인 '엣지 컴퓨팅(edge computing)'에 주목했습니다. 이들은 동네, 공장, 기지국 등에 작은 서버를 배치합니다. 이는 창고를 당신의 집 앞마당으로 가져와 속도와 효율성을 약속합니다.
하지만 새로운 복잡한 문제가 나타났습니다. 이러한 현대적 시스템을 구축하는 가장 인기 있는 방법은 '서버리스 컴퓨팅(serverless computing)'이라 불리는 것입니다. 이 모델에서 개발자는 필요할 때만 실행되는 작고 독립적인 코드 조각들을 작성하는데, 이는 마치 패키지가 준비되었을 때만 나타나는 드론 부대와 같습니다. 이 시스템의 묘미는 인프라가 이 드론들이 언제, 어디로 날아갈지를 결정하는 모든 무거운 작업을 처리한다는 점입니다. 하지만 함정이 있습니다. 이 드론들은 '스테이트리스(stateless)'하도록 설계되어, 즉 이전에 무슨 일이 있었는지 기억하지 못합니다. 드론이 패키지를 배달하면 즉시 고객의 이름과 주소를 잊어버립니다. 단순한 작업에는 문제가 없지만, 사용자의 진행 상황, 선호도 또는 건강 기록을 기억해야 하는 복잡한 애플리케이션의 경우, 이러한 기억력의 부재는 막다른 길입니다. 따라서 과제는 엣지의 속도와 서버리스 컴퓨팅의 단순함을 결합하면서, 이 찰나의 프로그램들이 사용자의 데이터를 안전하고 효율적으로 보유할 수 있는 능력을 부여하는 것입니다.
이것이 바로 밀라노 폴리테크니코(Politecnico di Milano)의 연구진이 SCOPE라고 부르는 새로운 플랫폼을 통해 해결하고자 했던 문제입니다. 그들의 목표는 이러한 일시적인 프로그램들이 사용자의 특정 데이터를 담고 있는 디지털 컨테이너인 '세션(session)'을 운반할 수 있게 하고, 사용자가 이동하거나 네트워크가 변함에 따라 그 컨테이너를 자동으로 이동시키는 시스템을 만드는 것이었습니다. 연구진은 데이터를 사용자 근처에 두어 속도를 보장하면서도, 로컬 장비가 너무 바빠지면 더 강력한 기계로 데이터를 이동시키는 시스템을 구축할 수 있는지 알고 싶었습니다. 그들은 단순히 이론을 제안한 것이 아니라, 로컬 엣지 서버와 먼 클라우드 데이터 센터 사이의 실제 세계의 투쟁을 모방한 시뮬레이션 환경에서 작동하는 프로토타입을 구축하고 테스트했습니다.
그들 솔루션의 핵심은 '세션'이라는 개념입니다. 세션을 특정 사용자에게 속한 개인 사물함이라고 생각하십시오. SCOPE 시스템에서 사용자가 애플리케이션과 상호작용하면 시스템은 그를 위한 사물함을 생성합니다. 이 사물함은 필요에 따라 서로 다른 프로그램에 의해 열리고 닫힐 수 있지만, 사물함 자체는 온전하게 유지됩니다. 혁신은 시스템이 이 사물함들을 관리하는 방식에 있습니다. 플랫폼은 네트워크의 상태를 지속적으로 모니터링합니다. 만약 로컬 엣지 서버가 너무 많은 요청을 처리하여 속도가 느려지기 시작하면, 시스템은 사용자의 사물함을 근처의 더 넓은 서버로, 혹은 필요하다면 심지어 먼 클라우드 데이터 센터로 조용히 이동시킬 수 있습니다. 결정적으로, 사용자는 이 과정이 일어나고 있다는 것을 전혀 알 필요가 없습니다. 사용자는 단순히 자신의 작업을 계속하며, 시스템은 데이터가 적절한 시간에 적절한 곳으로 따라가도록 보장합니다.
이를 테스트하기 위해 연구진은 사용자 역할을 하는 클라이언트 기기, 근처에 위치한 엣지 서버, 그리고 대서양 횡단 연결을 시뮬레이션하는 멀리 떨어진 클라우드 서버라는 세 가지 뚜렷한 위치를 가진 가상 네트워크를 설정했습니다. 그들은 시스템을 스트레스 테스트하기 위해 몇 가지 유형의 작업을 만들었습니다. 한 작업은 대량의 비디오 파일을 업로드하고 다운로드하는 것으로, 이는 과도한 데이터 이동을 요구합니다. 또 다른 작업은 음성을 텍스트로 변환하는 것으로, 이는 강렬한 컴퓨터 처리 능력을 요구합니다. 또한 시스템의 기본적인 속도를 측정하기 위해 간단하고 가벼운 작업들도 만들었습니다. 목표는 로컬 엣지 서버가 과부하되었을 때 시스템이 어떻게 행동하는지 보는 것이었습니다.
결과는 흥미로웠습니다. 연구진이 로컬 엣지 서버에 요청을 쏟아부었을 때, 예상대로 시스템의 응답 시간이 저하되기 시작했습니다. 그러나 SCOPE 플랫폼을 활성화하자, 시스템은 과부하를 감지하고 트래픽을 재지정하기 시작했습니다. 시스템은 단순히 충돌하거나 느려지는 대신, 지능적으로 워크로드를 이동시켰습니다. 새로운 요청에 대해서는 즉시 먼 클라우드 서버로 보내 로컬 서버가 막히는 것을 방지했습니다. 이미 실행 중인 기존 세션의 경우, 시스템은 신중한 마이그레이션(이동)을 수행했습니다. 시스템은 사용자의 데이터 세션을 붐비는 로컬 서버에서 더 여유로운 클라우드 서버로 이동시켰습니다. 이 과정은 시간이 걸렸습니다—2메가바이트 세션 기준으로 약 1.5초—하지만 이동이 완료된 후, 해당 사용자에 대한 응답 시간은 극적으로 감소했습니다. 시스템은 짧은 일시 정지를 대가로 영구적인 속도 향상을 성공적으로 얻어냈습니다.
연구진은 또한 사용자가 돌아다닐 때 시스템이 어떻게 처리하는지 테스트했습니다. 그들은 클라이언트가 물리적 위치를 변경하는 상황을 시뮬레이션했는데, 이는 실제 상황에서 한 동네에서 다른 동네로 이동하는 것을 의미합니다. 클라이언트가 이동함에 따라, 시스템은 데이터를 저장할 최적의 장소를 다시 계산했습니다. 연구진은 시스템이 세션을 새로운 더 가까운 노드로 성공적으로 마이그레이션하여 사용자 근처에 데이터를 유지할 수 있음을 발견했습니다. 그러나 그들은 한계점도 언급했습니다. 노드가 적은 매우 작은 네트워크에서는 노드들이 전체 네트워크에 대한 지식이 제한적이기 때문에, 세션이 한 번 이동한 후 절대적인 최적의 위치를 찾는 데 가끔 어려움을 겪었습니다. 하지만 네트워크가 커지고 복잡해질수록, 시스템은 자원이 변동하는 와중에도 데이터를 사용자 근처에 유지하는 데 훨씬 더 효과적이었습니다.
연구는 또한 데이터 이동 비용을 조사했습니다. 연구진은 세션을 마이그레이션하는 데 걸리는 시간이 데이터의 크기와 직접적인 관련이 있다는 것을 발견했습니다. 빈 세션을 이동하는 데는 약 270밀리초가 걸린 반면, 5메가바이트 세션을 이동하는 데는 약 2초가 걸렸습니다. 이는 네트워크 대역폭이 소프트웨어 자체가 아니라 주요 병목 현상임을 확인시켜 주었습니다. 시스템은 세션을 이동할 때 발생하는 짧은 중단이 이후의 상당한 성능 향상을 위해 지불할 만한 작은 대가일 정도로 효율적이었습니다. 한 테스트에서, 세션을 먼 클라우드 서버에서 로컬 엣지 서버로 이동시키자 응답 시간이 126밀리초에서 단 21밀리초로 줄어들었습니다.
이 연구가 중요한 이유는 이 분야에 오랫동안 존재했던 간극을 메우기 때문입니다. 이전의 시스템들은 엣지의 속도를 제공하지만 복잡하고 메모리 의존적인 애플리케이션을 처리할 수 없었거나, 혹은 메모리를 제공하지만 개발자가 데이터 이동의 복잡한 물류를 직접 관리해야 했습니다. SCOPE는 이 모든 과정을 자동화합니다. 이는 개발자가 데이터가 어디에 있는지 걱정하지 않고 단순한 코드를 작성할 수 있게 해주며, 플랫폼은 실시간 조건에 따라 데이터를 어디에 저장하고 이동시킬지에 대한 복잡한 결정을 처리합니다. 연구진은 이 접근 방식이 서로 다른 능력을 가진 다양한 유형의 기기들이 함께 작동하는 이기종 환경에서도 작동함을 입증했습니다.
팀의 연구 결과는 이 모델이 실제 배포에 적합함을 시사합니다. 그들은 시스템이 갑작스러운 트래픽 급증에 적응하여 네트워크 전체가 압박 아래 붕붕괴되는 것을 방지할 수 있음을 보여주었습니다. 또한 사용자의 물리적 이동에 반응하여 데이터를 사용자 근처에 유지할 수 있음을 보여주었습니다. 시스템이 완벽하지는 않지만—여전히 데이터를 이동하기 위한 짧은 일시 정지가 필요하며, 매우 작은 설정에서는 튜닝이 필요한 계층적 네트워크 구조에 의존합니다—이는 엣지 컴퓨팅에서 큰 진전입니다. 연구진은 데이터를 정적인 파일이 아닌 이동하는 세션으로 취급함으로써, 빠르면서도 지능적인 컴퓨국 환경을 만들 수 있다고 결론지었습니다.
결국, 이 논문은 더 유동적이고 반응적인 디지털 세계의 비전을 제시합니다. 이는 인프라가 고정된 서버의 경직된 격자가 아니라, 사용자의 요구에 맞춰 변화하는 역동적인 풍경인 세상입니다. 연구진은 엣지 컴퓨팅의 모든 문제를 해결했다고 주장한 것이 아니라, 서버리스 컴퓨팅을 진정으로 '상태 유지(stateful)'가 가능하게 만드는 구체적이고 작동하는 사례를 제공했습니다. 그들의 연구는 컴퓨팅의 미래가 엣지의 속도와 클라우드의 강력함 중 하나를 선택하는 것이 아니라, 데이터와 처리 능력을 정확히 필요한 곳에, 정확히 필요한 때에 이동시키는 매끄러운 연속체를 구축하는 데 있다는 것을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.