Cloud-Native Architecture and Pipeline Optimization for Built-Environment Data

현대 소프트웨어 세계에서 프로그램을 만드는 것은 더 이상 단일 컴퓨터에서 수행되는 고독한 행위가 아닙니다. 그것은 코드가 끊임없이 조립되고, 테스트되고, 전 세계 사용자에게 전달되는 거대한 산업적 운영이 되었습니다. 이 과정은 완성된 소프트웨어 파일, 변경 사항에 대한 기록, 그리고 각 단계가 얼마나 걸렸는지를 보여주는 로그와 같은 방대한 디지털 부산물을 생성합니다. 연구자들은 이를 "빌드 환경 데이터(built-environment data)"라고 부릅니다. 기업의 엔지니어 수가 수십 명에서 수천 명으로 늘어남에 따라 이 데이터의 양은 급증하며, 종종 이를 관리하기 위해 설계된 기존 시스템을 압도하곤 합니다. 이러한 오래된 시스템은 마치 잠들지 않는 고정된 수의 기계를 가진 공장처럼, 정적이고 변하지 않는 환경을 위해 구축되었습니다. 수요가 급증할 때 이 공장들은 막히게 되며, 이는 지연과 비용 낭비를 초래합니다. 이를 해결하기 위해 전문가들은 소프트웨어 구성 요소를 필요에 따라 즉각적으로 생성, 이동 및 폐기할 수 있는 휴대용 컨테이너처럼 취급하는 새로운 방식의 디지털 공장 조직법에 주목했습니다. 클라우드 네이티브 아키텍처라고 알려진 이 접근 방식은 전체 과정을 유연하고 효율적으로 만들 것을 약속하지만, 진정으로 작동하기 위해서는 새로운 종류의 관리가 필요합니다.

마이애미 과학 기술 대학교의 연구원인 짐 도시(Jim Dorsey)는 이 유연한 컨테이너 기반 아키텍처를 빌드 프로세스를 가속화하기 위한 특정 전략들과 어떻게 가장 잘 결합할 수 있을지 조사하기 위해 연구를 시작했습니다. 핵심 질문은 단순히 현대적인 클라우드 기반 시스템으로 옮기는 것만으로 충분한가, 아니면 작업의 흐름을 관리하기 위한 영리한 기술들이 병행되어야 하는가였습니다. 이 연구는 원시 코드를 완성된 제품으로 바꾸는 일련의 단계인 "파이프라인"에 집중했습니다. 도시는 이러한 휴대용 컨테이너를 사용하여 작업을 처리하는 동시에, 독립적인 작업들을 동시에 실행하고, 비용이 많이 드는 단계의 결과를 나중에 재사용할 수 있도록 저장하며, 시스템의 혼잡도에 따라 사용 가능한 컴퓨팅 자원을 동적으로 조정하는 것과 같은 기술들을 적용하는 프레임워크를 제안했습니다. 목표는 이 조합이 소프트웨어 빌드 시간을 단축하고, 시스템 운영 비용을 낮추며, 전체 프로세스를 더욱 신뢰할 수 있게 만들 수 있는지 확인하는 것이었습니다.

이 아이디어를 테스트하기 위해, 연구원은 실제 클라우드 환경을 모방한 시뮬레이션 환경을 사용하여 통제된 실험을 수행했습니다. 그들은 서로를 비교하기 위해 세 가지 서로 다른 버전의 소프트웨어 빌드 시스템을 만들었습니다. 첫 번째는 컴퓨터가 필요할 때나 그렇지 않을 때나 항상 실행되고 있는 상태를 나타내는 전통적인 방식의 오래된 정적 설정을 나타냅니다. 두 번째 버전은 작업이 있을 때만 컴퓨터가 시작되고 작업 직후 즉시 종료되는 현대적인 클라우드 네이티브 접근 방식을 사용했습니다. 세 번째 버전은 앞서 언급한 스마트 스케줄링 및 캐싱과 같은 추가적인 최적화 전략을 더한 현대적 접근 방식을 취했습니다. 그들은 일련의 현실적인 소프트웨어 프로젝트를 이 세 가지 시스템에 통과시켰으며, 각 빌드에 걸린 시간과 비용에 대한 정확한 데이터를 수집하기 위해 이 과정을 수십 번 반복했습니다.

결과는 명확한 성능의 발전을 보여주었습니다. 전통적인 시스템은 빌드를 완료하는 데 평균 18.4분이 걸렸습니다. 연구진이 추가적인 기술 없이 현대적인 클라우드 네이티브 시스템으로 전환했을 때, 시간은 12.7분으로 줄어들어 약 31%의 상당한 개선을 보였습니다. 그러나 가장 큰 도약은 완전히 최적화된 시스템에서 나타났습니다. 병렬 작업과 스마트한 자원 활용을 위한 전략을 추가함으로써, 평균 빌드 시간은 단 7.2분으로 떨어졌습니다. 이는 기존 방식과 비교했을 때 거의 61%에 달하는 총 감소율을 나타냈습니다. 속도 향상은 단순히 시간만의 문제가 아니었습니다. 이는 시스템이 시간당 더 많은 빌드를 완료할 수 있음을 의미했으며, 기존 시스템의 시간당 약 3.3회에서 완전히 최적화된 시스템의 8.3회로 급증했습니다.

속도 외에도 연구는 시스템이 자원을 얼마나 효율적으로 사용하는지와 운영 비용을 조사했습니다. 전통적인 설정에서는 컴퓨터가 종종 작업을 기다리며 유휴 상태로 머물러 있었고, 이는 약 23%라는 매우 낮은 사용률을 초사했습니다. 이는 에너지와 돈을 낭비하는 결과였습니다. 현대적인 클라우드 네이티브 시스템은 이를 47%로 개선했고, 완전히 최적화된 버전은 62%에 도달하여 컴퓨터가 실행될 때 훨씬 더 열심히 작동하고 있음을 보여주었습니다. 이러한 효율성은 직접적인 비용 절감으로 이어졌습니다. 단일 소프트웨어 빌드 비용은 전통적인 시스템의 $4.82에서 현대적인 시스템의$3.15로, 마지막으로 최적화된 시스템의 $1.87로 떨어졌습니다. 이는 비용 면에서 60% 이상의 감소를 의미하며, 새로운 아키텍처와 최적화 전략의 조합이 더 빠를 뿐만 아니라 훨씬 더 저렴하다는 것을 입증했습니다.

신뢰성과 시스템 내부 상황을 파악하는 능력인 관측성(observability) 또한 향상되었습니다. 오래된 시스템은 약 94%의 성공률을 보였는데, 이는 일부 빌드가 실패했음을 의미합니다. 최적화된 시스템은 이를 98.4%로 높였으며, 컴퓨팅 자원 부족으로 인한 오류가 줄어들었습니다. 또한, 시스템의 성능을 추적하고 이해하는 능력인 관측성은 기존 시스템의 68%에서 최적화된 시스템의 97%로 뛰어올랐습니다. 이는 문제가 발생했을 때 원인을 찾기가 훨씬 쉬워졌음을 의미합니다. 그러나 연구는 이러한 이점이 대가 없이 오지 않았다는 점에도 주목했습니다. 가장 최적화된 시스템은 설정 및 관리가 가장 복잡했습니다. 이를 유지 관리하기 위해서는 더 세심한 계획과 깊은 기술적 지식이 필요했습니다. 연구진은 혜택이 상당하지만, 조직은 속도와 저비용에 대한 열망과 이러한 정교한 시스템을 관리하는 데 따르는 복잡성 사이에서 무게를 달아보아야 한다고 밝혔습니다.

연구는 단순히 현대적인 클라우드 기반 아키텍처를 채택하는 것은 필수적인 첫 단계이지만, 그것만으로는 속도와 비용 문제를 해결하기에 충분하지 않다고 결론지었습니다. 아키텍처는 유연한 토대를 제공하지만, 병렬 작업이나 이전 작업의 재사용과 같은 구체적인 최적화 전략이 비로소 그 잠재력을 온전히 끌어올립니다. 연구는 조직이 현대화를 꾀한다면, 먼저 시스템을 관찰하고 측정할 수 있도록 구축한 다음, 이러한 최적화 기술들을 계층적으로 쌓아 올리는 것이 최선의 경로라고 제안합니다. 가장 진보된 설정이 최고의 성능을 제공하지만, 연구는 중간 단계의 설정이 극단적인 복잡성 없이도 기존 방식보다 상당한 개선을 제공하므로 충분할 수 있다고 나타냈습니다. 궁극적으로, 이 연구는 소프트웨어 개발의 증가하는 디지털 데이터 홍수를 관리하여, 잠재적인 병목 현상을 유선형의 효율적인 엔진으로 바꾸는 방법에 대한 명확한 로드맵을 제공합니다.