Predicting total time to compress a video corpus using online inference systems

당신이 수천 개의 비디오 파일을 스트리밍용으로 압축하기 위해 줄여주는 거대한 디지털 도서관을 운영하고 있다고 상상해 보십시오. 이 과정인 "압축(compression)"은 마치 여행 가방을 싸는 것과 같습니다. 비디오 데이터를 접고 눌러서 차지하는 공간을 줄여야 하는데, 비디오를 더 세게 접어야 할수록(빠른 움직임이나 복잡한 질감이 많을수록) 시간이 더 오래 걸립니다. 클라우드 컴퓨팅의 세계에서, 이 패킹 작업이 정확히 얼마나 걸릴지 아는 것은 매우 중요한 일입니다. 이는 기업들이 얼마나 많은 전력을 소모할지, 그리고 더 중요하게는 고객에게 얼마나 청구해야 할지를 결정하는 데 도움을 줍니다. 현재 대부분의 시스템은 눈을 가린 요리사처럼 행동합니다. 음식을 다 먹고 난 후에야 식사 가격을 알려줍니다. 이는 예산 책정을 악몽으로 만듭니다. 과학자들은 각 개별 비디오 클립의 시간을 예측하려고 노력해 왔지만, 그것은 단 하나의 벽돌 무게를 재서 트럭 한 짐 전체의 무게를 추측하려는 것과 같습니다. 그것은 느리고, 오차가 쌓입니다. 질문은 이것입니다. 작업을 마치기도 전에, 전체 비디오 더미의 총 시간을 예측할 수 있을까요? 그리고 진행하면서 더 똑똑해질 수 있을까요?

트리니티 칼리지 더블린(Trinity College Dublin)의 팀이 작성한 이 논문은 바로 그 문제를 다룹니다. 이들은 모든 비디오 클립을 하나씩 예측하는 대신, 비디오 전체 컬렉션(또는 "코퍼스(corpus)")을 압축하는 데 필요한 총 시간을 예측하는 새로운 종류의 "스마트 계산기"를 구축했습니다. 그들은 전체적인 큰 그림을 보는 것이 작은 조각들을 보는 것보다 훨씬 낫다는 것을 발견했습니다. 실제로, 전체 시간을 예측하는 그들의 방식은 개별 클립을 추측하는 기존 방식보다 두 배 이상 정확했습니다.

그들의 시스템이 어떻게 작동하는지 재미있는 비유를 통해 설명하겠습니다. 당신이 600개의 서로 다른 방을 페인트칠해야 하는 건설 현장의 현장 소장이라고 상상해 보십시오. 어떤 방은 작고 평범하며, 어떤 방은 거대하고 복잡한 벽화로 덮여 있습니다.

• 기존 방식 (클립당 예측): 당신은 작업을 시작하기 전에 모든 개별 방을 칠하는 데 시간이 얼마나 걸릴지 추측합니다. 당신은 벽화가 있는 방은 10시간, 옷장은 1분 걸릴 것이라고 추측할 수 있습니다. 하지만 단 하나의 추측이라도 틀리면, 전체 작업에 대한 총 추정치가 어긋나게 됩니다.
• 새로운 방식 (코퍼스 예측): 당신은 페인트칠을 시작합니다. 단 몇 개의 방(예: 작업의 2%)을 마친 후, 당신은 멈춰서서 지금까지 한 일을 살펴봅니다. 당신은 "아, 지금까지 칠한 방들은 평균적으로 각각 15분이 걸리는구나"라는 것을 깨닫습니다. 그런 다음 당신은 이 실제 데이터를 사용하여 남은 588개의 방이 얼마나 걸릴지 추측합니다.

저자들은 이 아이디어를 두 가지 다른 "페인트 도구"(x264 및 x265라고 불리는 비디오 코덱)와 600개의 고품질 4K 비디오 클립으로 구성된 거대한 데이터셋을 통해 테스트했습니다. 그들은 단순히 추측한 것이 아니라, 진행하면서 학습하는 시스템을 만들었습니다. 그들은 이를 "온라인 추론(online inference)"이라고 부릅니다. 이것은 정적인 지도를 처음에 주는 것이 아니라, 새로운 랜드마크를 지날 때마다 경로와 도착 시간을 업데이트하는 GPS와 같습니다.

그들은 다음과 같은 몇 가지 전략을 테스트했습니다:

1. "진행 바" 추측: 가장 단순한 방법입니다. 이는 이미 완료한 것들의 평균 시간과 나머지가 동일할 것이라고 가정합니다. 괜찮긴 하지만 아주 좋지는 않습니다.
2. "그룹화" 추측: 이 방법은 비디오를 복잡도에 따라 그룹(클러스터)으로 분류합니다(마치 방을 벽화가 있는 방과 평범한 벽이 있는 방으로 나누는 것처럼). 그리고 각 그룹 내에서 남은 방의 시간을 별도로 예측합니다. 이것은 더 나은 방법입니다.
3. "슈퍼 브레인" 추측 (머신 러닝): 이것은 XGBoost라고 불리는 스마트 알고리즘을 사용합니다. 이미 처리한 비디오의 세부 사항을 살펴보고, 나머지 부분을 예측하기 위해 복잡한 패턴을 학습합니다.

결과는 놀랍고 인상적이었습니다. 저자들은 전체 작업을 위해 "슈퍼 브레인"을 계속 사용할 필요가 없다는 것을 발견했습니다. 실제로 가장 좋은 전략은 혼합 방식입니다:

• 시작하기 전: 일반적인 "슈퍼 브레인" 모델을 사용하여 대략적인 아이디어를 얻습니다. x264 도구의 경우, 이 추측치는 총 시간의 약 13.5% 정도 오차가 있었습니다.
• 2% 완료 후: 실시간으로 학습하는 "온라인" 방식의 "슈퍼 브레인"으로 전환합니다. 이렇게 하면 오차가 약 8.75%로 떨어집니다.
• 6% 완료 후: 더 단순한 "그룹화" 방법으로 전환합니다. 놀랍게도 이 단순한 방법이 훨씬 더 정확해졌으며, 오차를 5% 미만(x264의 경우 4.89%, x265의 경우 5.11%)으로 낮추었습니다.

논문은 좋은 결과를 얻기 위해 모든 것에 대해 훈련된 단일하고 복잡한 모델이 반드시 필요하다는 생각에 명시적으로 반박합니다. 그들은 일반적인 모델(다른 소스에서 훈련된 모델)이 실제 작업이 시작된 후에는 오히려 성능이 떨어진다는 것을 보여주었습니다. 또한, 좋은 추정치를 얻기 위해 작업이 50% 또는 90% 완료될 때까지 기다릴 필요가 없다는 것도 증명했습니다. 아주 적은 양의 비디오만 처리한 후에도 매우 정확한 예측(오차 5% 미만)을 얻을 수 있습니다.

팀은 64코어의 강력한 컴퓨터에서 2초 또는 4초 길이의 600개 클립을 처리하며 이를 측정했습니다. 그들은 이 예측을 실행하는 데 필요한 "두뇌 전력"이 매우 작다는 것을 발견했습니다. 전체 프로세스에 0.2% 미만의 추가 시간만을 더했습니다. 이는 이 시스템이 실제 비디오 압축 속도를 늦추지 않고 실시간으로 사용될 수 있을 만큼 빠르다는 것을 의미합니다.

요약하자면, 이 논문은 거대한 비디오 작업이 얼마나 걸릴지 예측하는 데 있어서, "수정구슬"이 되기보다는 "학습하는 현장 소장"이 되는 것이 더 낫다는 점을 시사합니다. 적은 샘플의 작업량을 관찰하고 진행하면서 추측을 조정함으로써, 모든 단계를 사전에 예측하려고 노력하는 것보다 훨씬 높은 정확도로 총 비용과 시간을 예측할 수 있습니다. 이는 클라우드 기업이 비용을 절감하고 고객이 작업이 시작되기도 전에 자신이 무엇에 대해 비용을 지불하는지 정확히 알 수 있도록 도와줍니다.