Predicting total time to compress a video corpus using online inference systems

Imagina que diriges una biblioteca digital masiva donde la gente deja constantemente miles de archivos de video para que sean reducidos para su transmisión. Este proceso, llamado "compresión", es como empacar una maleta: tienes que doblar y apretar los datos del video para que ocupen menos espacio, pero cuanto más difícil es doblar el video (mucho movimiento rápido o texturas complejas), más tarda el proceso. En el mundo de la computación en la nube, saber exactamente cuánto tiempo tomará este trabajo de empaque es algo crucial. Ayuda a las empresas a determinar cuánta energía necesitan consumir y, lo que es más importante, cuánto cobrar a sus clientes. Actualmente, la mayoría de los sistemas actúan como un chef con los ojos vendados; solo te dicen el precio de la comida después de que ya la has comido. Esto hace que la presupuestación sea una pesadilla. Los científicos han intentado predecir el tiempo para cada clip de video individual, pero eso es como intentar adivinar el peso total de un camión lleno de ladrillos pesando solo un ladrillo a la vez. Es lento y los errores se acumulan. La gran pregunta es: ¿podemos predecir el tiempo total para todo el montón de videos antes de siquiera terminar el trabajo, y podemos volvernos más inteligentes al respecto a medida que avanzamos?

Este artículo, escrito por un equipo de la Universidad de Trinity College Dublin, aborda exactamente ese problema. En lugar de adivinar el tiempo para cada clip de video uno por uno, construyeron un nuevo tipo de "calculadora inteligente" que predice el tiempo total necesario para comprimir una colección completa (o "corpus") de videos. Descubrieron que mirar el panorama general es mucho mejor que mirar las piezas pequeñas. De hecho, su método de predecir el tiempo total para todo el grupo fue más del doble de preciso que el viejo método de adivinar por clip.

Así es como funciona su sistema, usando una analogía divertida. Imagina que eres un capataz en una obra de construcción con 600 habitaciones diferentes para pintar. Algunas habitaciones son diminutas y sencillas; otras son enormes y están cubiertas de murales intrincados.

• La forma antigua (Predicción por clip): Intentas adivinar cuánto tiempo tomará pintar cada una de las habitaciones antes de empezar. Podrías adivinar que la habitación con el mural toma 10 horas y el armario 1 minuto. Pero si cometes un error incluso en un solo cálculo, tu estimación total para todo el trabajo estará equivocada.
• La nueva forma (Predicción de corpus): Empiezas a pintar. Después de haber terminado solo unas pocas habitaciones (digamos, el 2% del trabajo), te detienes y observas lo que has hecho. Te das cuenta de: "Oye, las habitaciones que he pintado hasta ahora están tomando 15 minutos cada una en promedio". Luego usas esos datos del mundo real para adivinar cuánto tomarán las 588 habitaciones restantes.

Los autores probaron esta idea con dos "herramientas de pintura" diferentes (códecs de video llamados x264 y x265) y un enorme conjunto de datos de 600 clips de video 4K de alta calidad. No solo adivinaron; construyeron un sistema que aprende sobre la marcha. Ellos lo llaman "inferencia en línea" (online inference). Es como un GPS que actualiza tu ruta y el tiempo de llegada cada vez que pasas por un nuevo punto de referencia, en lugar de darte un mapa estático al principio.

Probaron varias estrategias:

1. El "Adivino de la barra de progreso": Este es el método más simple. Simplemente asume que el resto de los videos tomarán el mismo tiempo promedio que los que ya has terminado. Está bien, pero no es grandioso.
2. El "Adivino de agrupación": Este método clasifica los videos en grupos (clústeres) basados en qué tan complejos parecen (como clasificar habitaciones por si tienen murales o paredes lisas). Predice el tiempo para las habitaciones restantes en cada grupo por separado. Esto es mejor.
3. El "Adivino Supercerebral" (Aprendizaje Automático): Utiliza un algoritmo inteligente llamado XGBoost. Observa los detalles de los videos que ya has procesado y aprende un patrón complejo para predecir el resto.

Los resultados fueron sorprendentes e impresionantes. Los autores descubrieron que no necesitas usar el "Supercerebro" para todo el trabajo. De hecho, la mejor estrategia es un enfoque de combinación:

• Antes de empezar: Usa un modelo "Supercerebral" general para tener una idea aproximada. Para la herramienta x264, este cálculo falló por aproximadamente un 13.5% del tiempo total.
• Después de completar el 2%: Cambia al "Supercerebro" que aprende sobre la marcha (en línea). Esto reduce el error a un 8.75% aproximadamente.
• Después de completar el 6%: Cambia al método más simple de "Agrupación". Sorprendentemente, este método simple se volvió aún más preciso, bajando el error a poco menos del 5% (4.89% para x264 y 5.11% para x265).

El artículo argumenta explícitamente contra la idea de que necesitas un único modelo complejo entrenado con todo para obtener buenos resultados. Demostraron que los modelos generales (entrenados con datos de otras fuentes) en realidad funcionaron peor una vez que comenzó el trabajo real. También probaron que no necesitas esperar hasta que el trabajo esté al 50% o al 90% para obtener una buena estimación; puedes obtener predicciones muy precisas (con menos del 5% de error) tras procesar solo una fracción minúscula de los videos.

El equipo midió esto en una computadora potente con 64 núcleos, procesando 600 clips que duraban 2 o 4 segundos. Encontraron que la "potencia cerebral" necesaria para ejecutar estas predicciones era mínima, añadiendo menos del 0.2% de tiempo extra a todo el proceso. Esto significa que el sistema es lo suficientemente rápido como para ser usado en tiempo real sin ralentizar la compresión de video real.

En resumen, el artículo sugiere que para predecir cuánto tiempo tomará un trabajo de video masivo, es mejor ser un "capataz que aprende" que una "bola de cristal". Al observar una pequeña muestra del trabajo y ajustar tu suposición a medida que avanzas, puedes predecir el costo y el tiempo total con mucha más precisión que tratando de adivinar cada paso por adelantado. Esto ayuda a las empresas de la nube a ahorrar dinero y permite a los clientes saber exactamente qué están pagando antes de que el trabajo comience.