⚡ electrical engineering

Learning QoE from Packet-Level Measurements in Encrypted Video Conferencing Traffic

Este artículo propone un marco ligero basado en CNN que predice con precisión métricas de la calidad de la experiencia (QoE) de videoconferencias como BRISQUE y MOS utilizando únicamente datos de tamaño de paquetes cifrados, lo que permite a los ISP evaluar el rendimiento sin acceder al contenido.

Autores originales: Michael Sidorov, Ofer Hadar

Publicado 2026-06-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michael Sidorov, Ofer Hadar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de juzgar la calidad de una videollamada, pero la conversación está ocurriendo dentro de una caja de cristal blindada y a prueba de sonido. No puedes ver los rostros ni oír las voces (porque los datos están encriptados), y ciertamente no puedes preguntar a las personas dentro de cómo se sienten. Todo lo que tienes es una ventana donde puedes ver el tamaño de las cajas que se lanzan de un lado a otro y qué tan rápido están llegando.

Este es el desafío que enfrentan los Proveedores de Servicios de Internet (ISP) hoy en día. Quieren saber si un usuario está teniendo una experiencia de videollamada "buena" o "mala" (llamada Calidad de Experiencia, o QoE), pero debido a la encriptación de seguridad moderna, no pueden mirar dentro de los paquetes de datos. Solo ven los "sobres" (tamaño de los paquetes) y el tiempo.

Aquí es cómo los autores de este artículo resolvieron este rompecabezas, explicado de forma sencilla:

1. El Problema: El misterio de la "Caja Negra"

En los viejos tiempos, los ISP podían echar un vistazo dentro de los paquetes de datos (como abrir una carta) para ver si el video estaba borroso o congelado. Pero ahora, casi todo está encriptado. Es como intentar adivinar la calidad de una película solo observando las huellas de los neumáticos del camión de reparto.

El Objetivo: Predecir qué tan feliz está un usuario con su videollamada (su QoE) usando solo el tamaño y el tiempo de los paquetes de datos encriptados.
La Dificultad: La relación entre el "tamaño del paquete" y la "felicidad del usuario" es desordenada y no lineal. No es una fórmula matemática simple; es un patrón complejo.

2. La Solución: El detective "qCNN"

Los autores construyeron una nueva herramienta llamada qCNN (una Red Neuronal Convolucional ligera). Piensa en esto como un detective superinteligente que busca patrones en las "huellas de los neumáticos" para adivinar la calidad de la película.

Así es como funciona el detective, paso a paso:

Paso A: Convertir una línea en una imagen (El módulo EMBD)

Normalmente, los datos llegan como una línea larga y plana de números (tamaños de paquetes a lo largo del tiempo). Los autores se dieron cuenta de que observar una línea larga es difícil para que una computadora encuentre patrones complejos.

La Analogía: Imagina que tienes una tira larga de película. Es difícil ver toda la historia a la vez. Así que tomaron esa tira y la plegaron en una cuadrícula cuadrada, convirtiendo la línea de números en una pequeña imagen.
¿Por qué? Las computadoras son muy buenas reconociendo formas en imágenes (como reconocer un gato en una foto). Al convertir el flujo de datos en una "imagen", la computadora puede detectar patrones ocultos que parecen formas, en lugar de solo una lista de números.

Paso B: El ojo "ResNet" (El módulo HEAD)

Una vez que los datos son una "imagen", la pasan a un ojo preentrenado llamado ResNet-18.

La Analogía: Esto es como contratar a un detective que ya ha pasado años estudiando miles de fotos de gatos, perros y autos. Aunque la "imagen" aquí no es una foto real de un gato, el cerebro del detective ya está entrenado para detectar bordes, curvas y texturas.
El Truco: No entrenaron al detective desde cero (lo cual toma mucho tiempo y muchos datos). Usaron un cerebro "preentrenado" y solo le enseñaron algunos trucos nuevos específicos para las videollamadas. Esto hizo que el sistema fuera rápido y preciso incluso con datos limitados.

Paso C: La Predicción (El módulo PRED)

Finalmente, el detective observa los patrones que encontró en la "imagen" y da una puntuación.

La Puntuación: Predice dos cosas:
1. BRISQUE: Una puntuación computacional de qué tan "borrosa" o "distorsionada" se ve la imagen (de 0 a 100, donde menor es mejor).
2. MOS: Una "Media de Opinión (Mean Opinion Score)", que es básicamente una suposición de cómo un humano calificaría la llamada (de 1 a 5 estrellas).

3. El ingrediente secreto: Aprendizaje "Saw-LR"

Para enseñar a este detective, los autores utilizaron un esquema de entrenamiento especial llamado Saw-LR.

La Analogía: Imagina enseñarle a un estudiante a correr. Si le dices que corra a la misma velocidad para siempre, podría quedarse estancado en una rutina. En su lugar, los autores hicieron que el estudiante corriera rápido, luego lento, luego rápido de nuevo, luego más lento aún más.
La Forma de "Sierra" (Saw): La tasa de aprendizaje sube y baja como los dientes de una sierra. Esto ayuda a la computadora a "saltar" fuera de los malos puntos (mínimos locales) y encontrar la mejor solución posible, en lugar de quedarse estancada a mitad de camino.

4. Lo que Probaron

Probaron su sistema con videollamadas reales de WhatsApp y Zoom.

La Configuración: Simularon un internet malo (velocidad lenta, pérdida de paquetes) y grabaron el tráfico.
El Resultado: Su detective "qCNN" fue mejor que todos los otros métodos con los que lo compararon.
- Superó a los modelos matemáticos tradicionales.
- Superó a otros modelos de IA complejos (como LSTM y TCN).
- Funcionó sorprendentemente bien incluso con un conjunto de datos pequeño (Zoom tenía solo 500 muestras), demostrando que no necesita una biblioteca masiva de datos para ser inteligente.

5. Conclusiones Clave

No se permite espiar: No necesitas romper la encriptación para saber si una videollamada es mala. Solo necesitas mirar los "tamaños de los sobres" y los "tiempos de entrega".
La forma importa: Convertir una lista de números en una "imagen" 2D ayuda a la IA a encontrar patrones mucho mejor.
Lo simple es poderoso: No necesitas una supercomputadora. Este sistema es ligero, fácil de construir y funciona de manera eficiente.
La pista "Estacionaria": Descubrieron que cuando el tráfico de red es "aburrido" y constante (estacionario), la llamada suele ser buena. Cuando el tráfico es "saltarín" y caótico (no estacionario), la calidad de la llamada suele estar cayendo.

Resumen

Los autores construyeron una IA inteligente y ligera que actúa como un detective de patrones de tráfico. Al convertir flujos de datos encriptados en pequeñas imágenes y usar un "ojo" preentrenado para detectar formas, puede adivinar con precisión qué tan feliz está un usuario con su videollamada, todo sin haber visto nunca el video o escuchado el audio. Es una nueva forma de mantener el internet funcionando sin problemas, incluso cuando el contenido está bajo llave.

Resumen Técnico: Aprendizaje de la QoE a partir de Mediciones a Nivel de Paquete en Tráfico de Videoconferencia Cifrado

Planteamiento del Problema

La proliferación de aplicaciones de videoconferencia (VCA), como Zoom y WhatsApp, acelerada por el cambio hacia el trabajo remoto tras la pandemia, ha aumentado la necesidad de un monitoreo robusto de la Calidad de la Experiencia (QoE). Mientras que los Proveedores de Contenido (CP) pueden evaluar la calidad comparando los datos transmitidos y recibidos, los Proveedores de Servicios de Internet (ISP) enfrentan desafíos significativos debido a la adopción generalizada del cifrado de extremo a extremo. Este cifrado hace que la Inspección Profunda de Paquetes (DPI) tradicional sea ineficaz, ya que los ISP no pueden acceder al contenido de la carga útil para evaluar la calidad.

En consecuencia, los ISP deben confiar en mediciones pasivas de las características del tráfico no cifrado (Calidad de Servicio, o QoS) para inferir la QoE. Sin embargo, la relación entre las métricas de QoS (por ejemplo, pérdida de paquetes, jitter) y la QoE percibida por el usuario es altamente no lineal y compleja. Los enfoques existentes de aprendizaje automático (ML) y aprendizaje profundo (DL) a menudo sufren de sobreajuste en conjuntos de datos pequeños, dependen de características a nivel de aplicación que no están disponibles en el tráfico cifrado, o requieren arquitecturas computacionalmente costosas que no son adecuadas para el despliegue en tiempo real. Además, muchos modelos existentes dependen de características estadísticas hechas a mano o indicadores específicos de la aplicación (por ejemplo, eventos de rebuffering) que son inaccesibles para los operadores de red.

Metodología

Los autores proponen qCNN, un marco ligero, simple y efectivo para predecir métricas de QoE (específicamente BRISQUE y el Mean Opinion Score, o MOS) utilizando únicamente mediciones de bajo nivel de paquetes de tráfico cifrado. El marco opera sin información a nivel de aplicación ni inspección de carga útil.

1. Características de Entrada

El modelo utiliza dos características de tráfico de bajo nivel extraídas de flujos cifrados:

Tamaño de Paquete (PCKT): El tamaño de los paquetes individuales.
Tiempo de Interarribo de Paquetes (PIAT): El intervalo de tiempo entre paquetes consecutivos.
Estas características se agregan en intervalos de 0.5 segundos. Los autores plantean la hipótesis de que estas mediciones reflejan el estado operativo del canal de comunicación (por ejemplo, niveles de compresión, congestión, eventos de reconexión) y sirven como indicadores indirectos de la calidad perceptual.

2. Arquitectura: qCNN

La arquitectura consta de tres módulos distintos:

Módulo de Incrustación (EMBD): Un componente novedoso que transforma la secuencia unidimensional de mediciones de tráfico en una representación bidimensional. A diferencia de otros enfoques que utilizan el apilamiento de filas fijo, este módulo emplea una capa convolucional de $1 \times 1$ aprendible para realizar una operación de "inflación". Esto crea un tensor de $M \times M$ , permitiendo que la red aprenda combinaciones e interacciones ponderadas entre las características de entrada mientras preserva la información estructural.
Módulo de Cabezal (HEAD): Un extractor de características de Red Neuronal Convolucional (CNN) basado en la arquitectura ResNet-18. Este módulo procesa la representación incrustada 2D para extraer características localmente salientes. Los autores utilizan el aprendizaje por transferencia, inicializando el módulo HEAD con pesos preentrenados en ImageNet-1K. Para equilibrar el rendimiento y el costo computacional, los dos primeros bloques residuales se congelan, mientras que las capas restantes se ajustan (fine-tuning).
Módulo Predictor (PRED): Una capa totalmente conectada que mapea las características de alto nivel extraídas por el módulo HEAD a una salida escalar que representa la métrica de QoE predicha.

3. Estrategias de Entrenamiento y Optimización

Aumento de Datos: Para mejorar la robustez y la generalización, el flujo de entrenamiento aplica ruido Gaussiano aditivo y una permutación aleatoria de los elementos dentro del vector de entrada con una probabilidad de 0.2.
Programación de la Tasa de Aprendizaje: Los autores introducen una programación Saw-LR, una estrategia de tasa de aprendizaje cíclica inspirada en el trabajo de Smith. Esta programación reduce gradualmente la tasa de aprendizaje con picos periódicos para ayudar al optimizador a escapar de los mínimos locales, demostrando un rendimiento superior en comparación con las tasas de aprendizaje fijas.
Regularización: Se emplea Dropout con una probabilidad baja ( $p=0.01$ ) después de la fase de convergencia inicial para evitar el sobreajuste.

4. Conjuntos de Datos

El estudio utiliza dos conjuntos de datos personalizados recolectados bajo condiciones experimentales controladas:

Conjunto de Datos WhatsApp (WA): 107 sesiones de video (4 minutos cada una) etiquetadas con BRISQUE (una métrica de calidad de imagen objetiva, sin referencia). El conjunto de datos contiene 10,607 muestras con variaciones en las condiciones de ancho de banda y pérdida de paquetes.
Conjunto de Datos Zoom (ZO): 30 clips de video (6 segundos cada uno) etiquetados con Mean Opinion Score (MOS), una métrica de calidad subjetiva derivada de calificaciones humanas. Este conjunto de datos contiene 500 muestras.

Contribuciones Clave

Marco Novedoso: Introducción de qCNN, un marco basado en CNN para la predicción de la QoE a partir de mediciones pasivas de bajo nivel en canales cifrados, eliminando la necesidad de información a nivel de aplicación.
Transformación de 1D a 2D Aprendible: Desarrollo del módulo EMBD, que aprende a transformar secuencias de tráfico en un espacio de características 2D, mejorando la capacidad de la CNN para capturar dependencias complejas en comparación con las transformaciones manuales o estáticas.
Análisis de Estacionariedad del Tráfico: Investigación de las propiedades de estacionariedad del tráfico de bajo nivel. El estudio demuestra que las señales no estacionarias (que indican cambios o degradación en la red) suelen ser más informativas para la predicción de la QoE que las señales estacionarias.
Conjuntos de Datos Abiertos: Lanzamiento público de dos conjuntos de datos de QoE personalizados (WhatsApp y Zoom), siendo el conjunto de datos de Zoom un recurso poco común anotado con etiquetas de MOS subjetivas para videoconferencia.
Evaluación de Rendimiento: Demostración de que el marco propuesto logra un rendimiento de predicción superior en comparación con modelos clásicos de ML (SVM, Random Forest, XGBoost) y otras arquitecturas de DL (LSTM, TCN, CNNQoE).

Resultados Experimentales

El modelo qCNN fue evaluado mediante validación cruzada de 5 pliegues (5-fold cross-validation) contra un conjunto de modelos base.

Conjunto de Datos WhatsApp (BRISQUE): qCNN logró el mejor desempeño en todas las métricas, con un Error Porcentual Absoluto Medio (MAPE) del 7.16%, una Raíz del Error Cuadrático Medio (RMSE) de 6.70 y un Coeficiente de Correlación Lineal (LCC) de 0.88. Superó significativamente al siguiente mejor modelo (CatBoost) y superó ampliamente a otros modelos de DL como TCN y LSTM-QoE, que mostraron una correlación negativa o cercana a cero en algunas métricas.
Conjunto de Datos Zoom (MOS): A pesar del pequeño tamaño del conjunto de datos (500 muestras), qCNN logró el MAPE más bajo (9.04%) y el Error Absoluto Medio (MAE, 0.2764) entre todos los modelos probados. Demostró robustez en condiciones de datos limitados, aunque los autores señalan las limitaciones estadísticas al extraer conclusiones sólidas de una muestra tan pequeña.

Los Estudios de Ablación confirmaron que el módulo de cabezal CNN y la programación de la tasa de aprendizaje Saw-LR fueron los componentes más críticos para el rendimiento. Eliminar la capa CNN resultó en una caída catastrófica del rendimiento, y el uso de tasas de aprendizaje fijas produjo resultados inferiores en comparación con la propuesta de la programación Saw-LR.

Significado y Reivindicaciones

El artículo afirma que qCNN proporciona una solución simple, fácil de implementar y computacionalmente eficiente para la predicción de la QoE en el tráfico cifrado. Al depender únicamente de los tamaños de los paquetes y los tiempos de interarribo, el marco permite a los ISP monitorear la experiencia del usuario sin violar la privacidad ni requerir acceso a claves de descifrado.

Los autores enfatizan que la capacidad del marco para aprovechar el aprendizaje por transferencia (mediante pesos preentrenados de ImageNet) y las incrustaciones aprendibles le permite generalizar efectivamente incluso con conjuntos de datos relativamente pequeños. Posicionan este trabajo como un paso hacia una mayor accesibilidad en el monitoreo de la QoE, ofreciendo una solución de código abierto que supera a los modelos de vanguardia previos en precisión de predicción, manteniendo un bajo costo computacional adecuado para el despliegue en el borde (edge) e IoT.

El artículo mantiene la modestia respecto a su alcance, reconociendo que el conjunto de datos de Zoom es pequeño y que se requiere trabajo futuro para validar el modelo en conjuntos de datos más grandes y diversos, así como en una gama más amplia de plataformas de videoconferencia. También sugiere que explorar variantes más profundas de ResNet y arquitecturas basadas en Transformers representa una dirección prometedora para la investigación futura.