⚡ electrical engineering

Learning QoE from Packet-Level Measurements in Encrypted Video Conferencing Traffic

Dit artikel stelt een lichtgewicht, op CNN gebaseerd framework voor dat nauwkeurig de Quality of Experience (QoE) metrieken van videoconferencing, zoals BRISQUE en MOS, voorspelt met uitsluitend versleutelde pakketgroottegegevens, waardoor ISP's prestaties kunnen beoordelen zonder toegang te krijgen tot de inhoud.

Oorspronkelijke auteurs: Michael Sidorov, Ofer Hadar

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Sidorov, Ofer Hadar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kwaliteit van een videogesprek probeert te beoordelen, maar het gesprek vindt plaats in een gesloten, geluiddichte glazen doos. Je kunt de gezichten niet zien en de stemmen niet horen (omdat de data versleuteld is), en je kunt de mensen binnenin zeker niet vragen hoe ze zich voelen. Je hebt alleen een raam waar je de grootte van de dozen ziet die heen en weer worden gegooid en hoe snel ze aankomen.

Dit is de uitdaging waar Internet Service Providers (ISP's) vandaag de dag voor staan. Ze willen weten of een gebruiker een "goede" of "slechte" video-ervaring heeft (Quality of Experience, of QoE), maar vanwege de moderne encryptie kunnen ze niet in de datapakketjes kijken. Ze zien alleen de "enveloppen" (pakketgrootte) en de timing.

Hier is hoe de auteurs van dit paper dit puzzelstukje hebben opgelost, eenvoudig uitgelegd:

1. Het Probleem: Het "Black Box"-mysterie

In de oude dagen konden ISP's in de datapakketjes kijken (zoals het openen van een brief) om te zien of de video wazig was of bevroor. Maar nu is bijna alles versleuteld. Het is alsof je probeert te raden wat de kwaliteit van een film is door alleen naar de bandensporen van de bezorgwagen te kijken.

Het Doel: Voorspellen hoe tevreden een gebruiker is met hun videogesprek (hun QoE) met alleen de grootte en de timing van de versleutelde datapakketjes.
De Moeilijkheid: De relatie tussen "pakketgrootte" en "gebruikersgeluk" is rommelig en niet-lineair. Het is geen simpele wiskundige formule; het is een complex patroon.

2. De Oplossing: De "qCNN"-detective

De auteurs hebben een nieuwe tool gebouwd genaamd qCNN (een lichtgewicht Convolutional Neural Network). Zie dit als een super slimme detective die patronen zoekt in de "bandensporen" om de filmkwaliteit te raden.

Zo werkt de detective stap voor stap:

Stap A: Een lijn veranderen in een plaatje (De EMBD-module)

Normaal gesproken komt data binnen als een lange, platte lijn van getallen (pakketgroottes over de tijd). De auteurs realiseerden zich dat het voor een computer moeilijk is om complexe patronen te vinden in een lange lijn.

De Analogie: Stel je voor dat je een lange filmstrook hebt. Het is moeilijk om in één keer het hele verhaal te zien. Dus namen ze die strook en vouwden deze tot een vierkant rooster, waardoor de lijn van getallen veranderde in een klein beeld.
Waarom? Computers zijn erg goed in het herkennen van vormen in afbeeldingen (zoals het herkennen van een kat op een foto). Door de datastroom in een "plaatje" te veranderen, kan de computer verborgen patronen ontdekken die op vormen lijken, in plaats van alleen een lijst met getallen.

Stap B: Het "ResNet"-oog (De HEAD-module)

Zodra de data een "plaatje" is, voeren ze het aan een vooraf getraind oog genaamd ResNet-18.

De Analogie: Dit is alsof je een detective inhuurt die al jarenlang duizenden foto's van katten, honden en auto's heeft bestudeerd. Hoewel het "plaatje" hier geen echte foto van een kat is, is het brein van de detective al getraind om randen, krommen en texturen te herkennen.
De Truc: Ze hebben de detective niet vanaf nul getraind (wat veel tijd en veel data kost). Ze gebruikten een "pre-trained" brein en leerden het slechts een paar nieuwe trucjes die specifiek zijn voor videogesprekken. Dit maakte het systeem snel en nauwkeurig, zelfs met beperkte data.

Stap C: De Voorspelling (De PRED-module)

Ten slotte kijkt de detective naar de patronen die hij in het "beeld" heeft gevonden en geeft een score.

De Score: Het voorspelt twee dingen:
1. BRISQUE: Een computerscore voor hoe "wazig" of "vervormd" het beeld eruitziet (0 tot 100, waarbij lager beter is).
2. MOS: Een "Mean Opinion Score", wat in feep essentieel een gok is naar wat een mens de oproep zou geven (1 tot 5 sterren).

3. Het Geheime Ingrediënt: "Saw-LR" Learning

Om deze detective te trainen, gebruikten de auteurs een speciaal trainingsschema genaamd Saw-LR.

De Analogie: Stel je voor dat je een student leert rennen. Als je ze vertelt dat ze voor altijd op dezelfde snelheid moeten rennen, kunnen ze in een sleur terechtkomen. In plaats daarvan lieten de auteurs hen snel rennen, dan langzamer, dan weer sneller, en dan nóg langzamer.
De "Zaag"-vorm: De leersnelheid gaat omhoog en omlaag zoals de tanden van een zaag. Dit helpt de computer om uit "slechte plekken" (lokale minima) te "springen" en de beste mogbare oplossing te vinden, in plaats dat hij halverwege blijft steken.

4. Wat ze hebben getest

Ze hebben hun systeem getest op echte videogesprekken van WhatsApp en Zoom.

De Opstelling: Ze simuleerden slecht internet (langzame snelheid, verloren pakketjes) en namen het verkeer op.
Het Resultaat: Hun "qCNN"-detective was beter dan alle andere methoden waarmee ze het hebben vergeleken.
- Het versloeg traditionele wiskundige modellen.
- Het versloeg andere complexe AI-modellen (zoals LSTM en TCN).
- Het werkte verrassend goed, zelfs met een kleine dataset (Zoom had slechts 500 monsters), wat bewijst dat het geen enorme bibliotheek aan data nodig heeft om slim te zijn.

5. Belangrijkste Punten

Niet spieken toegestaan: Je hoeft encryptie niet te breken om te weten of een videogesprek slecht is. Je hoeft alleen maar naar de "envelopgroottes" en "leveringstijden" te kijken.
Vorm doet ertoe: Het veranderen van een lijst met getallen in een 2D "afbeelding" helpt AI om veel beter patronen te vinden.
Simpel is Krachtig: Je hebt geen supercomputer nodig. Dit systeem is lichtgewicht, gemakkelijk te bouwen en draait efficiënt.
De "Stationaire" Aanwijzing: Ze ontdekten dat wanneer het netwerkverkeer "saai" en stabiel is (stationair), het gesprek meestal goed is. Wanneer het verkeer "druk" en chaotisch is (niet-stationair), is de kwaliteit van het gesprek meestal aan het dalen.

Samenvatting

De auteurs hebben een slimme, lichtgewicht AI gebouwd die fungeert als een verkeerspatroon-detective. Door versleutelde datastromen te veranderen in kleine afbeeldingen en een vooraf getraind "oog" te gebruiken om vormen te herkennen, kan het nauwkeurig voorspellen hoe tevreden een gebruiker is met hun videogesprek, zonder ooit de video of de audio te zien. Het is een nieuwe manier om het internet soepel te laten verlopen, zelfs wanneer de inhoud vergrendeld is.

Technische Samenvatting: Leren van QoE uit pakketniveau-metingen in versleuteld videovergaderingsverkeer

Probleemstelling

De proliferatie van video-vergaderingsapplicaties (VCA's) zoals Zoom en WhatsApp, versneld door de verschuiving naar werken op afstand na de pandemie, heeft de behoefte aan robuuste Quality of Experience (QoE)-monitoring vergroot. Terwijl Content Providers (CP's) de kwaliteit kunnen beoordelen door verzonden en ontvangen gegevens te vergelijken, worden Internet Service Providers (ISP's) geconfronteerd met aanzienlijke uitdagingen door de wijdverbreide adoptie van end-to-end encryptie. Deze encryptie maakt traditionele Deep Packet Inspection (DPI) ineffectief, aangezien ISP's geen toegang hebben tot de payload-inhoud om de kwaliteit te evalueren.

Als gevolg hiervan moeten ISP's vertrouwen op passieve metingen van ongeëncrypteerde verkeerseigenschappen (Quality of Service, of QoS) om QoE af te leiden. De relatie tussen QoS-metrieken (bijv. pakketverlies, jitter) en de door de gebruiker ervaren QoE is echter hoogst niet-lineair en complex. Bestaande machine learning (ML) en deep learning (DL) benaderingen lijden vaak aan overfitting op kleine datasets, vertrouwen op applicatieniveau-kenmerken die niet beschikbaar zijn in versleuteld verkeer, of vereisen computationeel dure architecturen die ongeschikt zijn voor real-time implementatie. Bov�elijke vertrouwen veel bestaande modellen op handmatige statistische kenmerken of specifieke applicatie-indicatoren (bijv. rebuffering-events) die voor netwerkbeheerders ontoegankelijk zijn.

Methodologie

De auteurs stellen qCNN voor, een lichtgewicht, eenvoudig maar effectief framework voor het voorspellen van QoE-metrieken (specifiek BRISQUE en Mean Opinion Score, of MOS) met behulp van uitsluitend laag-niveau pakketmetingen uit versleuteld verkeer. Het framework werkt zonder informatie op applicatieniveau of payload-inspectie.

1. Input Kenmerken

Het model maakt gebruik van twee primaire laag-niveau verkeerseigenschappen geëxtraheerd uit versleutelde stromen:

Pakketgrootte (PCKT): De grootte van individuele pakketten.
Pakket Inter-Arrival Time (PIAT): Het tijdsinterval tussen opeenvolgende pakketten.
Deze kenmerken worden geaggregeerd over intervallen van 0,5 seconde. De auteurs hypothetiseren dat deze metingen de operationele staat van het communicatiekanaal weerspiegelen (bijv. compressieniveaus, congestie, reconnectie-events) en dienen als indirecte indicatoren van de perceptuele kwaliteit.

2. Architectuur: qCNN

De architectuur bestaat uit drie afzonderlijke modules:

Embedding (EMBD) Module: Een innovatieve component die de een-dimensionale sequentie van verkeersmetingen transformeert naar een twee-dimensionale representatie. In tegen tegenstelling tot eerdere benaderingen die gebruikmaken van vaste rij-stapeling, gebruikt deze module een leerbare $1 \times 1$ convolutionele laag om een "inflatie"-operatie uit te voeren. Dit creëert een $M \times M$ tensor, waardoor het netwerk in staat is om gewogen combinaties en interacties tussen inputkenmerken te leren terwijl de structurele informatie behouden blijft.
Head (HEAD) Module: Een Convolutional Neural Network (CNN) feature extractor gebaseerd op de ResNet-18 architectuur. Deze module verwerkt de 2D-embedded representatie om lokaal saillante kenmerken te extraheren. De auteurs maken gebruik van transfer learning door de HEAD-module te initialiseren met gewichten die vooraf zijn getraind op ImageNet-1K. Om de balans tussen prestaties en computationele kosten te bewaren, zijn de eerste twee residual blocks bevroren, terwijl de resterende lagen worden gefinetuned.
Predictor (PRED) Module: Een volledig verbonden laag (fully connected layer) die de hoog-niveau kenmerken geëxtraheerd door de HEAD-module mapt naar een scalaire output die de voorspelde QoE-metriek representeert.

3. Training en Optimalisatiestrategieën

Data Augmentatie: Om robuustheid en generalisatie te verbeteren, past de trainingspipeline additieve Gaussische ruis toe en een willekeurige permutatie van elementen binnen de inputvector met een waarschijnlijkheid van 0,2.
Learning Rate Schedule: De auteurs introduceren een Saw-LR schema, een cyclische learning rate strategie geïnspireerd door het werk van Smith. Dit schema verlaagt de learning rate geleidelijk met periodieke pieken om de optimizer te helpen uit lokale minima te ontsnappen, wat superieure prestaties laat zien vergeleken met vaste learning rates.
Regularisatie: Dropout wordt toegepast met een lage waarschijnlijkheid ( $p=0,01$ ) na de initiële convergentiefase om overfitting te voorkomen.

4. Datasets

De studie maakt gebruik van twee aangepaste datasets die zijn verzameld onder gecontroleerde experimentele omstandigheden:

WhatsApp (WA) Dataset: 107 videosessies (elk 4 minuten lang) gelabeld met BRISQUE (een objectieve, no-reference beeldkwaliteitsmetriek). De dataset bevat 10.607 samples met variërende bandbreedte en pakketverliescondities.
Zoom (ZO) Dataset: 30 videoclips (elk 6 seconden lang) gelabeld met Mean Opinion Score (MOS), een subjectieve kwaliteitsmetriek afgeleid van menselijke beoordelingen. Deze dataset bevat 500 samples.

Belangrijkste Bijdragen

Innovatief Framework: Introductie van qCNN, een CNN-gebaseerd framework voor QoE-voorspelling vanuit passieve, laag-niveau verkeersmetingen in versleutelde kanalen, waardoor de noodzaak voor informatie op applicatieniveau wordt geëlimineerd.
Leerbare 1D-naar-2D Transformatie: Ontwikkeling van de EMBD module, die leert om verkeerssequenties te transformeren naar een 2D-feature space, wat de capaciteit van de CNN om complexe afhankelijkheden te leren verbetert ten opzichte van handmatige of statische transformaties.
Onderzoek naar Verkeersstationariteit: Onderzoek naar de stationariteitsaspecten van laag-niveau verkeer. De studie toont aan dat niet-stationaire signalen (die duiden op netwerkveranderingen of degradatie) vaak informatiever zijn voor QoE-voorspelling dan stationaire signalen.
Open Datasets: Publieke release van twee aangepaste QoE-datasets (WhatsApp en Zoom), waarbij de Zoom-dataset een zeldzame bron is die geannoteerd is met subjectieve MOS-labels voor videovergaderingen.
Prestatiebenchmarking: Demonstratie dat het voorgestelde framework een superieure voorspellende prestatie bereikt vergeleken met klassieke ML-modellen (SVM, Random Forest, XGBoost) en andere DL-architecturen (LSTM, TCN, CNNQoE).

Experimentele Resultaten

Het qCNN-model werd geëvalueerd met 5-voudige cross-validatie tegen een reeks baseline-modellen.

WhatsApp Dataset (BRISQUE): qCNN behaalde de beste prestaties over alle metrieken, met een Mean Absolute Percentage Error (MAPE) van 7,16%, een Root Mean Squared Error (RMSE) van 6,70, en een Linear Correlation Coefficient (LCC) van 0,88. Het presteerde significant beter dan het op één na beste model (CatBoost) en presteerde vele malen beter dan andere DL-modellen zoals TCN en LSTM-QoE, die in sommige metrieken een negatieve of bijna nul correlatie vertoonden.
Zoom Dataset (MOS): Ondanks de kleine datasetgrootte van 500 samples, behaalde qCNN de laagste MAPE (9,04%) en Mean Absolute Error (MAE, 0,2764) van alle geteste modellen. Het demonstreerde robuustheid in condities met beperkte data, hoewel de auteurs opmerken dat er statistische beperkingen zijn bij het trekken van sterke conclusies uit een zo kleine steekproef.

Ablatie-studies bevestigden dat de CNN HEAD-module en het Saw-LR learning rate schema de meest kritieke componenten waren voor de prestaties. Het verwijderen van de CNN-laag resulteerde in een catastrofale daling in prestaties, en het gebruik van vaste learning rates leverde inferieure resultaten op vergeleken met het voorgestelde Saw-LR schema.

Betekenis en Claims

Het artikel claimt dat qCNN een eenvoudige, gemakkelijk te implementeren en computationeel efficiënte oplossing biedt voor QoE-voorspelling in versleuteld verkeer. Door uitsluitend te vertrouwen op pakketgroottes en inter-arrival tijden, stelt het framework ISP's in staat om de gebruikerservaring te monitoren zonder de privacy te schenden of toegang te vereisen tot decryptiesleutels.

De auteurs benadrukken dat het vermogen van het framework om transfer learning (via ImageNet pre-trained gewichten) en leerbare embeddings te benutten, het effectief laat generaliseren, zelfs met relatief kleine datasets. Zij positioneren het werk als een stap naar bredere toegankelijkheid in QoE-monitoring, met een open-source oplossing die de huidige state-of-the-art modellen in voorspellingsnauwkeurigheid overtreft terwijl de lage computationele overhead behouden blijft, geschikt voor edge en IoT-implementatie.

Het artikel blijft bescheiden over de reikwijdte en erkent dat de Zoom-dataset klein is en dat toekomstig werk nodig is om het model te valideren op grotere, diversere datasets en over een breder scala aan videovergaderingsplatforms. Het suggereert ook dat het verkennen van diepere ResNet-varianten en transformer-gebaseerde architecturen een veelbelovende richting vormt voor toekomstig onderzoek.