Playback Quality Anomalies Associated with Rapid Swiping in Short Videos: Model-Attributed Association Estimation and Risk Prediction

Wanneer je door een korte video op je telefoon scrolt, probeert de app constant te raden wat je als volgende wilt zien. De app vertrouwt zwaar op hoe lang je een fragment bekijkt en hoe snel je het wegswipet. Als je lang kijkt, gaat het systeem ervan uit dat je het leuk vond; als je er bijna onmiddellijk voorbij swipet, gaat het systeem ervan uit dat je je verveelde. Deze logica lijkt deugdelijk, maar mist een cruciaal detail: soms swipen mensen onmiddellijk weg, niet omdat ze de inhoud niet leuk vinden, maar omdat de video simpelweg weigerde af te spelen. Een trage start, een bevroren scherm of een haperende verbinding kan ervoor zorgen dat een kijker een video verlaat die hij anders misschien wel had kunnen waarderen. Voor de algoritmen die deze apps aansturen, is het een moeilijke puzzel om het onderscheid te maken tussen een gebruiker die niet geïnteresseerd is en een gebruiker die gefrustreerd is door technische problemen. Als het systeem het verschil niet kan zien, kan het stoppen met het tonen van geweldige video's aan mensen simpelweg omdat hun internetverbinding die dag traag was, of kan het er niet in slagen de technische problemen op te lossen die mensen wegjagen.

Een team onderzoekers ging aan de slag om dit specifieke probleem op te lossen door te kijken naar de verborgen signalen die optreden voordat een gebruiker wegswipet. Ze analyseerden een enorme hoeveelheid gegevens van eenentwintig dagen aan gebruik van korte video's, wat honderden miljoenen kijkbeurten besloeg. Hun doel was om een systeem te bouwen dat de technische gezondheid van een videoweergave kon beoordelen — zoals hoe lang het duurde voordat het eerste beeld verscheen, hoe vaak de video moest pauzeren om te bufferen, en de snelheid van de netwerkverbinding — en kon bepalen of een snelle swipe eigenlijk een klacht was over de kwaliteit in plaats van een afwijzing van de inhoud. Ze ontdekten dat een aanzienlijk deel van deze snelle exits inderdaad werd veroorzaakt door technische defecten. Door een computermodel te leren deze patronen te herkennen, creëerden ze een manier om te voorspellen wanneer een gebruiker op het punt staat weg te gaan vanwege slechte prestaties, waardoor technische fouten werden gescheiden van een werkelijk gebrek aan interesse.

De onderzoekers begonnen met het verzamelen van een enorme collectie records die koppelden wat gebruikers bekeken met hoe hun telefoons en netwerken op dat exacte moment presteerden. Ze keken naar specifieke momenten waarop een video niet soepel laadde, zoals wanneer het eerste frame langer dan 1,2 seconden duurde om te verschijnen, of wanneer de video meerdere keren moest pauzeren om meer gegevens te downloaden. Ze volgden ook het geheugengebruik van het apparaat en de snelheid van de verbinding. Met behulp van deze informatie trainden ze een model om het verschil te identificeren tussen een gebruiker die gewoon zich verveelt en een gebruiker die te maken heeft met een gebrekkige afspeelervaring. Het model leerde een specifieke set condities te herkennen: een trage start, herhaaldelijk bufferen, een plotselinge daling in internetsnelheid of een apparaat dat zonder geheugen komt te zitten. Wanneer deze technische problemen samen voorkwamen, kon het model met hoge nauwkeurigheid voorspellen dat een snelle swipe waarschijnlijk een reactie was op de slechte kwaliteit, en niet op de video zelf.

Een van de belangrijkste ontdekkingen was hoe vaak deze technische problemen mensen daadwerkelijk wegjagen. De studie vond dat onder bepaalde moeilijke omstandigheden, zoals wanneer een telefoon zeer weinig vrij geheugen heeft en de internetverbinding traag is, bijna 35 procent van de snelle swipes gelinkt was aan problemen met de weergave. Dit is een aanzienlijk aantal, wat suggereken dat een groot deel van de gegevens die apps gebruiken om te beslissen wat ze als volgende laten zien, eigenlijk ruis is veroorzaakt door technische storingen. De onderzoekers ontdekten ook dat de tijd die het kostte om de video te starten een belangrijke factor was; als het eerste beeld langer dan 1,2 seconden nodig had om te verschijnen, nam het risico dat de gebruiker zou wegswipen aanzienlijk toe. Evenzo, als de video twee of meer keer achter elkaar moest bufferen, was de gebruiker waarschijnlijk geneigd om weg te gaan, en deze frustratie ging vaak over naar de volgende video die ze probeerden te bekijken.

Om er zeker van te zijn dat hun model betrouwbaar was, testten de onderzoekers het tegen een dataset die zorgvuldig was beoordeeld door menselijke experts. Het model bleek zeer nauwkeurig en identificeerde in de meeste gevallen correct de oorzaak van de swipe. Het was ook in staat om een betrouwbaarheidsscore aan zijn voorspellingen toe te kennen, wat betekent dat het het systeem kon vertellen hoe zeker het was dat een swipe te wijten was aan kwaliteitsproblemen. Dit is belangrijk omdat het het systeem in staat stelt om alleen actie te ondernemen wanneer het er zeker van is, in plaats van te gokken. Het model liet zien dat het het verschil kon zien tussen een gebruiker die werkelijk niet geïnteresseerd is en een gebruiker die gefrustreerd is door een trage verbinding, zelfs wanneer het eerdere gedrag van de gebruiker suggereerde dat hij van soortgelijke inhoud hield. Dit vermogen om het signaal van de ruis te scheiden, helpt het systeem om de werkelijke voorkeuren van zijn gebruikers te begrijpen.

De onderzoekers gebruikten vervolgens hun bevindingen om te simuleren wat er zou gebeuren als de apps de manier waarop ze video's aan gebruikers leveren zouden veranderen voor gebruikers die een risico lopen op een slechte ervaring. In deze simulatie, wanneer het model een hoog risico op een kwaliteitgerelateerde swipe voorspelde, probeerde het systeem het probleem op te lossen voordat het gebeurde. Dit deden ze door een stukje meer van de video vooraf te laden, de videokwaliteit iets te verlagen om ervoor te zorgen dat deze soepel speelde, of door over te schakelen naar een andere server die dichter bij de gebruiker stond. De resultaten van deze simulatie waren veelbelovend. Door deze aanpassingen te maken, daalde de tijd die nodig was voor het eerste frame met bijna 22 procent, en de tijd die werd doorgebracht met wachten tot de video bufferde, daalde met meer dan 30 procent. Het systeem werd ook veel beter in het voorspellen of een gebruiker een video zou afkijken, waarbij de fout in die voorspellingen met 37 procent afnam.

Dit werk benadrukt een fundamentele verschuiving in hoe we gebruikersgedrag op digitale platforms begrijpen. Het suggereert dat niet elke snelle swipe een teken van verveling is; velen zijn simpelweg een reactie op een gebrekkige ervaring. Door het verschil te herkennen, kunnen platforms stoppen met het verkeerd interpreteren van technische defecten als een gebrek aan interesse. Dit stelt hen in staat om de onderliggende problemen aan te pakken die frustratie veroorzaken, waardoor gebruikers de inhoud zien die ze werkelijk willen bekijken. Hoewel de studie werd uitgevoerd met behulp van simulaties en historische gegevens in plaats van live wijzigingen aan een echte app, bieden de resultaten een duidelijk pad voorwaarts. De volgende stap zou zijn om deze ideeën in de echte wereld te testen om te zien of het oplossen van deze technische glitches leidt tot tevredenere gebruikers en betere aanbevelingen. Voor nu biedt het onderzoek een krachtig instrument om de onzichtbare frictie te begrijpen die mensen ervan weerhoudt te genieten van de inhoud die zij zoeken.