💻 computer science

ViASNet: A Video Ad Saliency Network for Predicting Dynamic Saliency and Viewer Engagement

Dit artikel introduceert ViASNet, een deep learning-model gebaseerd op een 3D U-Net-architectuur dat audio- en semantische aanwijzingen integreert om dynamische salientiekaarten te voorspellen voor video-advertenties in korte vorm, waarbij het zijn vermogen aantoont om advertentieontwerp te optimaliseren en niet-boeiende content te identificeren via oogvolgvalidatie en entropiegebaseerde diagnostiek.

Oorspronkelijke auteurs: Jianping Ye, Michel Wedel

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianping Ye, Michel Wedel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je regisseur bent die een reclamespot van 30 seconden filmt. Je wilt ervoor zorgen dat wanneer mensen het bekijken, hun ogen precies daar landen waar je wilt: op het product, de glimlachende acteur of het pakkende logo. Maar hier zit het probleem: je kunt geen miljoen mensen vragen om je reclame te bekijken en hun ogen voor elk enkel frame te volgen. Dat zou te duur en te traag zijn.

Dit artikel introduceert ViASNet, een slim computerprogramma dat is ontworpen om dat probleem op te lossen. Denk aan ViASNet als een "superwaarnemer" die een video-reclame kan bekijken en direct kan voorspellen waar precies de ogen van een mens naartoe gaan, seconde voor seconde.

Zo werkt het, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Rotzooi" van Reclames

We verdrinken in korte video-reclames op TikTok, YouTube en TV. Omdat er er zo veel zijn, is het moeilijk voor een enkele reclame om je aandacht te trekken. Adverteerders hebben een manier nodig om hun reclames snel te testen om te zien welke werken en welke saai zijn. Meestal moeten ze mensen inhuren, deze aansluiten op camera's voor oogvolging en kijken hoe ze naar schermen staren. ViASNet heeft als doel dit automatisch te doen.

2. De Oplossing: Een "Drie-Sens" Detective

De meeste oude computermodellen voor het voorspellen van oogbewegingen keken alleen naar het beeld (visueel). Ze waren als een detective die alleen naar een misdaadplek kijkt maar het geluid of het verhaal negeert.

ViASNet is anders. Het is een "drie-sens" detective die drie dingen tegelijkertijd bekijkt:

De Beelden: Wat gebeurt er op het scherm? (Is er een gezicht? Beweegt er iets?)
De Audio: Wat wordt er gezegd of gehoord? (Zorgt een luid geluid of een stem ervoor dat je omhoog kijkt?)
Het Verhaal (Semantiek): Waar gaat het tafereel over? (Is het een triest moment? Een grappige grap? Een autoachtervolging?)

Om het "verhaal" te begrijpen, gebruikt het systeem een gigantisch AI-brein (genaamd Qwen3-VL) om de video te lezen en een korte bijschrijving van het tafereel te schrijven, net zoals een mens dat zou doen.

3. Hoe het de Kaart Bouwt: De "Saliëntiekaart"

Het doel van ViASNet is het creëren van een Saliëntiekaart. Stel je voor dat je een foto van het videoframe maakt en het beschildert met een hittekaart:

Rode/Hot gebieden: Waar mensen zullen kijken.
Blauwe/Koude gebieden: Waar mensen zullen negeren.

ViASNet bouwt deze kaart voor elk enkel frame van de video, waardoor een bewegende hittekaart ontstaat die precies laat zien hoe de aandacht in de loop van de tijd verschuift.

4. De Geheime Ingrediënten: Hoe het Leren

De onderzoekers hebben ViASNet getraind met data van 151 echte tv-reclames die door ongeveer 20 mensen werden bekeken terwijl hun ogen werden gevolgd door high-tech camera's.

Het model leerde door zijn eigen voorspellingen te vergelijken met de echte oogbewegingen van die 20 mensen. Het maakt gebruik van een speciale architectuur genaamd 3D U-Net.

De Analogie: Denk aan de U-Net als een trechter. Het neemt de video, knijpt deze samen om de hoofdideeën te begrijpen (de "verkeersdrukte"), en breidt deze vervolgens weer uit om de gedetailleerde hittekaart te tekenen.
De "Centrum-Bias": Mensen hebben van nature de neiging om naar het midden van het scherm te kijken. ViASNet kent deze truc en voegt een kleine "centrum-bias" toe aan zijn voorspellingen, net zoals een echt mens dat zou doen.

5. De "Entropie"-Test: Saaiheid Meten

Een van de coolste tools die de auteurs hebben gemaakt, is een manier om Entropie te meten (een chique woord voor "wanorde" of "verwarring").

Lage Entropie (Orde): Als de hittekaart laat zien dat iedereen naar één punt kijkt (zoals een gezicht in het midden), is de entropie laag. Dit betekent dat de reclame boeiend is.
Hoge Entropie (Chaos): Als de hittekaart overal verspreid is, of als mensen naar niets in het bijzonder kijken, is de entropie hoog. Dit betekent dat de reclame verwarrend of saai is.

De auteurs gebruikten dit om 15 nieuwe reclames te testen die ze nog nooit hadden gezien. Ze konden direct zien welke scènes ervoor zorgden dat kijkers hun focus verloren. Bijvoorbeeld, ze ontdekten dat als een scène te veel objecten of tekst verspreid overal had, de ogen van de kijkers zouden afdwalen en de "betrokkenheidsscore" zou dalen.

6. De Resultaten: Het Werkt Beter dan de Rest

De onderzoekers testten ViASNet tegen andere beroemde computermodellen (sommige die alleen naar plaatjes kijken, sommige die naar films kijken).

Het Vonnis: ViASNet won. Het voorspelde waar mensen zouden kijken nauwkeuriger dan elk ander model dat ze testten.
Waarom? Omdat het niet alleen naar de pixels keek; het begreep het geluid, het verhaal en de cuts tussen scènes. Het besefte dat wanneer een scène verandert (een "cut"), de ogen van mensen van nature naar het midden springen om zich opnieuw te oriënteren, en het hield hier rekening mee.

Samenvatting

Kortom, ViASNet is een geautomatiseerd hulpmiddel dat adverteerders in staat stelt "te zien" door de ogen van hun publiek zonder dat er ook maar één mens in een lab hoeft te zitten. Het combineert wat je ziet, wat je hoort en wat het verhaal betekent om precies te voorspellen waar je aandacht naartoe gaat. Als een reclame saai of verwarrend is, kan dit systeem je precies vertellen op welk seconde dit gebeurt, waardoor makers het kunnen oplossen voordat ze geld uitgeven aan een grote marketingcampagne.

Technische Samenvatting: ViASNet voor Voorspelling van Saliëntie in Video-advertenties

Probleemstelling

Het landschap van digitale media is verschoven naar video-advertenties in korte vorm op tv, sociale media en e-commerceplatforms. Hoewel deze advertenties hoge betrokkenheid kunnen bereiken, creëert hun alomtegenwoordigheid aanzienlijke "rommel", waardoor het voor adverteerders moeilijk wordt om inhoud te ontwerpen die de aandacht van de kijker trekt. Traditionele methoden voor het beoordelen van advertentie-effectiviteit vertrouwen op neuro-fysiologische metingen, met name oogbewegingsvolging (eye tracking), om variabiliteit in fixaties te analyseren. Het verzamelen en verwerken van eye-tracking-data is echter kostbaar en tijdrovend, wat snelle, grootschalige testen van de grote hoeveelheden geproduceerde video-advertenties belemmert, zeker met de opkomst van generatieve AI.

Bestaande computationele modellen voor saliëntievoorspelling staan voor verschillende uitdagingen bij toepassing op video-advertenties:

Temporele Dynamiek: Het modelleren van de gelijktijdige temporele dynamiek van videoframes en oogbewegingen is computationeel moeilijk.
Scènewisselingen: Video-advertenties kenmerken zich door snelle, doelbewuste scèneveranderingen die patronen van oogbewegingen verstoren, waardoor modellen rekening moeten houden met abrupte overgangen.
Semantische en Audio-invloed: Saliëntie wordt niet alleen gedreven door laag-niveau visuele kenmerken (contrast, beweging), maar ook door hoog-niveau scène-semantiek en audiostreams, die specifieke visuele kenmerken kunnen versterken.
Beperkingen van Huidige Modellen: State-of-the-art dynamische saliëntiemodellen voorspellen vaak alleen saliëntie voor het laatste frame van een clip of slagen er niet in om scèneverhalen en audio effectief te integreren.

Methodologie: ViASNet

De auteurs stellen ViASNet (Video Ad Saliency Network) voor, een deep learning-architectuur die specifiek is ontworpen voor end-to-end dynamische saliëntievoorspelling in video-advertenties in korte vorm. Het model is gebaseerd op een 3D U-Net-structuur en integreert multimodale invoer om frame-voor-frame saliëntiekaarten te voorspellen.

Architectuurcomponenten

Invoerverwerking:
- Video-advertenties worden met PySceneDetect opgesplitst in scènes.
- Visuele frames worden herschaald naar $224 \times 384$ .
- Ruwe audiosignalen worden genormaliseerd naar $[-1, 1]$ en uitgelijnd met visuele frames, waarbij frequentiedomein-conversie wordt vermeden om subjectiviteit in de voorverwerking te reduceren.
- Ground-truth saliëntiekaarten worden gegenereerd uit eye-tracking-data met behulp van Gaussische vervaging en min-max-normalisatie.
Encoders:
- Visie-encoder: Gebruikt een vooraf getrainde S3D-backbone (gefactoriseerde 3D-convoluties) die is ontworpen voor bewegingsherkenning. Deze verwerkt batches scènes om ruimtelijke en temporele kenmerken te extraheren.
- Audio-encoder: Een aangepaste CNN met 7 lagen en een feature-pyramid-architectuur (combinatie van bottom-up en top-down paden met laterale verbindingen) om ruwe audiosignalen te verwerken.
- Scène-semantiek-encoder: Gebruikt het Large Multimodal Model Qwen3-VL-Plus om scènebijschriften te genereren. Om narratieve continuïteit vast te leggen, wordt het bijschrift van de vorige scène in de prompt voor de huidige scène geïnjecteerd. Deze bijschriften worden vervolgens gecodeerd met een fijnafgestemd BERT-model (BERT-base-uncased).
Multimodale Fusie:
- Kenmerken van visie, audio en semantiek worden samengevoegd en verwerkt door een Multimodal Unified Attention Network (MUAN).
- Dit blok maakt gebruik van self-attention voor intra-modale afhankelijkheden en co-attention voor inter-modale afhankelijkheden (bijvoorbeeld audio-video, video-semantiek), waardoor het model complexe interacties tussen modaliteiten kan vastleggen.
Decoder en Readout:
- De decoder volgt een U-Net-structuur met getransponeerde convoluties voor upsampling, waarbij skip-verbindingen worden gebruikt om ruimtelijke details van de encoder te behouden.
- Een Readout Network (vergelijkbaar met een ResNet-bottleneck-blok) verwerkt de gecombineerde kenmerken, vermindert de kanaaldiepte en vangt ruimtelijke patronen op voordat de oorspronkelijke diepte wordt hersteld.
Outputverfijning:
- De uiteindelijke output bevat een Center Bias-component (gemodelleerd via een trainbaar 2D Gaussisch kernel) om rekening te houden met de neiging van kijkers om te fixeren op het midden van het scherm.
- Een trainbare Gaussische Vervaging wordt toegepast op de output om de saliëntiekaart te gladstrijken, gevolgd door een softmax-activatie om een kansverdeling te produceren.

Het model wordt end-to-end getraind met behulp van de Kullback-Leibler (KL)-divergentie tussen de voorspelde en ground-truth saliëntiekaarten.

Belangrijkste Bijdragen

Nieuwe Architectuur: De ontwikkeling van ViASNet, een gespecialiseerd diep saliëntienetwerk dat visuele, audio- en semantische scène-informatie integreert via een unificatie-attentie-mechanisme.
Multimodale Integratie: Expliciete modellering van de invloed van audiostreams en scène-semantiek (via door LLM gegenereerde bijschriften) op visuele saliëntie, waarmee een gat in eerdere dynamische saliëntiemodellen wordt gedicht.
Diagnostisch Hulpmiddel: De introductie van frame-voor-frame entropie, berekend uit voorspelde saliëntiekaarten, als maatstaf om kijkbetrokkenheid te diagnosticeren. Hoge entropie duidt op lage betrokkenheid (verspreide aandacht), terwijl lage entropie duidt op hoge betrokkenheid (geconcentreerde aandacht).
Uitgebreide Evaluatie: Uitgebreide testen op een dataset van 151 video-advertenties (136 voor training, 15 voor testen) met eye-tracking-data van ongeveer 20 kijkers per advertentie.

Resultaten

Het model werd geëvalueerd tegenover vier baselines: Itti-Koch (computationeel), BMS (computationeel), DeepGaze IIE (deep learning, statisch getraind) en ViNet-S (deep learning, dynamisch getraind).

Prestatiemaatstaven: ViASNet behaalde state-of-the-art prestaties op alle zes evaluatiemaatstaven (KL, CC, NSS, SIM, AUC, s-AUC) op de testset.
- Het presteerde meer dan 20% beter dan DeepGaze IIE op AUC en aanzienlijk beter op andere maatstaven, wat het voordeel van dynamische modellering boven statische voorspelling per frame benadrukt.
- Het overtrof ViNet-S op de meeste maatstaven, wat de effectiviteit van de specifieke architectuur voor video-advertenties aantoont.
Ablatiestudies: Het verwijderen van componenten bevestigde het belang van het Unified Attention-mechanisme (4,0% toename in KL bij verwijdering) en het Readout-netwerk (3,8% toename). Hoewel audio- en bijschrift-attentie kleinere individuele impact hadden, droegen ze meetbaar bij aan de prestaties.
Entropie-analyse: De studie toonde aan dat voorspelde entropie correleert met ground-truth variabiliteit in fixaties (correlatie van 0,51). De entropiemaatstaf slaagde erin om specifieke scènes en hele advertenties te identificeren die de kijker niet wisten te boeien (bijvoorbeeld scènes met hoge entropie door verspreide objecten/tekst) en diegenen die de aandacht vasthielden (lage entropie, gefocust op gezichten/producten).

Betekenis en Claims

De auteurs positioneren ViASNet als een praktische oplossing voor de uitdagingen van het schalen van video-advertentietesten in een tijdperk van hoge-volume, laagkostenproductie. Het artikel beweert dat:

Automatisering: ViASNet geautomatiseerde voorspelling van dynamische saliëntiekaarten voor onbekende video-advertenties mogelijk maakt, waardoor de afhankelijkheid van dure en trage eye-trackingstudies wordt verminderd.
Diagnostische Capaciteit: Door het berekenen van frame-voor-frame entropie kan het systeem specifieke scènes of advertenties identificeren die de aandacht niet trekken, waardoor adverteerders onderpresterende inhoud kunnen aanpassen of verwijderen voordat deze worden uitgebracht.
Mens-in-de-Lus: De auteurs suggereren bescheiden dat ViASNet menselijke advertentietesten niet moet vervangen, maar eerder moet dienen als hulpmiddel in Human-in-the-Loop (HITL)-omgevingen. Deze aanpak combineert de snelheid van geautomatiseerde testen met menselijke strategische toezicht om advertentieontwerp te sturen, waarbij authenticiteit en ethische overwegingen behouden blijven.

De studie concludeert dat diepe saliëntiemodellen zoals ViASNet advertentieontwerp- en testcycli aanzienlijk kunnen versnellen, en kritieke diagnostiek bieden voor het optimaliseren van kijkbetrokkenheid in de competitieve landschap van video's in korte vorm.