SalFormer360: a transformer-based saliency estimation model for 360-degree videos

Technische Samenvatting: SalFormer360

Probleemstelling
Saliency-estimatie (opmerkelijkheidsdetectie) is cruciaal voor het optimaliseren van de transmissie en de kijkervaring van 360-graden (omni directionele) video's, met name voor taken zoals viewport-voorspelling en inhoudsoptimalisatie. Bestaande methoden worden echter geconfronteerd met aanzienlijke uitdagingen door de sferische geometrie van 36ing-graden content, wat geometrische vervormingen introduceert in equirectangulaire projecties. Bovendien vertrouwen veel state-of-the-art benaderingen op rekenintensieve technieken, zoals sferische convoluties, cubemap-projecties of het verwerken van lange temporele sequenties (vaak meer dan 10 frames) en optische flow. Deze methoden brengen vaak een hoge computationele overhead en geheugeneisen met zich mee, waardoor ze minder geschikt zijn voor real-time implementatie op apparaten met beperkte middelen, zoals Head-Mounted Displays (HMD's). Daarnaast blijft het accuraat modelleren van menselijk kijkgedrag, specifiek de neiging om aanvankelijk op het centrum van het frame te focussen (Viewing Center Bias), een complexe taak die veel modellen niet volledig aanpakken.

Methodologie
De auteurs stellen SalFormer360 voor, een lichtgewicht, transformer-gebaseerd saliency-estimatiemodel dat specifiek is ontworpen voor 360-graden video's. De architectuur is gebouwd op de volgende componenten:

1. Encoder (SegFormer Backbone): Het model maakt gebruik van de encoder van SegFormer, een transformer-gebaseerde architectuur die oorspronkelijk is ontwikkend voor 2D semantische segmentatie. De auteurs hebben deze encoder gefinetuned om 360-graden equirectangulaire frames te verwerken. Om de temporele dynamiek te vangen, accepteert het model twee inputframes: het huidige frame ($t$) en een vorig frame ($t-5$). Deze worden langs de kanaaldimensie samengevoegd tot een 6-kanaals input, waarbij de gewichten van de initiële convolutionele laag zijn aangepast om dit te accommoderen.
2. Custom Decoder: Een op maat gemaakte decoder verwerkt de feature maps van de encoder. Deze bestaat uit een sequentie van convolutionele lagen, batch normalisatie, ReLU-activaties en bilineaire upsampling om de ruimtelijke resolutie te reconstrueren. Een laatste convolutionele laag met een sigmoid-activatie genereert een initiële saliency-map ($S_{init}$). Dropout (30%) wordt toegepast tijdens de training om overfitting te voorkomen.
3. Integratie van Viewing Center Bias (CB): Om rekening te houden met de menselijke neiging om bij de start van de weergave naar het midden van het 360-graden frame te kijken, integreert het model een dynamische Viewing Center Bias. Dit wordt bereikt door de initiële voorspelling ($S_{init}$) te fuseren met een vooraf berekende gemiddelde saliency-map van het eerste frame (de CB). De fusie wordt beheerst door een tijdafhankelijke weegfactor ($w_t$) gedefinieerd als:
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   De factor $w_t$ combineert een statische parameter ($\beta_i$) en een vervallende dynamische functie ($\delta(t) = e^{-\alpha_i(t/C)^2}$). Hierdoor kan het model adaptief balanceren tussen korte-termijn bias (sterk aanwezig aan het begin van de video) en lange-termijn bias, waarbij de parameters $\alpha_i$ en $\beta_i$ tijdens de training per specifieke dataset worden geleerd.
4. Loss Function: Het model wordt getraind met een samengestelde loss-functie die vier termen combineert: de Pearson Lineaire Correlatiecoëfficiënt ($L_{CC}$), Kullback-Leibler divergentie ($L_{KL}$), Spherical Mean Squared Error ($L_{SMSE}$) en Binary Cross Entropy ($L_{BCE}$). De $L_{SMSE}$ past specifiek sferische gewichten toe om fouten nabij de evenaar zwaarder te bestraffen dan nabij de polen, waarmee projectievervormingen worden geadresseerd.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Introductie van SalFormer360, een transformer-gebaseerd model dat de SegFormer-backbone gebruikt voor 360-graden saliency-estimatie, waarmee wordt aangetoond dat segmentatie-architecturen effectief kunnen worden hergebruikt voor saliency-taken.
• Modellering van Viewing Bias: De integratie van een leerbare Viewing Center Bias-mechanisme dat dynamisch wordt aangepast op basis van de frame-index en datasetkarakteristieken, wat de voorspellingsnauwkeurigheid verbetert door menselijk exploratiegedrag te reflecteren.
• Dataset Extensie: De auteurs hebben de PVS-HM en VR-EyeTracking datasets uitgebreid door ground-truth saliency-maps te genereren uit head-orientation data en RGB-frames te extraheren, waardoor ze toegankelijker zijn voor toekomstig onderzoek.
• Efficiëntie: Het model is ontworpen om lichtgewicht te zijn, waarbij slechts twee frames worden gebruikt voor temporele context en complexe sferische convoluties of optische flow-berekeningen worden vermeden.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op drie grootschalige benchmark-datasets: Sport360, PVS-HM en VR-EyeTracking. Het model is vergeleken met een breed scala aan state-of-the-art methoden, inclusief 2D video-modellen, 360-graden beeldmodellen en 360-graden videomodellen.

• Prestaties: SalFormer360 presteerde beter dan bestaande methoden over alle drie de datasets. Wat betreft de Pearson Correlatiecoëfficiënt (CC), behaalde het een verbetering van 8,4% op Sport360, 2,5% op PVS-HM en 18,6% op VR-EyeTracking ten opzichte van de beste eerder gerapporteerde resultaten.
• Efficiëntie: Het model is zeer efficiënt, met slechts 3,7 miljoen parameters en een opslagvereiste van 14,13 MB. Het bereikt een computationele kostenpost van 1,21 GFLOPs.
• Inference Snelheid: Op een NVIDIA L40s GPU bereikt het model een gemiddelde inferentietijd van 5,1 ms per frame (ongeveer 196 fps), wat de geschiktheid voor real-time toepassingen bevestigt.
• Ablatie-studies: Experimenten bevestigden dat zowel de dynamische ($\delta$) als de statische ($\beta$) componenten van de Viewing Center Bias bijdragen aan de prestaties, waarbij hun relatieve belang varieert per dataset. De combinatie van alle vier de loss-functies leverde de beste algehele prestaties op.

Betekenis en Claims
Het artikel claimt dat SalFormer360 de representatieve kracht van transformer-architecturen voor 360-graden video saliency-estimatie aantoont, terwijl de computationele complexiteit laag blijft. Door succesvol een 2D-segmentatie encoder aan te passen en een data-gestuurde viewing bias te integreren, bereikt het model state-of-the-art nauwkeurigheid zonder de zware computationele last van sferische convoluties of langere-sequentie verwerking. De auteurs benadrukken dat het lichtgewicht karakter van het model het bijzonder geschikt maakt voor implementatie aan de edge-zijde of client-zijde, zoals direct op VR-headsets, wat real-time saliency-estimatie mogelijk maakt voor viewport-voorspelling en immersieve inhoudsoptimalisatie. Het werk suggereert dat nauwkeurige, efficiënte saliency-maps de streaming-efficiëntie van 360-graden video's aanzienlijk kunnen verbeteren door hoogwaardige transmissie van saillante regio's mogelijk te maken terwijl perifere gebieden worden gedegradeerd.