💻 computer science

SalFormer360: a transformer-based saliency estimation model for 360-degree videos

Das Papier stellt SalFormer360 vor, ein neuartiges Transformer-basiertes Modell, das einen feinabgestimmten SegFormer-Encoder mit einem benutzerdefinierten Decoder und Viewing Center Bias kombiniert, um eine erstklassige Leistung bei der Saliency-Schätzung für 360-Grad-Videos über mehrere Benchmark-Datensätze hinweg zu erzielen.

Ursprüngliche Autoren: Mahmoud Z. A. Wahba, Francesco Barbato, Sara Baldoni, Federica Battisti

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mahmoud Z. A. Wahba, Francesco Barbato, Sara Baldoni, Federica Battisti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie tragen ein Virtual-Reality-Headset (VR). Sie stehen in der Mitte einer riesigen, 360-Grad-Sphäre. Sie können nach oben, unten, links, rechts schauen oder sich komplett um die eigene Achse drehen. Das Problem ist, dass die Videodatei, die benötigt wird, um Ihnen alles in dieser Sphäre in hoher Qualität zu zeigen, massiv ist – wie der Versuch, die Datenmenge eines ganzen Kinosaals an Ihr Headset zu streamen. Das wäre zu langsam und würde Ihre gesamte Internetbandbreite aufbrauchen.

Um dies zu beheben, nutzen Ingenieure einen Trick namens „Viewport-Streaming“. Anstatt die gesamte Sphäre in High Definition zu senden, wird nur der Teil, auf den Sie gerade schauen, in hoher Qualität gesendet und der Rest in niedriger Qualität. Aber um dies zu tun, muss der Computer erraten, wo Sie als Nächstes hinschauen werden.

Hier kommt das Paper ins Spiel. Die Autoren haben ein neues KI-Gehirn namens SalFormer360 entwickelt, um diese Vermutung anzustellen.

Das Problem: Der „Center Bias“ (Zentrums-Voreingenommenheit)

Wenn Sie zum ersten Mal ein VR-Headset aufsetzen, schauen Sie meistens direkt geradeaus. Sie drehen sich nicht sofort wild im Kreis. Sie neigen dazu, eine Weile lang auf die Mitte Ihres Sichtfeldes zu fokussieren, bevor Sie die Umgebung erkunden. Die Autoren nennen dies den „Viewing Center Bias“.

Stellen Sie es sich wie das Betreten eines neuen Raumes vor. Sie stehen in der Tür und schauen direkt auf die Wand vor Ihnen. Sie drehen sich nicht sofort um 360 Grad. Sie konzentrieren sich zuerst auf die Mitte.

Die Lösung: Ein „Transformer“-Detektiv

Das Team hat SalFormer360 entwickelt. Um zu verstehen, wie es funktioniert, stellen Sie es sich wie einen hochtrainierten Detektiv mit zwei speziellen Werkzeugen vor:

Das SegFormer Backbone (Der Objekt-Spürhund):
Das Modell verwendet einen vortrainierten „Detektiv“, der ursprünglich darauf ausgelegt war, Objekte in flachen 2D-Bildern zu finden (wie das Finden einer Katze auf einem Foto). Die Autoren erkannten, dass das, was Ihre Aufmerksamkeit in einem Video erregt (eine Person, ein Ball, ein Auto), oft dasselbe ist, wonach ein „Objekt-Spürhund“ sucht. Also nahmen sie diesen bestehenden 2D-Detektiv und brachten ihm bei, mit der seltsamen, verzerrten Form von 360-Grad-Videos umzugehen (die wie eine flache Weltkarte aussieht).
Der maßgeschneiderte Decoder (Der Kartenzeichner):
Sobald der Detektiv die interessanten Objekte entdeckt hat, verwandelt ein maßgeschneiderter „Kartenzeichner“ diese Punkte in eine Heatmap. Diese Karte zeigt genau an, wohin ein Mensch wahrscheinlich schauen wird.
Die „Center Bias“-Anpassung (Das Gedächtnis):
Dies ist die Geheimzutat. Das Modell betrachtet nicht nur das Bild, sondern erinnert sich auch an die „Regel“, dass Menschen normalerweise mit dem Blick in die Mitte beginnen.
- Zu Beginn des Videos: Das Modell sagt: „Hey, der Nutzer hat das Headset gerade erst aufgesetzt. Er schaut wahrscheinlich in die Mitte. Lasst uns die Vorhersage für die Mitte verstärken.“
- Während das Video läuft: Das Modell erkennt: „Okay, er hatte nun Zeit, sich umzusehen. Die Zentrums-Regel ist jetzt weniger wichtig.“ Es regelt die „Center Bias“-Lautstärke langsam herunter und konzentriert sich stattdertdessen mehr auf die tatsächlichen Objekte in der Szene.

Wie gut ist es?

Die Autoren haben ihren Detektiv gegen viele andere „Detektive“ (bestehende KI-Modelle) getestet, indem sie drei riesige Bibliotheken von 360-Grad-Videos verwendeten (Sport, Gaming und allgemeine Szenen).

Die Ergebnisse: SalFormer360 war am besten darin, vorherzusagen, wohin Menschen schauen würden. Es verbesserte die Genauigkeit um bis zu 18,6 % im Vergleich zu den bisher besten Modellen.
Die Effizienz: Im Gegensatz zu anderen Modellen, die wie schwere, langsame LKWs sind, ist SalFormer360 ein leichter Sportwagen. Es ist klein genug, um direkt auf einem VR-Headset zu laufen, ohne dass ein Supercomputer im Hintergrund benötigt wird. Es kann eine Vorhersage in nur 5 Millisekunden treffen (schneller als ein menschliches Blinzeln).

Wo es Schwierigkeiten hat (Die „herausfordernden“ Fälle)

Das Paper gibt zu, dass das Modell nicht perfekt ist. Es hat in zwei spezifischen Situationen Schwierigkeiten:

Chaos: Wenn eine Szene voller Bewegungen explodiert und zu viele interessante Dinge gleichzeitig passieren (wie bei einer belebten Fahrt in einem Freizeitpark), wird das Modell verwirrt und rät einfach „Mitte“, anstatt den richtigen Punkt zu wählen.
Distraktoren (Ablenkungen): Wenn es ein helles, blinkendes Logo oder ein seltsames Objekt gibt, das nicht der eigentliche Fokus ist, könnte das Modell in die Falle tappen und denken, dass der Nutzer genau dorthin schaut, selbst wenn der Nutzer eigentlich auf die Hauptaktion blickt.

Das Fazit

Das Paper präsentiert SalFormer360 als eine intelligente, schnelle und effiziente Methode, um vorherzusagen, wohin VR-Nutzer schauen werden. Durch die Kombination einer leistungsstarken Objekt-erkennenden KI mit einem einfachen Verständnis des menschlichen Verhaltens (dass wir mit dem Blick in die Mitte beginnen), hilft es, 360-Grad-Videos reibungsloser zu streamen, Daten zu sparen und das Erlebnis realistischer zu machen.

Technische Zusammenfassung: SalFormer360

Problemstellung
Die Schätzung der Salienz ist entscheidend für die Optimierung der Übertragungs- und Seherfahrung von 360-Grad-Videos (omnidirektionalen Videos), insbesondere für Aufgaben wie die Viewport-Vorhersage und die Inhaltsoptimierung. Bestehende Methoden stehen jedoch vor erheblichen Herausforderungen aufgrund der sphärischen Geometrie von 360-Grad-Inhalten, die geometrische Verzerrungen in äquidistanten Projektionen (Equirectangular Projections) einführt. Darüber hinaus verlassen sich viele State-of-the-Art-Ansätze auf rechenintensive Techniken wie sphärische Faltungen, Cubemap-Projektionen oder die Verarbeitung langer zeitlicher Sequenzen (oft mehr als 10 Frames) und optischer Flussberechnungen. Diese Methoden verursachen oft einen hohen Rechenaufwand und hohe Speicheranforderungen, was sie für den Echtzeit-Einsatz auf ressourcenbeschränkten Geräten wie Head-Mounted Displays (HMDs) weniger geeignet macht. Zudem bleibt die genaue Modellierung des menschlichen Sehverhaltens, insbesondere die Tendenz, sich zu Beginn auf die Mitte des Bildes zu konzentrieren (Viewing Center Bias), eine komplexe Aufgabe, die viele Modelle nicht vollständig adressieren.

Methodik
Die Autoren schlagen SalFormer360 vor, ein leichtgewichtiges, Transformer-basiertes Salienzschätzungsmodell, das speziell für 360-Grad-Videos entwickelt wurde. Die Architektur basiert auf den folgenden Komponenten:

Encoder (SegFormer-Backbone): Das Modell nutzt den Encoder von SegFormer, einer Transformer-basierten Architektur, die ursprünglich für die 2D-semantische Segmentierung entwickelt wurde. Die Autoren haben diesen Encoder feinabgestimmt, um mit 360-Grad-Äquidistanz-Frames umzugehen. Um die zeitliche Dynamik zu erfassen, akzeptiert das Modell zwei Eingangsframes: den aktuellen Frame ( $t$ ) und einen vorherigen Frame ( $t-5$ ). Diese werden entlang der Kanaldimension zu einem 6-Kanal-Input zusammengeführt, wobei die Gewichte der initialen Faltungsschicht angepasst wurden, um dies zu ermöglichen.
Benutzerdefinierter Decoder: Ein maßgeschneiderter Decoder verarbeitet die Feature-Maps des Encoders. Er besteht aus einer Sequenz von Faltungsschichten, Batch-Normalisierung, ReLU-Aktivierungen und bilinearer Upsampling, um die räumliche Auflösung zu rekonstruieren. Eine abschließende Faltungsschicht mit einer Sigmoid-Aktivierung erzeugt eine initiale Salienzkarte ( $S_{init}$ ). Während des Trainings wird Dropout (30 %) angewendet, um Overfitting zu verhindern.
Integration des Viewing Center Bias (CB): Um die menschliche Tendenz zu berücksichtigen, beim Start der Wiedergabe in die Mitte des 360-Grad-Frames zu blicken, integriert das Modell einen dynamischen Viewing Center Bias. Dies wird durch die Fusion der initialen Vorhersage ( $S_{init}$ ) mit einer vorab berechneten durchschnittlichen Salienzkarte des ersten Frames (dem CB) erreicht. Die Fusion wird durch einen zeitabhängigen Gewichtungsfaktor ( $w_t$ ) gesteuertert, der als folgt definiert ist:
$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$
Der Gewichtungsfaktor $w_t$ kombiniert einen statischen Parameter ( $\beta_i$ ) und eine abfallende dynamische Funktion ( $\delta(t) = e^{-\alpha_i(t/C)^2}$ ). Dies ermöglicht es dem Modell, adaptiv zwischen kurzfristigem Bias (stark zu Beginn des Videos) und langfristigem Bias zu balancieren, wobei die Parameter $\alpha_i$ und $\beta_i$ während des Trainings für jeden spezifischen Datensatz gelernt werden.
Verlustfunktion: Das Modell wird unter Verwendung einer zusammengesetzten Verlustfunktion trainiert, die vier Terme kombiniert: den Pearson-Linearen-Korrelationskoeffizienten ( $L_{CC}$ ), die Kullback-Leibler-Divergenz ( $L_{KL}$ ), den sphärischen mittleren quadratischen Fehler ( $L_{SMSE}$ ) und die binäre Kreuzentropie ( $L_{BCE}$ ). $L_{SMSE}$ wendet spezifisch sphärische Gewichte an, um Fehler nahe dem Äquator stärker zu bestrafen als nahe den Polen, wodurch Projektionsverzerrungen adressiert werden.

Kernbeiträge

Neuartige Architektur: Einführung von SalFormer360, einem Transformer-basierten Modell, das das SegFormer-Backbone für die 360-Grad-Video-Salienzschätzung nutzt und zeigt, dass Segmentierungsarchitekturen effektiv für Salienzaufgaben umfunktioniert werden können.
Modellierung des Viewing Bias: Die Integration eines lernbaren Viewing Center Bias-Mechanismus, der sich dynamisch basierend auf dem Frame-Index und den Datensatzcharakteristika anpasst und dadurch die Vorhersagegenauigkeit verbessert, indem er das menschliche Explorationsverhalten widerspiegelt.
Datensatz-Erweiterung: Die Autoren haben die Datensätze PVS-HM und VR-EyeTracking erweitert, indem sie Ground-Truth-Salienzkarten aus Kopforientierungsdaten generiert und RGB-Frames extrahiert haben, was sie für die zukünftige Forschung zugänglicher macht.
Effizienz: Das Modell ist leichtgewichtig konzipiert, nutzt lediglich zwei Frames für den zeitlichen Kontext und vermeidet komplexe sphärische Faltungen oder optische Flussberechnungen.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden auf drei groß angelegten Benchmark-Datensätzen durchgeführt: Sport360, PVS-HM und VR-EyeTracking. Das Modell wurde gegen eine breite Palette von State-of-the-Art-Methoden verglichen, einschließlich 2D-Videomodellen, 360-Grad-Bildmodellen und 360-Grad-Videomodellen.

Leistung: SalFormer360 übertraf bestehende Methoden in allen drei Datensätzen. In Bezug auf den Pearson-Korrelationskoeffizienten (CC) erzielte es Verbesserungen von 8,4 % bei Sport360, 2,5 % bei PVS-HM und 18,6 % bei VR-EyeTracking im Vergleich zu den bisher besten berichteten Ergebnissen.
Effizienz: Das Modell ist hocheffizient, enthält nur 3,7 Millionen Parameter und benötigt 14,13 MB Speicherplatz. Es erreicht eine Rechenleistung von 1,21 GFLOPs.
Inferenzgeschwindigkeit: Auf einer NVIDIA L40s GPU erreicht das Modell eine durchschnittliche Inferenzzeit von 5,1 ms pro Frame (ca. 196 fps), was seine Eignung für Echtzeitanwendungen bestätigt.
Ablationsstudien: Experimente bestätigten, dass sowohl die dynamische ( $\delta$ ) als auch die statische ( $\beta$ ) Komponente des Viewing Center Bias zur Leistung beitragen, wobei ihre relative Bedeutung je nach Datensatz variiert. Die Kombination aller vier Verlustfunktionen lieferte die beste Gesamtleistung.

Bedeutung und Ansprüche
Das Paper behauptet, dass SalFormer360 die Repräsentationskraft von Transformer-Architekturen für die 360-Grad-Video-Salienzschätzung demonstriert und gleichzeitig eine geringe Rechenkomplexität beibehält. Durch die erfolgreiche Anpassung eines 2D-Segmentierungs-Encoders und die Integration eines datengesteuerten Viewing Bias erreicht das Modell eine State-of-the-Art-Genauigkeit ohne die hohe Rechenlast von sphärischen Faltungen oder langwieriger Sequenzverarbeitung. Die Autoren betonen, dass die Leichtigkeit des Modells es besonders gut für den Einsatz auf der Edge-Seite oder Client-Seite geeignet macht, wie etwa direkt auf VR-Headsets, was eine Echtzeit-Salienzschätzung für die Viewport-Vorhersage und die immersive Inhaltsoptimierung ermöglicht. Die Arbeit legt nahe, dass präzise, effiziente Salienzkarten die Streaming-Effizienz von 360-Grad-Videos signifikant verbessern können, indem sie die hochqualitative Übertragung salienter Regionen ermöglichen und periphere Bereiche herabstufen.

Das Problem: Der „Center Bias“ (Zentrums-Voreingenommenheit)

Die Lösung: Ein „Transformer“-Detektiv

Wie gut ist es?

Wo es Schwierigkeiten hat (Die „herausfordernden“ Fälle)

Das Fazit

Mehr davon