💻 computer science

HiVid: LLM-Guided Video Saliency For Content-Aware VOD And Live Streaming

Das Paper stellt HiVid vor, ein Framework, das Large Language Models nutzt, um skalierbare und präzise Video-Saliency-Gewichte für inhaltsbasiertes VOD und Live-Streaming zu generieren und dabei die subjektive Streaming-Qualität signifikant verbessert.

Ursprüngliche Autoren: Jiahui Chen, Bo Peng, Lianchen Jia, Zeyu Zhang, Tianchi Huang, Lifeng Sun

Veröffentlicht 2026-02-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiahui Chen, Bo Peng, Lianchen Jia, Zeyu Zhang, Tianchi Huang, Lifeng Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎬 Das Problem: Der „Teure Filmkritiker" und der „Verwirrte Roboter"

Stell dir vor, du betreibst einen riesigen Video-Streaming-Dienst (wie Netflix oder YouTube Live). Du willst deinen Zuschauern das bestmögliche Erlebnis bieten. Aber wie weißt du, welche 10 Sekunden eines Videos wirklich spannend sind und welche langweilig?

Die alte Lösung (Der menschliche Kritiker): Früher hat man echte Menschen gebeten, jedes Video anzusehen und zu bewerten. Das ist zwar sehr genau, aber extrem teuer und langsam. Stell dir vor, du müsstest für jeden neuen Live-Stream 100 Leute bezahlen, die das Video in Echtzeit schauen. Das geht gar nicht!
Die mittlere Lösung (Der kleine Roboter): Es gibt Computerprogramme (KI), die versuchen, das automatisch zu machen. Aber diese sind oft zu „dumm". Sie erkennen zwar, dass es ein Fußballspiel ist, aber sie verstehen nicht, warum ein bestimmter Moment (z. B. ein Tor) so aufregend ist. Sie verpassen die Emotionen.

💡 Die Lösung: HiVid – Der „Super-Intelligente KI-Assistent"

Die Forscher von HiVid haben eine geniale Idee: Wir nutzen eine große Sprach-KI (ein LLM, wie ein sehr kluger Chatbot), die aber nicht alles auf einmal sehen kann.

Stell dir diese KI wie einen sehr klugen, aber etwas vergesslichen Filmkritiker vor. Er versteht Sprache und Bilder perfekt, hat aber ein kleines Problem: Er kann nicht den ganzen Film auf einmal lesen (zu viele Informationen) und er kann keine Videos direkt „sehen" wie wir.

HiVid löst dieses Problem mit drei cleveren Tricks (Modulen):

1. Der „Fenster-Schleuder-Trick" (Wahrnehmungs-Modul)

Da der Kritiker den ganzen Film nicht auf einmal lesen kann, schneiden wir ihn in kleine Stücke.

Wie es funktioniert: Wir zeigen dem Kritiker nur ein paar Bilder (Fenster) aus dem Video, sagen ihm: „Schau dir diese 10 Sekunden an und bewerte sie."
Der Clou: Nach jedem Fenster fassen wir zusammen, was bisher passiert ist („Der Held hat gerade das Schwert gezogen..."). Diese Zusammenfassung geben wir dem Kritiker für das nächste Fenster mit. So vergisst er den Kontext nicht, obwohl er nur kleine Teile sieht.
Vergleich: Es ist wie ein Buch, bei dem du nach jedem Kapitel eine kurze Zusammenfassung liest, bevor du zum nächsten springst. So behältst du den Faden, ohne das ganze Buch auf einmal lesen zu müssen.

2. Der „Ordnungs-Check" (Rangfolge-Modul) – Für Filme auf Abruf (VOD)

Wenn wir ein fertiges Video haben (z. B. einen Film), passiert manchmal ein Problem: Der Kritiker bewertet die ersten 10 Minuten anders als die letzten 10 Minuten, nur weil er den Kontext vergessen hat. Ein langweiliger Moment am Anfang könnte fälschlicherweise als „spannend" bewertet werden, weil er noch nichts gesehen hat.

Die Lösung: HiVid nimmt alle Bewertungen und wirft sie in einen großen Topf. Dann nutzt es einen cleveren Sortieralgorithmus (eine Art „Merge-Sort", aber angetrieben von der KI), um alles neu zu ordnen.
Vergleich: Stell dir vor, du hast 100 Schüler, die ihre Noten selbst geschrieben haben. Manche waren am Anfang müde, manche am Ende. HiVid nimmt alle Noten, mischt sie durch und ordnet sie neu, basierend auf der gesamten Geschichte des Films. So wird sichergestellt, dass die spannendsten Momente wirklich die besten Noten bekommen, egal wann sie im Film kamen.

3. Der „Glaskugel-Effekt" (Vorhersage-Modul) – Für Live-Streams

Das ist das Schwierigste: Bei einem Live-Stream (z. B. Fußball) gibt es keine Zukunft. Der Kritiker braucht Zeit zum Nachdenken, aber das Video läuft weiter. Wenn der Kritiker erst nach 5 Sekunden antwortet, hast du schon 5 Sekunden verpasst.

Die Lösung: HiVid nutzt eine Art „Wettervorhersage" für das Video. Während der Kritiker noch über die letzten Bilder nachdenkt, schaut sich eine andere KI (ein Zeitreihen-Modell) die bisherigen Bewertungen an und sagt voraus: „Wenn es gerade so spannend war, wird es in den nächsten 10 Sekunden wahrscheinlich noch spannender!"
Der Clou: Diese Vorhersage passt sich dynamisch an. Wenn der Kritiker langsam ist, sagt die KI weiter in die Zukunft voraus. Wenn er schnell ist, sagt sie nur kurz voraus.
Vergleich: Es ist wie ein Dirigent, der weiß, dass der Geiger (die KI) langsam ist. Der Dirigent spielt also schon die nächsten Takte vor, damit das Orchester (der Streaming-Server) nicht stehen bleibt, wenn der Geiger noch nachdenkt.

🚀 Das Ergebnis: Warum ist das toll?

Für dich als Zuschauer: Du bekommst eine viel bessere Bildqualität genau dann, wenn es wichtig ist (z. B. beim Tor), und weniger Qualität bei langweiligen Szenen. Das spart Bandbreite und macht das Schauen flüssiger.
Für die Anbieter: Sie sparen riesige Summen, weil sie keine Menschen mehr bezahlen müssen, um Videos zu bewerten.
Die Zahlen: In Tests hat HiVid gezeigt, dass es die menschliche Bewertung fast perfekt nachahmt (bis zu 26 % besser als andere KI-Methoden bei Live-Streams).

Zusammengefasst: HiVid ist wie ein Team aus einem klugen Kritiker (der kleine Teile versteht), einem strengen Editor (der alles neu ordnet) und einem Zukunftsvisionär (der für Live-Streams vorausrechnet). Zusammen sorgen sie dafür, dass du nie wieder ruckelnde Videos siehst, genau dann, wenn es am spannendsten ist.

1. Problemstellung

Content-Aware-Streaming (inhaltsbewusstes Streaming) zielt darauf ab, die subjektive Qualität der Erfahrung (QoE) zu optimieren, indem Bitraten dynamisch an die wahrgenommene Wichtigkeit von Video-Chunks angepasst werden. Bisherige Ansätze stoßen jedoch auf erhebliche Grenzen:

Menschliche Annotation: Die manuelle Erstellung von Wichtigkeitsgewichten (Saliency Scores) durch Crowdsourcing ist extrem teuer und zeitaufwendig, was sie für Live-Streaming oder große VOD-Bibliotheken unpraktisch macht.
Vision-basierte Modelle: Herkömmliche Computer-Vision-Modelle (z. B. DETR, VASNet) oder Video-Verständnis-Modelle (z. B. VideoLLaMA3) generalisieren schlecht bei neuen Video-Kategorien und liefern bei subjektiven Bewertungen oft inkonsistente oder ungenaue Ergebnisse.
Herausforderungen für LLMs: Große Sprachmodelle (LLMs) sind zwar hervorragend im semantischen Verständnis, haben aber Einschränkungen: Sie unterstützen oft keine Videomodalität direkt, haben Token-Limits für lange Videos und zeigen Inkonsistenzen bei der Bewertung über verschiedene lokale Fenster hinweg. Zudem fehlt bei Live-Streaming die Kenntnis zukünftiger Inhalte, was eine Vorhersage erfordert.

2. Methodik: Das HiVid-Framework

HiVid ist das erste System, das LLMs als skalierbaren menschlichen Stellvertreter nutzt, um hochwertige Gewichte für Video-on-Demand (VOD) und Live-Streaming zu generieren. Es besteht aus drei modularen Komponenten, die die oben genannten Herausforderungen adressieren:

A. Wahrnehmungsmodul (Perception Module)

Um die Token-Limits und die fehlende Videomodalität zu umgehen:

Lokaler Kontext: Statt das gesamte Video auf einmal zu verarbeiten, werden Frames in einem gleitenden Fenster (Sliding Window) verarbeitet.
Anchor Frames: Pro Chunk wird nur ein repräsentativer Frame (Anchor Frame) ausgewählt, um Redundanz zu minimieren.
Iterative Zusammenfassung: Das LLM bewertet die Frames im Fenster basierend auf dem aktuellen Kontext und aktualisiert periodisch eine Video-Zusammenfassung (Video Summary). Diese Zusammenfassung dient als historischer Kontext für nachfolgende Fenster, sodass das Modell ein kohärentes Verständnis des gesamten Videos entwickelt, ohne die Token-Grenze zu überschreiten.

B. Rangordnungsmodul (Ranking Module) – für VOD

Um Inkonsistenzen in den Bewertungen über verschiedene lokale Fenster hinweg zu beheben:

Globale Neuzuordnung: Da lokale Fenster zu unterschiedlichen Bewertungen für ähnliche Inhalte führen können, wird ein neuartiger LLM-gesteuerter Merge-Sort-Algorithmus eingesetzt.
Funktionsweise: Das LLM fungiert als Vergleichsfunktion, um gruppierte Frames basierend auf der globalen Video-Zusammenfassung neu zu sortieren. Dies eliminiert den Kontext-Bias und erzeugt eine global konsistente Saliency-Karte.
Glättung: Eine Gaußsche Glättung wird angewendet, um die Bewertungsschwankungen zu reduzieren und eine flüssigere Gewichtsverteilung zu erreichen.

C. Vorhersagemodul (Prediction Module) – für Live-Streaming

Um die Latenzanforderungen und das Fehlen zukünftiger Daten zu bewältigen:

Asynchrone Vorhersage: Da die LLM-Inferenzzeit variabel ist, wird ein Multi-Modal Time-Series-Modell parallel zum Wahrnehmungsmodul eingesetzt.
Inhaltsbewusste Aufmerksamkeit (Content-Aware Attention): Das Modell nutzt CLIP, um Bild- und Textmerkmale (Video-Frames und Zusammenfassungen) mit den Zeitreihendaten der bisherigen Bewertungen zu alignen. Eine spezielle Attention-Mechanismus lernt, wie sich die Gewichte basierend auf dem visuellen und semantischen Inhalt entwickeln.
Adaptive Horizont-Anpassung: Die Vorhersagedimension ( $L_{out}$ ) passt sich dynamisch an die Latenz des LLMs und des Vorhersagemodells an, um sicherzustellen, dass für zukünftige Chunks, die noch nicht bewertet wurden, Gewichte verfügbar sind, bevor der ABR-Algorithmus (Adaptive Bitrate) die Bitrate entscheidet.

3. Schlüsselbeiträge

Erster systematischer Ansatz: HiVid ist das erste Framework, das LLMs systematisch für content-aware Streaming einsetzt, indem es die Lücke zwischen visueller Unschärfe und menschlicher Kostenintensität schließt.
Drei maßgeschneiderte Module:
- Ein Wahrnehmungsmodul, das durch gleitende Fenster und iterative Zusammenfassungen die Kontextgrenzen von LLMs überwindet.
- Ein Rangordnungsmodul mit einem LLM-gesteuerten Merge-Sort, das globale Konsistenz für VOD sicherstellt.
- Ein Vorhersagemodul mit einer neuartigen Multi-Modal-Architektur und adaptiver Dimensionierung für Echtzeit-Live-Streaming.
Neuartige Verlustfunktion: Einführung einer Korrelations-basierten Verlustfunktion, die besser geeignet ist, relative Präferenzen in Zeitreihendaten zu modellieren als herkömmlicher MSE.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente auf drei bekannten Datensätzen (Youtube-8M, TVSum, SumMe) durch:

VOD (Saliency Accuracy): HiVid übertrifft den State-of-the-Art (SOTA) um 11,5 % in der Pearson-Korrelation (PLCC) und um 6 % in der mittleren durchschnittlichen Präzision (mAP50) im Vergleich zu den besten Baselines (wie SL-module und VideoLLaMA3).
Live-Streaming (Forecasting): Das System verbessert die Vorhersagegenauigkeit um 26 % gegenüber bestehenden Zeitreihenmodellen und garantiert dabei Echtzeit-Latenz.
Nutzerstudie: Eine reale Nutzerstudie zeigte, dass HiVid die Korrelation zwischen dem geschätzten QoE und der tatsächlichen menschlichen Bewertung (Mean Opinion Score) um 14,7 % steigert.
Effizienz: Durch die Nutzung von gleitenden Fenstern und asynchroner Vorhersage bleibt der Overhead trotz der Nutzung von LLMs (z. B. GPT-4o) kontrollierbar und für Live-Szenarien geeignet.

5. Bedeutung

HiVid demonstriert, dass Large Language Models effektiv als skalierbare, kostengünstige Alternative zu menschlichen Annotatoren für komplexe Video-Bewertungsaufgaben eingesetzt werden können. Das Framework löst das fundamentale Dilemma zwischen der Genauigkeit menschlicher Bewertungen und der Skalierbarkeit automatisierter Systeme. Es ermöglicht eine echte „Content-Aware"-Optimierung von Streaming-Diensten, was zu einer signifikant verbesserten Nutzererfahrung (weniger Pufferung bei wichtigen Inhalten, höhere Qualität bei Highlights) führt, ohne prohibitive Kosten zu verursachen. Die vorgeschlagenen Techniken (LLM-gesteuertes Sortieren, Multi-Modal-Forecasting mit adaptiver Latenz) bieten zudem neue Forschungsrichtungen für die Integration von LLMs in Echtzeit-Video-Systeme.