💻 computer science

Conformal Coverage Guarantees for Any Video Temporal Grounder

Dieses Paper stellt COVER vor, ein post-hoc, modellagnostisches Framework, das jeden Video-Temporal-Grounder in einen zuverlässigen Prädiktor transformiert, indem es temporale Regionen emittiert, die über Finite-Sample-, distributionsfreie Garantien für das Behalten des wahren Ereignismoments verfügen, und damit die inhärente Ambiguität von Ereignisgrenzen sowie den Mangel an Zuverlässigkeitsmetriken in aktuellen Systemen adressiert.

Ursprüngliche Autoren: Aseel Mohamed, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Veröffentlicht 2026-08-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aseel Mohamed, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen einen Film und jemand fragt: „Wann erwischt der Held schließlich den Bösewicht?“ Sie würden vielleicht einen Startzeitpunkt und einen Endzeitpunkt angeben. Aber wenn Sie zehn verschiedene Freunde bitten würden, genau diese Momente in demselben Clip zu markieren, bekämen Sie wahrscheinlich zehn verschiedene Antworten. Einige würden sagen, die Verfolgungsjagd begann eine Sekunde früher; andere würden sagen, sie endete einige Sekunden später. In der Welt des Computer Vision wird dies als „Video Temporal Grounding“ bezeichnet. Es ist die Aufgabe, Computer zu lehren, spezifische Momente in einem Video basierend auf einer Textbeschreibung zu finden. Der schwierige Teil ist, dass die „wahre“ Antwort kein einzelner, perfekter Strich auf einer Zeitachse ist, sondern eine unscharfe Wolke von Möglichkeiten, da die menschliche Wahrnehmung von Natur aus mehrdeutig ist.

Derzeit agieren die meisten Computerprogramme so, als wären sie absolut sicher. Sie zeichnen ein einzelnes Kästchen auf die Zeitachse und sagen: „Das ist es!“ Aber wenn dieses Kästchen falsch ist, gibt der Computer keine Warnung aus. Es ist wie eine Wetter-App, die sagt: „Es wird um 14:00 Uhr regnen“, aber nicht mitteilt, ob es tatsächlich schon um 13:55 Uhr beginnen oder erst um 14:10 Uhr enden könnte. Wenn Sie ein Roboter sind, der ein Video bearbeiten möchte, oder eine Suchmaschine, die versucht, einen bestimmten Clip zu finden, müssen Sie nicht nur wissen, wo das Ereignis stattfindet, sondern auch, wie sicher sich der Computer ist. Diese Arbeit befasst sich mit diesem Problem, indem sie Computern einen Weg bietet zu sagen: „Ich bin mir zu 90 % sicher, dass das Ereignis irgendwo innerhalb dieser breiteren, sichereren Zone stattfindet“, ohne den Computer neu trainieren oder in sein Gehirn hineinsehen zu müssen.

Das Problem: Der „selbstbewusste“ Fehler

Die Autoren dieser Arbeit, die mit dem Kurban Intelligence Lab zusammenarbeiten, stellten eine große Lücke in der Funktionsweise von Video-KI fest. Wenn ein Computer versucht, einen Moment in einem Video zu finden, gibt er normalerweise ein einzelnes Intervall (einen Startzeitpunkt und einen Endzeitpunkt) aus. Das Problem ist, dass die „Ground Truth“ – die tatsächliche korrekte Antwort – oft eine Verteilung ist, was bedeutet, dass verschiedene Menschen leicht unterschiedliche Zeiten markieren würden. Da der Computer nur eine Antwort liefert, sieht eine falsche Vorhersage exakt so aus wie eine richtige. Wenn Sie ein Werkzeug bauen, das auf diesen Vorhersagen basiert, haben Sie keine Möglichkeit zu wissen, wann Sie dem Computer vertrauen können und wann Sie Ihre Suche erweitern müssen.

Einige Forscher versuchten, dies zu beheben, indem sie Modelle darauf trainierten, ihre eigene Unsicherheit zu erraten, oder indem sie einfach einen festen Zeitraum (eine „Margin“) zum vorhergesagten Start- und Endpunkt hinzufügten. Die Autoren argumentieren, dass diese Methoden fehlerhaft sind. Feste Margins sind wie Schuhe in einer Einheitsgröße für jeden: Sie mögen einem Kind perfekt passen, aber für einen Erwachsenen zu groß oder für einen Riesen zu klein sein. In ihren Tests fanden sie heraus, dass das bloße Wählen einer zufälligen Margin dazu führen kann, dass der Computer je nach Video irgendwo zwischen 10 % und 100 % der Zeit richtig liegt. Andere Methoden, die versuchen, Unsicherheit von Grund auf neu zu lernen, scheitern oft daran, die versprochene Zuverlässigkeit zu liefern, und verpassen manchmal den wahren Moment, selbst wenn sie behaupten, zu 80 % sicher zu sein.

Die Lösung: Der „Sicherheitswrapper“ (Cover)

Hier kommt Cover ins Spiel, ein neues Werkzeug, das in dieser Arbeit beschrieben wird. Betrachten Sie Cover nicht als ein neues Gehirn, sondern als einen intelligenten Sicherheitswrapper, den Sie über jedes bestehende Video-Findungsprogramm legen können, egal ob es sich um ein komplexes, trainiertes Modell oder eine Black-Box-KI handelt, in deren Inneres Sie nicht sehen können.

So funktioniert es, unter Verwendung einer einfachen Analogie: Stellen Sie sich vor, Sie versuchen, einen schlüpfrigen Fisch (das wahre Ereignis) mit einem Netz (der Vorhersage des Computers) zu fangen. Der Computer wirft ein Netz, das meistens nah dran ist, aber manchmal den Schwanz oder den Kopf verfehlt. Cover verändert nicht den Wurfarm des Computers. Stattdessen beobachtet es den Computer beim Üben an einer Reihe bekannter Videos (einem „Kalibrierungsset“). Es misst genau, wie sehr das Netz des Computers gedehnt werden muss, um den Fisch jedes Mal zu fangen.

Sobeder es die richtige Dehnung ermittelt hat, die nötig ist, um zum Beispiel zu 90 % sicher den Fisch zu fangen, wendet Cover diese Dehnung auf jede neue Vorhersage an. Wenn der Computer sagt, das Ereignis findet von 10 Sekunden bis 20 Sekunden statt, könnte Cover sagen: „Okay, um zu 90 % sicher zu sein, sagen wir, es ist tatsächlich zwischen 8 Sekunden und 22 Sekunden.“ Diese neue, breitere Zone enthält die wahre Antwort mit der von Ihnen angeforderten Wahrscheinlichkeit.

Was sie herausfanden

Die Forscher testeten diesen „Wrapper“ an drei verschiedenen Video-Datensätzen und fünf verschiedenen Arten von Video-Findungsprogrammen. Ihre Ergebnisse waren sehr aufschlussreich:

Es funktioniert: Als sie nach einer 90 %-Garantie fragten, lieferte das System eine Erfolgsquote von 90 %. Die „realisierte Abdeckung“ (wie oft sie tatsächlich richtig lagen) folgte fast perfekt dem Zielwert.
Feste Margins versagen: Sie testeten die alte Idee, einfach einen festen Zeitraum hinzuzufügen (wie „10 Sekunden hinzufügen“) ohne Kalibrierung. Die Ergebnisse waren chaotisch. Je nach Video und Modell schwankte die Erfolgsquote wild, von so wenig wie 0,096 (weniger als 10 %!) bis zu 1,000 (100 %). Dies beweist, dass man eine Sicherheitsmargin nicht einfach erraten kann; man muss sie kalibrieren.
Die „Evidentielle“ Falle: Sie testeten eine spezielle Art von KI, die darauf ausgelegt ist, ihre eigene Unsicherheit zu erraten. Obwohl diese KI behauptete, zu 80 % sicher zu sein, lag sie nur in 66 % der Fälle richtig. Cover hingegen nahm exakt dieselben Vorhersagen dieser KI und hüllte sie in eine neue Schicht, die tatsächlich die gültige 80 %-Garantie erreichte. Dies zeigte, dass selbst Modelle, die gebaut wurden, um unsicher zu sein, bei ihrer eigenen Unsicherheit falsch liegen können.
Asymmetrie spielt eine Rolle: Sie entdeckten, dass einige Modelle gut darin sind, zu wissen, wann ein Ereignis beginnt, aber schlecht darin, zu wissen, wann es endet. Für diese Modelle fand Cover heraus, dass das Dehnen des Endes des Intervalls viel größer sein musste als das des Anfangs. Indem sie dem Wrapper erlaubten, jede Seite unterschiedlich zu dehnen, konnten sie die Sicherheitszone enger und effizienter gestalten.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass für das Video Temporal Grounding die „richtige“ Antwort kein einzelner Zeitpunkt ist, sondern eine Region mit einer Konfidenzaussage. Cover bietet einen Weg, diese Region zu erhalten, ohne die KI neu trainieren oder Zugriff auf deren internen Code zu benötigen. Es verwandelt jedes Video-Findungstool in eines, das sagen kann: „Ich bin mir nicht zu 100 % sicher, aber ich bin mir zu 95 % sicher, dass das Ereignis in diesem Kästchen liegt“, und es untermauert diese Behauptung tatsächlich mit Mathematik.

Die Autoren betonen, dass diese Garantie gilt, solange die neuen Videos denjenigen ähnlich sind, die für das Üben verwendet wurden (ein Konzept namens „Austauschbarkeit“ bzw. „Exchangeability“). Wenn die Videos völlig anders sind als das Übungsmaterial, kann die Garantie schwächer werden, aber die Methode bietet dennoch eine Möglichkeit, dies zu messen und anzupassen. Letztendlich verwandelt Cover ein Ratespiel in einen zuverlässigen, kalibrierten Prozess und stellt sicher, dass wir genau wissen, wie viel Vertrauen wir setzen können, wenn ein Computer auf einen Moment in einem Video zeigt.

Technisches Resümee: Konforme Abdeckungsgarantien für jeden Video-Temporal-Grounder

Problemstellung

Video-Temporal-Grounding umfasst die Identifizierung von Start- und Endzeiten eines Ereignisses innerhalb eines kontinuierlichen Videos basierend auf einer natürlichen Sprachabfrage. Eine grundlegende Herausforderung in diesem Bereich ist die inhärente Ambiguität von Ereignisgrenzen: Eine Re-Annotation desselben Abfrage-Video-Paares liefert oft überlappende Intervalle, die sich bei einem großen Anteil der Stichproben um weniger als die Hälfte überschneiden. Folglich ist die Grundwahrheit (Ground Truth) eine Verteilung über Intervalle und nicht ein einzelner Punkt.

Aktuelle Temporal-Grounder, seien es trainierte Lokalisierer (z. B. DETR-ähnliche Modelle) oder Black-Box-Video-Sprach-Modelle (VLMs), geben ein einzelnes Intervall ohne jegliche Aussage über die Zuverlässigkeit aus. Im Einsatz ist ein selbstbewusstes, aber falsches Intervall nicht von einem korrekten unterscheidbar, was nachgeschaltete Anwendungen (Retrieval, Editing, Evidence-Seeking Agents) ohne eine fundierte Möglichkeit zurücklässt, zu entscheiden, wann sie ihre Suche aufgeben oder ausweiten sollten. Bestehende Methoden zur Unsicherheitsquantifizierung erfordern entweder das Retraining spezifischer Architekturen, verlassen sich auf White-Box-Zugriff oder versagen dabei, endliche Stichproben-Abdeckungsgarantien bereitzustellen, die ihren nominalen Zielen entsprechen.

Methodik: Cover

Das Paper schlägt Cover vor, einen Post-hoc-, modellagnostischen Wrapper, der jeden bestehenden Temporal-Grounder in ein System verwandelt, das eine zeitliche Region ausgibt, die den wahren Moment mit einer vom Benutzer spezifizierten Wahrscheinlichkeit von mindestens $1 - \alpha$ enthält. Cover erfordert kein Retraining, keinen White-Box-Zugriff und operiert ausschließlich auf den Ausgaben des Grounders und einem gehaltenen Kalibrierungsdatensatz.

Die Methode stützt sich auf Prinzipien der konformen Prädiktion (Conformal Prediction), die für Zeitintervalle adaptiert wurden:

Nichtkonformitäts-Scores: Cover definiert einen Score, der die minimale Erweiterung darstellt, die erforderlich ist, damit ein vorhergesagtes Intervall die Grundwahrheit enthält.
- Intervall-Erweiterungs-Score: Für Grounder, die ein Intervall $[\hat{s}, \hat{e}]$ ausgeben, ist der Score das Maximum der normalisierten Überschreitungen an den Start- und Endgrenzen: $s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$ , wobei $\ell(X)$ die vorhergesagte Länge (oder eine feste Skala) ist. Dies ermöglicht eine zweiseitige Erweiterung.
- Pro-Grenze-Variante: Eine Zwei-Parameter-Variante kalibriert Start- und Endgrenzen separat, um asymmetrische Fehler zu handhaben.
- Super-Level-Set-Score: Für Grounder, die ein zeitliches Relevanzsignal $f_X(t)$ ausgeben, ist der Score $s(X, I^*) = -\min_{t \in I^*} f_X(t)$ . Dies generiert adaptive, potenziell disjunkte Regionen, die das Zeitbudget nur dort einsetzen, wo die Relevanz hoch ist.
Kalibrierung: Gegeben sei ein gelabelter Kalibrierungsdatensatz $\{(X_i, I^*_i)\}_{i=1}^n$ , berechnet Cover die Nichtkonformitäts-Scores und wählt den Schwellenwert $\hat{q}$ als das $(1-\alpha)$ -empirische Quantil (speziell das $\lceil(n+1)(1-\alpha)\rceil$ -kleinste Score-Werte).
Prädiktion: Für einen neuen Testinput wird die finale Region $\mathcal{C}(X)$ konstruiert, indem die Basis-Prädiktion um das kalibrierte Quantil $\hat{q}$ erweitert wird.
Varianten: Das Framework beinhaltet eine Risikokontroll-Variante, um die erwartete Fehlerrate zu begrenzen, sowie eine stratifizierte Variante (Mondrian-Kalibrierung), um die Abdeckung innerhalb spezifischer Subpopulationen (z. B. Ereignislängen-Strata) sicherzustellen.

Wichtigste Beiträge

Distributionsfreie Unsicherheitsquantifizierung: Die erste Methode, die endliche Stichproben-basierte, distributionsfreie Abdeckungsgarantien für Video-Temporal-Grounding bietet. Sie verwandelt jeden Grounder (trainiert oder Black-Box-VLM) in einen Mengen-Prädiktor mit einer garantierten Wahrscheinlichkeit, das wahre Intervall zu enthalten.
Temporale Nichtkonformitäts-Scores: Die Einführung spezifischer Scores sowohl für intervallbasierte als auch für relevanzsignalbasierte Grounder, einschließlich einer Zwei-Parameter-Variante zur Adressierung asymmetrischer Grenzfehler.
Theoretische Analyse:
- Effizienz: Beweis, dass die kalibrierte Erweiterung asymptotisch längenoptimal innerhalb der gewählten Familie von Regionen ist.
- Bedingte Abdeckung: Demonstration, dass die Abdeckung unter Verwendung von längennormalisierten Scores bedingt auf die Ereignislänge unter einem Skalenmodell hält.
- Austauschbarkeits-Grenzen (Exchangeability Bounds): Eine explizite Schranke für die Degradation der Abdeckung, wenn Momente aus demselben Video die Austauschbarkeitsannahmen verletzen.
Empirische Zertifizierung: Eine umfassende Evaluierung, die zeigt, dass Kalibrierung essenziell für zuverlässige Abdeckung ist, und die Mängel in punktmetrik-basierten Evaluierungen sowie "handverlesenen" Margen aufzeigt.

Experimentelle Ergebnisse

Die Methode wurde über drei Benchmarks (Charades-STA, ActivityNet-Captions, QVHighlights) und fünf Grounder evaluiert, darunter ein trainierter Lokalisierer (QD-DETR) und ein Black-Box-VLM (Qwen2.5-VL-7B-Instruct).

Gültigkeit der Abdeckung: Die realisierte Abdeckung folgt eng dem Zielwert $1-\alpha$ über alle Datensätze und Modelle hinweg. Beispielsweise erreichte QD-DETR bei einem Ziel von 0,90 eine Abdeckung von $0,895 \pm 0,003$ auf ActivityNet-Captions.
Effizienz: Keine einzelne Score-Familie dominiert einheitlich. Längennormalisierte Scores schneiden generell gut ab, während Super-Level-Set-Scores für QVHighlights bei hohen Abdeckungszielen am effizientesten sind.
Kalibrierung vs. Feste Margen: Handverlesene feste Margen konnten keine konsistente Abdeckung erreichen, wobei die realisierte Abdeckung je nach gewähltem Konstrukt zwischen 0,096 und 1,000 schwankte. Es wurde gezeigt, dass Kalibrierung notwendig ist, um das gewünschte Ziel effizient zu erreichen.
Asymmetrie-Detektion: Die Pro-Grenze-Variante enthüllte, dass das VLM (Qwen) eine nahezu perfekte Onset-Detektion, aber signifikante Offset-Fehler aufwies. Ein Ein-Parameter-Score verschwendete Budget auf die akkurate Startgrenze, während die Zwei-Parameter-Variante die Regionenlänge auf QVHighlights um bis zu 9,1 % reduzierte.
Versagen der Unsicherheitsquantifizierung: Ein evidenzbasierter Grounder, der zur Unsicherheitsquantifizierung entwickelt wurde, verfehlte sein nominales 0,80-Ziel und erreichte nur eine realisierte Abdeckung von 0,660. Cover stellte eine valide Garantie auf denselben Prädiktionen wieder her.
Robustheit: Die Methode blieb unter Verteilungsschifts (Cross-Dataset Transfer) unter Verwendung von gewichteter konformer Prädiktion gültig, stieß jedoch an ein "Positivitätslimit", bei dem die Quelldaten die Zielverteilung nicht unterstützten.

Bedeutung und Ansprüche

Das Paper behauptet, dass Cover das Ausgabeobjekt des Temporal-Groundings grundlegend von einer Punktschätzung zu einer zuverlässigen Region verändert. Seine Bedeutung liegt in:

Modellagnostik: Es funktioniert mit jedem Grounder, einschließlich Black-Box-VLMs, ohne Retraining.
Zuverlässigkeit: Es bietet eine rigorose, endliche Stichproben-Garantie, durch die ein falsches Intervall anhand der Abdeckungswahrscheinlichkeit von einem richtigen unterscheidbar wird.
Diagnostische Kraft: Der Kalibrierungsprozess fungt als Messinstrument, das verborgene Eigenschaften von Groundern offenlegt (z. B. asymmetrische Grenzfehler, Versagen nativer Unsicherheitsschätzungen), welche Standard-Punktmetriken verschleiern.
Praktische Implementierung: Es bietet einen fundierten Mechanismus für nachgeschaltete Agenten, um zu entscheiden, wann sie Suchen aufgeben oder ausweiten sollten, was ein Kernproblem im kontinuierlichen Video-Verständnis adressiert.

Die Autoren bleiben bescheiden und räumen ein, dass die Garantie auf der Austauschbarkeitsannahme beruht (die innerhalb langer Videos oder über Datensätze hinweg verletzt werden kann) und dass eine exakte, attributfreie bedingte Abdeckung theoretisch unmöglich im Sinne von distributionsfrei ist. Sie zeigen jedoch, dass die Methode unter diesen Bedingungen kontrolliert degradiert und den ersten praktischen Rahmen für zuverlässiges temporales Grounding bereitstellt.