💻 computer science

Conformal Coverage Guarantees for Any Video Temporal Grounder

Cet article présente COVER, un cadre post-hoc et agnostique au modèle qui transforme n'importe quel localisateur temporel de vidéo en un prédicteur fiable en émettant des régions temporelles dotées de garanties à échantillon fini et sans distribution de contenir le moment réel de l'événement, traitant ainsi l'ambiguïté inhérente aux limites d'événements et l'absence de mesures de fiabilité dans les systèmes actuels.

Auteurs originaux : Aseel Mohamed, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Publié 2026-08-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aseel Mohamed, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un film et que quelqu'un vous demande : « Quand est-ce que le héros finit par attraper le méchant ? » Vous pourriez pointer un début et une fin sur la chronologie. Mais si vous demandiez à dix amis différents de marquer ces moments exacts sur le même clip, vous obtiendriez probablement dix réponses différentes. Certains diraient que la poursuite a commencé une seconde plus tôt ; d'autres diraient qu'elle s'est terminée quelques secondes plus tard. Dans le monde de la vision par ordinateur, c'est ce qu'on appelle la « localisation temporelle vidéo » (video temporal grounding). Il s'agit d'apprendre aux ordinateurs à trouver des moments spécifiques dans une vidéo à partir d'une description textuelle. La partie délicate est que la « vraie » réponse n'est pas une ligne unique et parfaite sur une chronologie ; c'est un nuage flou de possibilités car la perception humaine est naturellement ambiguë.

Actuellement, la plupart des programmes informatiques agissent comme s'ils étaient absolument certains. Ils dessinent une boîte unique sur la chronologie et disent : « C'est ici ! » Mais si cette boîte est fausse, l'ordinateur ne donne aucun avertissement. C'est comme une application météo qui dirait : « Il pleuvra à 14h00 », mais sans préciser qu'il pourrait en fait commencer à 13h55 ou se terminer à 14h10. Si vous êtes un robot essayant de monter une vidéo ou un moteur de recherche essayant de trouver un clip spécifique, vous avez besoin de savoir non seulement où se trouve l'événement, mais aussi à quel point l'ordinateur est sûr de lui. Ce document traite de ce problème en donnant aux ordinateurs un moyen de dire : « Je suis sûr à 90 % que l'événement se produit quelque part à l'intérieur de cette zone plus large et plus sûre », sans avoir besoin de réentraîner l'ordinateur ou de regarder à l'intérieur de son cerveau.

Le Problème : L'Erreur de la « Confiance »

Les auteurs de ce document, travaillant avec le Kurban Intelligence Lab, ont remarqué un fossé important dans le fonctionnement de l'IA vidéo. Lorsqu'un ordinateur essaie de trouver un moment dans une vidéo, il produit généralement un intervalle unique (un temps de début et un temps de fin). Le problème est que la « vérité terrain » (ground truth) — la réponse correcte réelle — est souvent une distribution, ce qui signifie que différentes personnes marqueraient des moments légèrement différents. Parce que l'ordinateur ne donne qu'une seule réponse, une prédiction erronée ressemble exactement à une prédiction correcte. Si vous construisez un outil qui repose sur ces prédictions, vous n'avez aucun moyen de savoir quand faire confiance à l'ordinateur et quand élargir votre recherche.

Certains chercheurs ont tenté de corriger cela en entraînant des modèles à deviner leur propre incertitude, ou en ajoutant simplement une durée fixe (une « marge ») au début et à la fin prédits. Les auteurs soutiennent que ces méthodes sont défectueuses. Les marges fixes sont comme porter des chaussures de la même taille pour tout le monde ; elles peuvent convenir parfaitement à un enfant, mais être trop grandes pour un adulte ou trop petites pour un géant. Dans leurs tests, ils ont constaté qu'en choisissant simplement une marge aléatoire, l'ordinateur pouvait avoir raison n'importe où entre 10 % et 100 % du temps, selon la vidéo. D'autres méthodes qui tentent d'apprendre l'incertitude à partir de zéro échouent souvent à offrir la fiabilité qu'elles promettent, manquant parfois le moment réel même lorsqu'elles affirment être sûres à 80 %.

La Solution : L'Enveloppe de Sécurité (Cover)

Entrez en scène Cover, un nouvel outil décrit dans ce document. Voyez Cover non pas comme un nouveau cerveau, mais comme une enveloppe de sécurité intelligente que vous pouvez placer sur n'importe quel programme de recherche vidéo existant, qu'il s'agisse d'un modèle complexe et entraîné ou d'une IA « boîte noire » dont vous ne pouvez pas voir l'intérieur.

Voici comment cela fonctionne, en utilisant une analogie simple : Imaginez que vous essayez d'attraper un poisson glissant (l'événement réel) avec un filet (la prédiction de l'ordinateur). L'ordinateur lance un filet qui est généralement proche, mais qui rate parfois la queue ou la tête. Cover ne change pas le bras de lancer de l'ordinateur. Au lieu de cela, il observe l'ordinateur s'exercer sur un ensemble de vidéos connues (un ensemble de calibration). Il mesure exactement de combien le filet de l'ordinateur doit être étiré pour attraper le poisson à chaque fois.

Une fois qu'il a déterminé l'étirement nécessaire pour être, disons, sûr à 90 % d'attraper le poisson, il applique cet étirement à chaque nouvelle prédiction. Si l'ordinateur dit que l'événement se situe de 10 secondes à 20 secondes, Cover pourrait dire : « D'accord, pour être sûr à 90 %, disons qu'il se situe en réalité entre 8 secondes et 22 secondes. » Cette nouvelle zone, plus large, est garantie de contenir le véritable événement avec la probabilité que vous avez demandée.

Ce Qu'Ils Ont Découvert

Les chercheurs ont testé cet « enveloppe » sur trois ensembles de données vidéo différents et cinq types de programmes de recherche vidéo. Leurs résultats ont été très révélateurs :

Cela fonctionne : Lorsqu'ils ont demandé une garantie de 90 %, le système a délivré un taux de réussite de 90 %. La « couverture réalisée » (la fréquence à laquelle ils avaient réellement raison) suivait la cible presque parfaitement.
Les marges fixes échouent : Ils ont testé l'ancienne idée consistant à ajouter simplement un temps fixe (comme « ajouter 10 secondes ») sans calibration. Les résultats étaient chaotiques. Selon la vidéo et le modèle, le taux de réussite oscillait sauvagement, tombant aussi bas que 0,096 (moins de 10 % !) jusqu'à 1,000 (100 %). Cela prouve que l'on ne peut pas simplement deviner une marge de sécurité ; il faut la calibrer.
Le piège de l'« évidentiel » : Ils ont testé un type spécial d'IA conçu spécifiquement pour deviner sa propre incertitude. Même si cette IA affirmait être sûre à 80 %, elle n'avait raison que 66 % du temps. Cover, cependant, a pris les prédictions exactes de cette IA et les a enveloppées dans une nouvelle couche qui a effectivement atteint la garantie de 80 % valide. Cela a montré que même les modèles construits pour être incertains peuvent se tromper sur leur propre incertitude.
L'asymétrie compte : Ils ont découvert que certains modèles sont excellents pour savoir quand un événement commence, mais très mauvais pour savoir quand il se termine. Pour ces modèles, Cover a découvert que l'étirement de la fin de l'intervalle devait être beaucoup plus grand que celui du début. En permettant à l'enveloppe d'étirer chaque côté différemment, ils ont pu rendre la zone de sécurité plus serrée et plus efficace.

À Retenir

Le document conclut que pour la localisation temporelle vidéo, la « bonne » réponse n'est pas un point précis dans le temps, mais une région accompagnée d'un énoncé de confiance. Cover offre un moyen d'obtenir cette région sans avoir besoin de réentraîner l'IA ou d'avoir accès à son code interne. Il transforme n'importe quel outil de recherche vidéo en un outil capable de dire : « Je ne suis pas sûr à 100 %, mais je suis sûr à 95 % que l'événement est dans cette boîte », et il soutient réellement cette affirmation par les mathématiques.

Les auteurs soulignent que cette garantie est valable tant que les nouvelles vidéos sont similaires à celles utilisées pour l'entraînement (un concept appelé « échangeabilité »). Si les vidéos sont totalement différentes de l'ensemble d'entraînement, la garantie peut s'affaiblir, mais la méthode offre toujours un moyen de mesurer et de s'ajuster à cela. En fin de compte, Cover transforme un jeu de devinettes en un processus fiable et calibré, garantissant que lorsqu'un ordinateur pointe un moment dans une vidéo, nous savons exactement quelle confiance nous pouvons lui accorder.

Résumé Technique : Garanties de Couverture Conforme pour Tout Localisateur Temporel Vidéo

Énoncé du Problème

Le repérage temporel vidéo consiste à identifier les temps de début et de fin d'un événement au sein d'une vidéo continue à partir d'une requête en langage naturel. Un défi fondamental dans ce domaine est l'ambiguïté inhérente aux limites d'événements : la ré-annotation de la même paire requête-vidéo produit souvent des intervalles qui concordent par moins de la moitié sur une grande fraction d'échantillons. Par conséquent, la vérité terrain est une distribution sur des intervalles plutôt qu'un point unique.

Les localisateurs temporels actuels, qu'il s'agisse de modèles entraînés localement (ex: modèles de type DETR) ou de modèles de langage-vidéo (VLM) boîtes noires, produisent un intervalle unique sans aucune déclaration de fiabilité. En déploiement, un intervalle confiant mais incorrect est indiscernable d'un intervalle correct, laissant les applications en aval (récupération, édition, agents de recherche de preuves) sans moyen rigoureux de décider quand différer ou élargir leur recherche. Les méthodes existantes de quantification de l'incertitude nécessitent soit de réentraîner des architectures spécifiques, soit reposent sur un accès "white-box", soit ne parviennent pas à fournir des garanties de couverture à échantillon fini qui correspondent à leurs cibles nominales.

Méthodologie : Cover

Le papier propose Cover, un enveloppe (wrapper) post-hoc et agnostique au modèle, qui transforme n'importe quel localisateur temporel existant en un système émettant une région temporelle contenant le moment réel avec une probabilité spécifiée par l'utilisateur d'au moins $1 - \alpha$ . Cover ne nécessite aucun réentraînement, aucun accès "white-box", et opère uniquement sur les sorties du localisateur et un ensemble de calibration tenu à l'écart.

La méthode repose sur les principes de la prédiction conforme adaptés aux intervalles temporels :

Scores de non-conformité : Cover définit un score représentant l'élargissement minimal requis pour qu'un intervalle prédit contienne la vérité terrain.
- Score d'élargissement d'intervalle : Pour les localisateurs émettant un intervalle $[\hat{s}, \hat{e}]$ , le score est le maximum des dépassements normalisés sur les limites de début et de fin : $s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$ , où $\ell(X)$ est la longueur prédite (ou une échelle fixe). Cela permet un élargissement bilatéral.
- Variante par limite : Une variante à deux paramètres calibre séparément les limites de début et de fin pour gérer les erreurs asymétriques.
- Score de super-niveau (Super-Level-Set) : Pour les localisateurs émettant un signal de pertinence temporelle $f_X(t)$ , le score est $s(X, I^*) = -\min_{t \in I^*} f_X(t)$ . Cela génère des régions adaptatives, potentiellement déconnectées, ne dépensant le budget temporel que là où la pertinence est élevée.
Calibration : Étant donné un ensemble de calibration étiqueté $\{(X_i, I^*_i)\}_{i=1}^n$ , Cover calcule les scores de non-conformité et sélectionne le seuil $\hat{q}$ comme étant le quantile empirique $(1-\alpha)$ (spécifiquement le $\lceil(n+1)(1-\alpha)\rceil$ -ième plus petit score).
Prédiction : Pour une nouvelle entrée de test, la région finale $\mathcal{C}(X)$ est construite en élargissant la prédiction de base par le quantile calibré $\hat{q}$ .
Variantes : Le cadre inclut une variante de contrôle de risque pour borner le taux d'erreur attendu et une variante stratifiée (calibration de Mondrian) pour assurer la couverture au sein de sous-populations spécifiques (ex: strates de longueur d'événement).

Contributions Clés

Quantification de l'Incertitude Indépendante de la Distribution : La première méthode fournissant des garanties de couverture à échantillon fini et indépendant de la distribution pour le repérage temporel vidéo. Elle convertit n'importe quel localisateur (entraîné ou boîte noire) en un prédicteur d'ensemble avec une probabilité garantie de contenir l'intervalle réel.
Scores de Non-Conformité Temporelle : L'introduction de scores spécifiques pour les localisateurs basés sur des intervalles et sur des signaux de pertinence, incluant une variante à deux paramètres pour traiter les erreurs de limites asymétriques.
Analyse Théorique :
- Efficacité : Preuve que l'élargissement calibré est asymptotiquement optimal en longueur au sein de la famille de régions choisie.
- Couverture Conditionnelle : Démonstration que la couverture est respectée conditionnellement à la longueur de l'événement sous un modèle d'échelle lors de l'utilisation de scores normalisés par la longueur.
- Limites d'Échangeabilité : Une borne explicite sur la dégradation de la couverture lorsque les moments provenant de la même vidéo violent les hypothèses d'échangeabilité.
Certification Empirique : Une évaluation complète montrant que la calibration est essentielle pour une couverture fiable, exposant les failles des évaluations basées sur des métriques ponctuelles et des marges "choisies à la main".

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks (Charades-STA, ActivityNet-Captions, QVHighlights) et cinq localisateurs, incluant un localisateur entraîné (QD-DETR) et un VLM boîte noire (Qwen2.5-VL-7B-Instruct).

Validité de la Couverture : La couverture réalisée suit étroitement la cible $1-\alpha$ sur tous les jeux de données et modèles. Par exemple, pour une cible de 0,90, QD-DETR a atteint $0,895 \pm 0,003$ sur ActivityNet-Captions.
Efficacité : Aucune famille de scores ne domine uniformément. Les scores normalisés par la longueur performent généralement bien, tandis que les scores de super-niveau sont les plus efficaces pour QVHighlights à des cibles de couverture élevées.
Calibration vs Marges Fixes : Les marges fixes choisies manuellement n'ont pas réussi à obtenir une couverture constante, la couverture réalisée oscillant de 0,096 à 1,000 selon la constante choisie. La calibration s'est avérée nécessaire pour atteindre la cible souhaitée efficacement.
Détection d'Asymétrie : La variante par limite a révélé que le VLM (Qwen) avait une détection de début quasi parfaite mais des erreurs de fin significatives. Un score à un seul paramètre gaspillait le budget sur la limite de début précise, tandis que la variante à deux paramètres réduisait la longueur de la région jusqu'à 9,1 % sur QVHighlights.
Échec de la Quantification de l'Incertitude : Un localisateur évidentiel conçu pour la quantification de l'incertitude a manqué sa cible nominale de 0,80, n'atteignant qu'une couverture réalisée de 0,660. Cover a restauré une garantie valide sur les mêmes prédictions.
Robustesse : La méthode maintient sa validité sous des changements de distribution (transfert entre jeux de données) lorsqu'on utilise la prédiction conforme pondérée, bien qu'elle atteigne une "limite de positivité" où les données sources ne soutiennent pas la distribution cible.

Signification et Revendications

Le papier affirme que Cover change fondamentalement l'objet de sortie du repérage temporel, passant d'une estimation ponctuelle à une région fiable. Sa signification réside dans :

Agnosticisme du Modèle : Il fonctionne sur n'importe quel localisateur, y compris les VLM boîtes noires, sans réentraînement.
Fiabilité : Il fournit une garantie rigoureuse à échantillon fini, permettant de distinguer un intervalle erroné d'un intervalle correct grâce à la probabilité de couverture.
Pouvoir de Diagnostic : Le processus de calibration agit comme un outil de mesure, révélant des propriétés cachées des localisateurs (ex: erreurs de limites asymétriques, échec des estimations d'incertitude natives) que les métriques ponctuelles standards occultent.
Déploiement Pratique : Il offre un mécanisme fondé sur des principes pour que les agents en aval décident de différer ou d'élargir les recherches, répondant à un problème central de la compréhension vidéo continue.

Les auteurs restent modestes, reconnaissant que la garantie repose sur l'hypothèse d'échangeabilité (qui peut être violée au sein de longues vidéos ou entre jeux de données) et qu'une couverture conditionnelle exacte, sans attribut, est théoriquement impossible sans dépendance à la distribution. Cependant, ils démontrent que la méthode se dégrade de manière progressive sous ces conditions et fournit le premier cadre pratique pour un repérage temporel fiable.