Technische Samenvatting: Conforme Dekkingsgaranties voor Elke Video Temporele Grounder

Probleemstelling

Video temporele gronding (temporal grounding) houdt in dat de begin- en eindtijden van een gebeurtenis binnen een continue video worden geïdentificeerd op basis van een natuurlijke taalquery. Een fundamentele uitdaging in dit domein is de inherente ambiguïteit van gebeurtenisgrenzen: het opnieuw annoteren van dezelfde query–video-paar levert vaak overlappende intervallen op die in een groot deel van de monsters met minder dan de helft overeenstemmen. Bijgevolg is de grondwaarheid een distributie over intervallen in plaats van een enkel punt.

Huidige temporele grounders, of het nu getrainde localizers zijn (bijv. DETR-stijl modellen) of black-box video-taalmodellen (VLM's), geven een enkel interval zonder enige verklaring van betrouwbaarheid. In de praktijk is een zelfverzekerd maar incorrect interval niet te onderscheiden van een correct interval, waardoor downstream-toepassingen (retrieval, editing, evidence-seeking agents) zonder een principieel principe zonder een manier worden gelaten om te beslissen wanneer ze hun zoekopdracht moeten uitstellen of verbreden. Bestaande methoden voor onzekerheidskwantificatie vereisen ofwel het hertrainen van specifieke architecturen, vertrouwen op white-box toegang, of falen in het bieden van de finite-sample dekking die overeenkomt met hun nominale targets.

Methodologie: Cover

Het artikel stelt Cover voor, een post-hoc, model-agnostische wrapper die elke bestaande temporele grounder transformeert in een systeem dat een temporeel gebied afgeeft dat de ware instantie bevat met een door de gebruiker gespecificeerde waarschijnlijkheid van minstens $1 - \alpha$. Cover vereist geen hertraining, geen white-box toegang en werkt uitsluitend op de outputs van de grounder en een uit de training gehouden kalibratieset.

De methode steunt op conformal prediction principes aangepast voor temporele intervallen:

1. Niet-conformiteitsscores (Nonconformity Scores): Cover definieert een score die de minimale verbreding vertegenwoordigt die nodig is om een voorspeld interval te laten bevatten wat de grondwaarheid is.

   • Interval-verbredingsscore: Voor grounders die een interval $[\hat{s}, \hat{e}]$ uitgeven, is de score de maximale waarde van de genormaliseerde overschotten op de start- en eindgrenzen: $s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$, waarbij $\ell(X)$ de voorspelde lengte (of een vaste schaal) is. Dit maakt een tweezijdige verbreding mogelijk.
   • Per-grens variant: Een variant met twee parameters kalibreert de start- en eindgrenzen afzonderlijk om asymmetrische fouten te behandelen.
   • Super-Level-Set Score: Voor grounders die een temporeel relevantiesignaal $f_X(t)$ uitgeven, is de score $s(X, I^*) = -\min_{t \in I^*} f_X(t)$. Dit genereert adaptieve, potentieel gedisconnecteerde regio's die het temporele budget alleen besteden waar de relevantie hoog is.

2. Kalibratie: Gegeven een gelabelde kalibratieset $\{(X_i, I^*_i)\}_{i=1}^n$, berekent Cover de niet-conformiteitsscores en selecteert de drempelwaarde $\hat{q}$ als het $(1-\alpha)$ empirische kwantiel (specifiek het $\lceil(n+1)(1-\alpha)\rceil$-de kleinste score).

3. Voorspelling: Voor een nieuwe testinput wordt de uiteindelijke regio $\mathcal{C}(X)$ geconstrueerd door de basisvoorspelling te verbreden met het gekalibreerde kwantiel $\hat{q}$.

4. Varianten: Het framework bevat een risk-control variant om de verwachte miss-rate te begrenzen en een gestratificeerde variant (Mondrian kalibratie) om dekking binnen specifieke subpopulaties te garanderen (bijv. strata van gebeurtenislengtes).

Belangrijkste Bijdragen

1. Distributievrije Onzekerheidskwantificatie: De eerste methode die finite-sample, distributievrije dekking guarantees biedt voor video temporele gronding. Het transformeert elke grounder (getraind of black-box VLM) in een set-predictor met een gegarandeerde waarschijnlijkheid dat het ware interval wordt bevat.
2. Temporele Niet-conformiteitsscores: De introductie van specifieke scores voor zowel interval-gebaseerde als relevantie-signaal-gebaseerde grounders, inclus\u00ade een variant met twee parameters om asymmetrische grens-fouten aan te pakken.
3. Theoretische Analyse:
   • Efficiëntie: Bewijs dat de gekalibreerde verbreding asymptotisch lengte-optimaal is binnen de gekozen familie van regio's.
   • Conditionele Dekking: Demonstratie dat dekking standhoudt conditioneel op gebeurtenislengte onder een schaalmodel wanneer genormaliseerde scores worden gebruikt.
   • Exchangeability Bounds: Een expliciete grens op de degradatie van de dekking wanneer momenten uit dezelfde video de exchangeability-aannames schenden.
4. Empirische Certificering: Een uitgebreide evaluatie die aantoont dat kalibratie essentieel is voor betrouwbare dekking, waarbij tekortkomingen in punt-metriek-gebaseerde evaluaties en "hand-picked" marges worden blootgelegd.

Experimentele Resultaten

De methode werd geëvalueerd over drie benchmarks (Charades-STA, ActivityNet-Captions, QVHighlights) en vijf grounders, waaronder een getrainde localizer (QD-DETR) en een black-box VLM (Qwen2.5-VL-7B-Instruct).

• Dekking Validiteit: De gerealiseerde dekking volgt nauwgezet de target $1-\alpha$ over alle datasets en modellen. Bijvoorbeeld, bij een target van 0.90 bereikte QD-DETR $0.895 \pm 0.003$ op ActivityNet-Captions.
• Efficiëntie: Geen enkele scorefamilie domineert uniform. Lengte-genormaliseerde scores presteren over het algemeen goed, terwijl super-level-set scores het meest efficiënt zijn voor QVHighlights bij hoge dekkingsdoelen.
• Kalibratie vs. Vaste Marges: Hand-gekozen vaste marges slaagden er niet in om consistente dekking te bereiken, waarbij de gerealiseerde dekking schommelde van 0.096 tot 1.000, afhankelijk van de gekozen constante. Kalibratie bleek noodzakelijk om het gewenste target efficiënt te bereiken.
• Asymmetrie Detectie: De per-grens variant onthulde dat de VLM (Qwen) bijna perfecte onset-detectie had maar significante offset-fouten vertoonde. Een single-parameter score verspilde budget aan de accurate start-grens, terwijl de twee-parameter variant de regio-lengte met tot wel 9,1% verminderde op QVHighlights.
• Onzekerheidskwantificatie Falen: Een evidentiële grounder ontworpen voor onzekerheidskwantificatie miste zijn nominale target van 0.80 en behaalde slechts 0.660 gerealiseerde dekking. Cover herstelde een valide garantie op identieke voorspellingen.
• Robuustheid: De methode behield validiteit onder distributieverschuivingen (cross-dataset transfer) wanneer gewogen conforme voorspelling werd gebruikt, hoewel het een "positivity limit" raakte waarbij de brongegevens de doelverdeling niet ondersteunden.

Betekenis en Claims

Het artikel claimt dat Cover de output van temporele gronding fundamenteel verandert van een punt-schatting naar een betrouwbare regio. De betekenis ligt in:

• Model-Agnosticisme: Het werkt op elke grounder, inclusief black-box VLM's, zonder hertraining.
• Betrouwbaarheid: Het biedt een rigoureuze, finite-sample garantie dat een foutief interval onderscheidbaar is van een correct interval op basis van de dekkingswaarschijnlijkheid.
• Diagnostische Kracht: Het kalibratieproces fungeert als een meetinstrument dat verborgen eigenschappen van grounders onthult (bijv. asymmetrische grens-fouten, falen van natuurlijke onzekerheidsschattingen) die standaard punt-metrieken verhullen.
• Praktische Implementatie: Het biedt een principieel mechanisme voor downstream-agents om te beslissen wanneer ze zoekopdrachten moeten uitstellen of verbreden, waarmee een kernprobleem in continue video-begrip wordt geadresseerd.

De auteurs blijven bescheiden en erkennen dat de garantie rust op de exchangeability-aanname (die geschonden kan worden binnen lange video's of over datasets heen) en dat exacte, attribute-free conditionele dekking theoretisch onmogelijk is zonder distributievrije aannames. Ze demonstreren echter dat de methode onder deze omstandigheden gracieus degradeert en het eerste praktische framework biedt voor betrouwbare temporele gronding.