🤖 machine learning

Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval

Het artikel stelt Holmes voor, een hiërarchisch bewijsleerframework dat onzekerheid in het zoeken naar gedeeltelijk relevante video's expliciet modelleert door multi-granulaire cross-modale bewijzen te aggregeren via inter-video Dirichlet-gebaseerde similariteitsmodellering en intra-video zachte uitlijning via adaptieve optimale transport.

Oorspronkelijke auteurs: Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke, onbewerkte homevideo te vinden uit een enorme bibliotheek met duizenden clips. Je hebt alleen een korte, vaag formulierde notitie om je te helpen, zoals "een persoon zwemt".

Dit is de uitdaging van Partially Relevant Video Retrieval (PRVR). De video is lang en rommelig (niet bijgesneden), maar je notitie beschrijft slechts één klein moment erin. Het probleem? Je notitie is zo kort dat hij per ongeluk op tientallen verschillende video's kan passen, of zo vaag dat de computer niet weet waar je naar op zoek bent.

Het artikel introduceert een nieuw systeem genaamd Holmes (naar de beroemde detective) om dit op te lossen. In plaats van alleen te gokken "ja" of "nee", treedt Holmes op als een detective die vraagt: "Hoe zeker ben ik hierover?"

Hier is hoe Holmes werkt, met eenvoudige analogieën:

1. Het Probleem: De "Vage Notitie" en de "Ruizige Bibliotheek"

Het artikel identificeert twee hoofdzaken die het vinden van de juiste video moeilijk maken:

De Vage Notitie (Inter-video Ambiguïteit): Als je schrijft "een persoon zwemt", kan de computer een video vinden van iemand die in een zwembad zwemt, een andere in de oceaan, en een derde waar iemand alleen maar doet alsof hij zwemt. De computer raakt in de war omdat de notitie op te veel dingen van toepassing is.
De Ruizige Bibliotheek (Intra-video Sparse Supervisie): In één lange video komen slechts een paar seconden echt overeen met je notitie. De rest is gewoon achtergrondruis (mensen die lopen, praten, enz.). Traditionele methoden kijken vaak alleen naar het ene "beste" seconde en negeren de rest, wat vergelijkbaar is met het beoordelen van een hele film door alleen naar één wazig frame te kijken.

2. De Oplossing: De "Detective-toolkit"

Holmes gebruikt een speciaal type wiskunde genaamd Evidential Learning. In plaats van één score te geven, verzamelt het "bewijs" en berekent het hoeveel het dat bewijs vertrouwt.

Deel A: De Clues Sorteren (Inter-video Niveau)

Holmes bekijkt de "vage notitie" en sorteert deze in drie categorieën volgens een "Drie-voudig Principe":

De Precieze Clue: De notitie is duidelijk (bijv. "Een meisje dat haar rode balletschoenen vastmaakt"). Holmes is zeer zeker. Het behandelt dit als een stevig vingerafdruk.
De Polysemische Clue (De Dubbelzinnigheid): De notitie heeft meerdere betekenissen (bijv. "Een man loopt"). Het kan een jogger zijn of een vluchtende crimineel. Holmes beseft: "Ik weet niet 100% zeker wat je bedoelt", dus het forceert geen enkel antwoord. Het houdt de mogelijkheden open.
De Ondetermined Clue: De notitie is te kort of gebroken (bijv. "zwem..."). Holmes geeft toe: "Ik heb niet genoeg info om dit op te lossen." Het gokt niet wild; het erkent het gebrek aan bewijs.

De Magische Truc: Zodra Holmes de clues heeft gesorteerd, past het de "trainingsregels" aan. Als een clue vaag is, zegt het tegen de computer: "Wees niet te streng voor video's die min of meer goed zijn." Als een clue precies is, zegt het: "Wees streng en vind de exacte match." Dit voorkomt dat de computer in de war raakt door dubbelzinnige notities.

Deel B: De Video Schoonmaken (Intra-video Niveau)

Nu kijkt Holmes binnenin de lange video om het specifieke moment te vinden.

De Oude Manier: Stel je voor dat je probeert een zin te matchen met een video door alleen naar het ene frame te kijken dat het beste overeenkomt. Als dat frame een glitch is of willekeurige ruis, faalt de hele zoektocht.
De Manier van Holmes (Flexibele Optimal Transport): Holmes gebruikt een "Vuilnisbak-emmer". Stel je voor dat je was sorteert. Je hebt een stapel kleding (videoclipjes) en een lijst met wat je nodig hebt.
- De meeste kleding gaat naar de "Match"-stapel.
- Maar sommige kleding is gewoon afval of niet gerelateerd (zoals een sok die niet thuishoort).
- Holmes heeft een speciale Vuilnisbak. In plaats van de vuile sok te dwingen om op je lijst te matchen, gooit hij deze in de vuilnisbak. Hierdoor kan de computer zich alleen richten op de relevante delen van de video zonder afgeleid te worden door de "ruis" ertussen.

3. Het Resultaat: Een Slimmere Detective

Door deze twee stappen te combineren, wordt Holmes veel beter in het vinden van video's dan eerdere methoden.

Het zegt niet alleen "Deze video matcht". Het zegt: "Deze video matcht, en ik ben 90% zeker", of "Deze video matcht, maar de notitie was vaag, dus ik ben maar 60% zeker."
Het negeert de "rommel"-delen van de video die andere systemen in de war brengen.

Samenvatting

Denk aan eerdere videozoekmachines als een student die antwoorden uit het hoofd leert maar in de war raakt door lastige vragen. Holmes is als een detective die:

Erkent wanneer een clue te vaag is (zodat het niet verkeerd gokt).
Clues sorteert op basis van hoe duidelijk ze zijn (zodat het weet hoe hard het moet zoeken).
Het afval weggooit (de irrelevante delen van de video) zodat het zich kan richten op het echte bewijs.

Het artikel laat zien dat deze aanpak computers helpt om veel sneller en accurater de juiste video te vinden, zelfs wanneer de zoeknotities kort, rommelig of dubbelzinnig zijn.

Technische Samenvatting: Uncertainty in Evidentiële Leer voor het Terughalen van Deels Relevante Video's Herbekeken

Probleemstelling

Het terughalen van deels relevante video's (Partially Relevant Video Retrieval, PRVR) heeft als doel ongesneden video's op te halen aan de hand van tekstqueries die slechts een specifiek segment van de video-inhoud beschrijven. In tegenstelling tot traditionele Tekst-naar-Video-retrieval (T2VR), die volledig beschrijvende queries voor vooraf bijgesneden video's veronderstelt, staat PRVR voor een fundamentele uitdaging die wortelt in data-asymmetrie: korte, vage tekstqueries worden vergeleken met rijke, ongesneden video-inhoud.

Deze asymmetrie introduceert twee gecombineerde uitdagingen:

Semantische Ambiguïteit tussen Video's: Queries vertonen vaak fijnmazige heterogeniteit. Ze kunnen onvoldoende bepaald zijn (onvoldoende semantiek die leidt tot lage zekerheid) of polysemisch (ambigue semantiek die overeenkomt met meerdere kandidaat-video's). Bestaande methoden negeren deze heterogeniteit vaak of behandelen deze impliciet, zonder mechanismen om specifieke onzekerheidstypen expliciet te kwantificeren.
Schaarse Supervisie binnen Video's: Het heersende Multiple Instance Learning (MIL)-paradigma superviseert doorgaans slechts de één beste overeenkomende clip. Dit leidt tot schaarse trainingsignalen, wat het model verhindert om holistische representaties te leren en het kwetsbaar maakt voor toevallige lokale ruis (bijvoorbeeld vals-positieven van irrelevante clips).

Methodologie: Het Holmes-Frame

De auteurs stellen Holmes voor, een hiërarchisch evidentiële leerframe dat is ontworpen om onzekerheid expliciet te kwantificeren en te modelleren op zowel het niveau tussen video's als binnen video's.

1. Evidentiële Leer tussen Video's

Dit onderdeel adresseert query-ambiguïteit door cross-modale similariteitsscores te behandelen als bewijs dat wordt geparametriseerd door een Dirichlet-verdeling.

Drieledig Principe voor Query-Identificatie: Het frame categoriseert queries op basis van drie metrieken afgeleid van de Dirichlet-verdeling:
- Epistemische Onzekerheid ( $u$ ): Weerspiegelt de sterkte van het bewijs. Een hoge $u$ duidt op onvoldoende bepaalde queries met beperkt bewijs.
- Labelconsistentie ( $c$ ): Meet de uitlijning met de grondwaarheid. Een hoge $c$ garandeert geen precisie, aangezien polysemische queries ook goed kunnen overeenkomen met de grondwaarheid.
- Aleatorische Onzekerheid ( $\xi$ ): Gemeten door de verwachte entropie van de verdeling. Lage entropie duidt op een precieze query (kwaliteitsmassa geconcentreerd op één video), terwijl hoge entropie duidt op een polysemische query (uniforme verdeling).
Onzekerheid-Gestuurde Identificatie (UGI): Queries worden onderverdeeld in drie subsets: Onvoldoende bepaald ( $S_u$ ), Precies ( $S_p$ ) en Polysemisch ( $S_n$ ). Deze onderverdeling maakt gebruik van een Onzekerheid-Dominante Partitie-Fusie-strategie om discrepanties tussen frame-schaal en clip-schaal takken te reconciliëren, waarbij hypothesen met hogere onzekerheidsdominantie prioriteit krijgen.
Query-Label Calibratie: Gebaseerd op de geïdentificeerde categorie worden labels herkalibreerd. Precieze en onvoldoende bepaalde queries behouden hun originele one-hot labels. Polysemische queries ontvangen soft labels afgeleid van door het model geschatte similariteiten om latente relevantie vast te leggen en overstraffen van semantisch gerelateerde samples te vermijden.

2. Evidentiële Leer binnen Video's

Om schaarste in supervisie op te lossen, accumuleert Holmes dichter bewijs door zachte uitlijningen tussen de query en meerdere relevante clips tot stand te brengen.

Flexibele Optimaal Transport (FOT): De methode formuleert een zachte query-clip uitlijning met behulp van Optimaal Transport (OT).
Adaptieve Vuilnisbak: Een belangrijke innovatie is de introductie van een "vuilnisbak"-emmer (een constante kolomvector ingesteld op het onderste 30%-percentiel van similariteitsscores). Deze emmer absorbeert irrelevante of ruizige clips, waardoor wordt voorkomen dat ze een volledige mapping afdwingen. Dit stelt het model in staat om te leren van meerdere relevante clips terwijl toevallige lokale responsen worden onderdrukt, wat effectief zorgt voor dichter temporeel toezicht.

3. Optimalisatie

Het model wordt getraind volgens een tweestapschema:

Warm-up: Optimaliseert standaard similariteit-retrieval en evidentiële leer tussen video's ( $L_{inter}$ ) zonder labelherkalibratie.
Gecombineerde Optimalisatie: Activeert evidentiële leer binnen video's ( $L_{intra}$ ) en labelherkalibratie.
De totale loss combineert de basis-retrievalloss, de loss voor evidentiële leer tussen video's en de loss voor evidentiële leer binnen video's.

Belangrijkste Bijdragen

Conceptueel: Het artikel herformuleert PRVR door de lens van onzekerheid, en koppelt semantische ambiguïteit tussen video's expliciet aan schaarste in supervisie binnen video's.
Methodologisch:
- Stelt Holmes voor, een tweeniveau-evidentiële leerframe.
- Introduceert een drieledig principe voor fijnmazige query-identificatie en adaptieve labelkalibratie.
- Ontwikkelt Flexibele Optimaal Transport (FOT) met een adaptieve vuilnisbak om dichte en robuuste temporele uitlijning mogelijk te maken.
Empirisch: Toont significante verbeteringen ten opzichte van state-of-the-art methoden op drie benchmarks, met ablatiestudies die de effectiviteit van onzekerheidskwantificering en ruisonderdrukking valideren.

Experimentele Resultaten

Experimenten zijn uitgevoerd op ActivityNet Captions, Charades-STA en TVR.

Prestaties: Holmes behaalt state-of-the-art prestaties op alle datasets. Op ActivityNet Captions presteert het 0,7 punten beter in SumR dan de sterkste concurrent (DreamPRVR). Op TVR overtreft het MGAKD met 8,1 punten in SumR.
Efficiëntie: Ondanks de toegevoegde complexiteit van evidentiële leer, behoudt Holmes een vergelijkbare inferentie- en trainings efficiëntie als modellen van vergelijkbare schaal (bijvoorbeeld GMMFormerV2).
Ablatiestudies:
- Het verwijderen van multi-schaal aggregatie of single-branch learning verslechtert de prestaties, wat de noodzaak van hiërarchisch bewijs bevestigt.
- Het verwijderen van labelkalibratie ( $L_{inter}$ ) leidt tot de slechtste prestaties, wat het belang van het hanteren van query-ambiguïteit benadrukt.
- Het verwijderen van de loss voor evidentiële leer binnen video's ( $L_{intra}$ ) of het vervangen van FOT door standaard OT/softmax resulteert in lagere nauwkeurigheid, wat de effectiviteit van het vuilnisbak-mechanisme in het filteren van ruis aantoont.
Kwalitatieve Analyse: Visualisaties tonen aan dat Holmes grondwaarheid-video's correct boven irrelevante video's rangschikt en toevallige lokale pieken onderdrukt, terwijl modellen zonder $L_{intra}$ falen in het onderscheiden van relevante clips van ruis.

Betekenis en Claims

Het artikel claimt dat Holmes een fris perspectief biedt door voorbij deterministische similariteitsscores te gaan en voorspellingonzekerheid expliciet te modelleren.

Interpreteerbaarheid: Door onderscheid te maken tussen zelfzekere matches en gissingen met weinig bewijs, verschuift het frame de retrieval van "black-box"-voorspellingen naar interpreteerbare, onzekerheidsbewuste systemen.
Robuustheid: De evidentiële leer binnen video's en het adaptieve vuilnisbak-mechanisme mitigeren actief "vals-positieven" door toevallige correlaties en ruis te filteren, wat cruciaal is voor het terughalen van ongesneden video's.
Dataset-analyse: Het vermogen om polysemische en onvoldoende bepaalde queries te categoriseren, biedt een weg om dataset-bias te diagnosticeren in plaats van er blind op te overfitten.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van vooraf getrainde feature-extractors (wat de prestaties kan beperken ten opzichte van end-to-end CLIP-gebaseerde benaderingen) en de vereiste voor volledige video-toegang, wat het minder geschikt maakt voor online streaming-scenario's. Voor toekomstig werk is gepland geavanceerde encoders en end-to-end training op te nemen.