Fusionista2.0: Efficiency Retrieval System for Large-Scale Datasets

Fusionista2.0 is een geoptimaliseerd videozoeksysteem dat door middel van efficiënte verwerkingstechnieken en een verbeterde gebruikersinterface de zoektijd met tot 75% verkort en tegelijkertijd de nauwkeurigheid en tevredenheid van de gebruiker verhoogt.

De kern

Stel je voor dat je een enorme, chaotische bibliotheek hebt met 28.000 videobanden. Je hebt een vraag: "Waar is die ene man met de gele hoed die een ijsje eet?" In een normaal systeem zou je misschien uren moeten zoeken door elke band af te spelen. Fusionista2.0 is de slimme, supersnelle bibliothecaris die dit probleem oplost.

Hier is hoe dit systeem werkt, vertaald naar alledaags taalgebruik:

1. De "Snelheidsboer" (Efficiëntie)

Vroeger was het systeem als een chef-kok die elk gerecht van scratch maakte: hij sneed elk groentje met de hand, telde elke korrel rijst en gebruikte dure, zware apparatuur. Dat duurde te lang.
Fusionista2.0 heeft de keuken volledig gerenoveerd:

• De Videobanden: In plaats van de hele film te bekijken, pakt het systeem nu direct de belangrijkste momenten (de 'keyframes') eruit met een snelle machine (ffmpeg). Het is alsof je in plaats van de hele film te kijken, alleen de foto's van de belangrijkste scènes bekijkt.
• De Tekst: Als er tekst in de video staat (zoals een bordje of ondertiteling), gebruikt het systeem nu een slimme, snelle bril (Vintern-1B) om die tekst direct te lezen, in plaats van een zware, trage computer die uren over één zin nadenkt.
• De Spraak: Als er iemand in de video praat, gebruikt het systeem een snelle vertaler (faster-whisper) die direct schrijft wat er gezegd wordt, zonder te wachten tot de hele zin is uitgesproken.

2. De "Meer-ogen" Strategie (Zoeken)

Stel je voor dat je op zoek bent naar een specifiek object.

• Vroeger: Je had één vriend die goed kon zoeken, maar soms miste hij details.
• Nu: Fusionista2.0 heeft twee vrienden die samenwerken. De ene is heel snel, de andere heel precies. Ze kijken samen naar je vraag en geven een gezamenlijk antwoord. Hierdoor vinden ze veel sneller wat je zoekt, zelfs als je vraag vaag is.

3. De "Slimme Assistent" (Vragen stellen)

Soms wil je niet alleen zoeken, maar ook vragen stellen, zoals: "Hoeveel schoenen zijn er in beeld?" of "Wat staat er op dat bordje?"

• Grote kunstmatige intelligenties (AI) zijn als professor: heel slim, maar ze doen er 10 minuten over om een antwoord te geven.
• Fusionista2.0 gebruikt een student-assistent (een lichter model). Deze student is niet zo slim als de professor, maar hij is supersnel en goed genoeg voor de meeste vragen. Als het antwoord echt moeilijk is, schakelt het systeem een mens in om te helpen. Zo krijg je binnen een paar seconden een antwoord in plaats van een uur later.

4. De "Verfijnde Filter" (Reranking)

Stel je voor dat je 100 foto's krijgt die misschien wel iets met je vraag te maken hebben. De eerste 10 lijken goed, maar zijn ze het beste?

• Het systeem stelt nu automatisch drie ja/nee-vragen aan een slimme AI: "Is er een hond op de foto?", "Is de hond geel?", "Is de hond aan het rennen?".
• Op basis van de antwoorden schuift het systeem de beste foto's naar boven. Het is alsof je een lijstje maakt en de beste kandidaten eruit plukt voordat je ze aan de gebruiker laat zien.

5. De "Nieuwe Winkel" (Gebruiksgemak)

Het oude systeem was als een winkel waar de lichten flauw waren, de paden vol met kartonnen dozen lagen en je niet wist waar je moest zoeken.
Fusionista2.0 is een moderne, heldere winkel:

• Alles is overzichtelijk en logisch gerangschikt.
• Er zijn snelkoppelingen (zoals een afstandsbediening) om snel te navigeren.
• Zelfs iemand die nooit met technologie heeft gewerkt, kan nu moeiteloos vinden wat hij zoekt.

Het Resultaat?

Door al deze verbeteringen is het systeem 75% sneller geworden, maar tegelijkertijd nauwkeuriger. Het is alsof je van een fiets op een racefiets bent gestapt: je komt veel sneller aan, maar je ziet ook nog steeds alles scherp. Dit maakt Fusionista2.0 perfect voor wedstrijden waar tijd en precisie alles zijn, en het maakt het ook makkelijk voor gewone mensen om enorme hoeveelheden video's te doorzoeken.

Technische samenvatting

Probleemstelling

De Video Browser Showdown (VBS) is een jaarlijkse competitie die systemen test op hun vermogen om nauwkeurige resultaten te leveren binnen strikte tijdslimieten voor grote datasets. De uitdaging ligt in het schalen van bestaande zoeksystemen naar datasets van meerdere terabytes (zoals de V3C-dataset met meer dan 28.000 video's) zonder in te boeten aan snelheid of gebruiksgemak. Bestaande systemen (zoals de voorgangers Fusionista en Fustar) bleken te rekenintensief voor keyframe-selectie en te traag voor inferentie bij complexe vragen, wat leidde tot inefficiëntie en een hoge leercurve voor niet-expert gebruikers.

Methodologie

Fusionista2.0 is een geoptimaliseerd videozoeksysteem dat de bestaande architectuur volledig heeft herontworpen om snelheid en bruikbaarheid te maximaliseren. De kernmethodologie omvat de volgende technische upgrades:

1. Geoptimaliseerde Data-voorbereiding:

   • De complexe, multi-model pipeline voor keyframe-selectie (die CLIP en TransNetV2 gebruikte) is vervangen door een efficiënte, ffmpeg-gebaseerde workflow.
   • Het systeem extrahet deterministisch intra-gecodeerde frames (keyframes) en koppelt deze aan tijdstempels. Dit vermindert de reken- en geheugenvereisten aanzienlijk terwijl de kwaliteit voor zoekdoeleinden behouden blijft.

2. Verbeterde Tekstuele Zoeking (Text-to-Image):

   • In plaats van één model, gebruikt het systeem een ensemble van twee CLIP-varianten: CLIP-Sig400M en CLIP-ViT-5B.
   • De scores worden gewogen met een formule: $s(q, v) = 0.7 \cdot s_{Sig400M}(q, v) + 0.3 \cdot s_{ViT-5B}(q, v)$. Deze empirisch bepaalde weging (α=0.7) biedt de beste balans tussen snelheid en semantische nauwkeurigheid.

3. Efficiënte OCR en ASR:

   • OCR: De zware PaddleOCR-pipeline is vervangen door Vintern-1B-v3.5, een lichtgewicht model dat is gefinetuned op multilinguale datasets (inclusief Viet-ShareGPT). Dit model kan zelfs vervormde of verduisterde tekst infereren.
   • ASR: Het zware Whisper-model is vervangen door faster-whisper. Gezien de datasets vaak omgevingsgeluid bevatten en geen volledige transcriptie vereisen, biedt deze lichtgewicht variant een 4x snellere transcriptie met voldoende nauwkeurigheid.

4. Vragenbeantwoording (Question Answering - QA):

   • Grote Vision-Language Models (VLMs ≥7B) zijn te traag voor de VBS-tijdslimieten. Fusionista2.0 kiest voor lichtgewicht VLMs (≤1B parameters).
   • Na uitgebreide benchmarking op een dataset van 200 video-vraagparen, werd InternVL-1B-ffn6-Seq geselecteerd als het beste compromis tussen nauwkeurigheid en inferentiesnelheid (gemiddeld <5 seconden per query).
   • Voor complexe redenering wordt menselijke expertise ingeschakeld ("human-in-the-loop").

5. Reranking met Interactieve Bevestiging:

   • Een nieuwe reranking-module gebruikt een VLM (zoals GPT-4o) om drie "ja/nee"-vragen te genereren op basis van de oorspronkelijke zoekopdracht (bijv. "Is er een hond in de scène?").
   • Deze vragen worden gebruikt om de initiële zoekresultaten te verfijnen en de intentie van de gebruiker beter te begrijpen, waardoor de kans op het missen van subtiele details wordt verkleind.

6. UI/UX Herontwerp:

   • De interface is volledig herontworpen met Vite (in plaats van Create React App) voor betere prestaties.
   • Het ontwerp volgt WCAG-richtlijnen voor toegankelijkheid en bevat functies zoals virtueel scrollen, batch-operaties en een gespreksinterface voor QA.
   • De workflow is gestroomlijnd om herhaaldelijk browsen door dezelfde video-inhoud te minimaliseren.

Belangrijkste Bijdragen

• Schaalbaarheid: Het vervangen van zware, multi-model pipelines door lichtgewicht, gespecialiseerde alternatieven (ffmpeg, Vintern, faster-whisper) maakt verwerking van multi-terabyte datasets haalbaar.
• Balans tussen Snelheid en Nauwkeurigheid: Door ensemble-methoden en de selectie van specifieke lightweight VLMs, wordt een optimale trade-off bereikt die essentieel is voor real-time interactieve zoekopdrachten.
• Gebruiksvriendelijkheid: De focus op UI/UX en de integratie van een interactieve reranking-module verlaagt de instapdrempel voor niet-expert gebruikers aanzienlijk.

Resultaten

Evaluaties met nieuwe gebruikers tonen de volgende verbeteringen aan:

• Zoektijd: De totale zoektijd is met tot 75% gereduceerd.
• Nauwkeurigheid: De precisie van de zoekresultaten en de kwaliteit van de antwoorden zijn toegenomen.
• Gebruikstevredenheid: Er is een merkbare stijging in gebruiksgemak en tevredenheid, mede dankzij de responsieve interface en de gestroomlijnde workflow.
• Benchmarking: De selectie van InternVL-1B-ffn6-Seq voor QA leverde de hoogste consistentie op tussen telling, attribuutherkenning en tekstextractie binnen de strikte tijdslimieten.

Significantie

Fusionista2.0 bewijst dat het mogelijk is om grote-schaal videoretrievalsystemen te optimaliseren zonder afhankelijk te zijn van uiterst zware rekenmodellen. Door een strategische keuze voor efficiënte algoritmen en een sterke focus op de gebruikerservaring, biedt het systeem een robuust antwoord op de uitdagingen van de Video Browser Showdown 2026. Het systeem is niet alleen competitief in een academische setting, maar ook klaar voor bredere adoptie in de echte wereld waar snelheid en gebruiksgemak cruciaal zijn.