VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought

Het artikel introduceert VQ-Jarvis, een geavanceerd agent-systeem voor videorestauratie dat, ondersteund door een nieuw groot dataset (VSR-Compare) en een hiërarchische zoekstrategie, dynamisch en efficiënt de beste hersteltrajecten kiest voor complexe, real-world degradaties.

De kern

Stel je voor dat je een oude, beschadigde videoband hebt gevonden. Het beeld is wazig, donker, er zit regen op het scherm, en het beeld hapt. Normaal gesproken zou je één "magische knop" moeten indrukken om dit te herstellen. Maar in de echte wereld is dat lastig: soms heb je een andere knop nodig voor de regen, en weer een andere voor de duisternis. Als je de verkeerde volgorde kiest, wordt het beeld misschien nog slechter.

Dit artikel introduceert VQ-Jarvis, een slimme digitale assistent die dit probleem oplost. Het is geen simpele knop, maar een slimme agent (een soort robot-chauffeur) die zelf nadenkt over hoe hij het beste beeld kan maken.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Scherpe Ogen" (Sharp Vision)

Stel je voor dat je twee versies van dezelfde foto naast elkaar legt. De ene is net iets scherper, de andere heeft net iets betere kleuren. Een gewone computer ziet vaak geen verschil, of denkt dat ze gelijk zijn.

VQ-Jarvis heeft echter superieure ogen.

• Het probleem: Bestaande systemen kijken vaak alleen naar "ruis" of "scherpte" in het algemeen. Ze kunnen niet goed zien wat er echt gebeurt als twee verbeterde video's heel subtiel van elkaar verschillen.
• De oplossing: De onderzoekers hebben een enorme bibliotheek gemaakt met 20.000 voorbeelden van "Versie A vs. Versie B". Ze hebben menselijke experts en slimme AI's samen laten werken om te leren welke versie er echt mooier uitziet.
• Het resultaat: VQ-Jarvis kan nu als een ervaren fotograaf zeggen: "Ah, deze video heeft net iets minder ruis en de kleuren zijn natuurlijker," terwijl andere systemen daar niets van merken.

2. De "Snelle Gedachten" (Fast Thought)

Nu de agent weet wat hij ziet, moet hij beslissen hoe hij het herstelt. Hij heeft een gereedschapskist met veel verschillende tools (voor regen, voor donker, voor wazigheid, etc.).

• Het oude probleem: Veel systemen proberen alles uit. Ze proberen tool A, kijken of het werkt, proberen tool B, en hopen dat ze de juiste volgorde vinden. Dit is als proberen een slot te openen door alle 1.000 sleutels één voor één te proberen. Het duurt eeuwen.
• De VQ-Jarvis strategie:
  • Situatie 1: Het is een makkelijk slot. Als de video niet te erg beschadigd is, kijkt de agent in zijn geheugenbank (een bibliotheek van eerder succesvolle reparaties). Hij zegt: "O, dit lijkt op die video van gisteren. Ik gebruik precies dezelfde sleutel." Dit is snel en efficiënt.
  • Situatie 2: Het is een complex slot. Als de video heel erg beschadigd is (regen + donker + wazigheid), denkt hij stap voor stap na. Hij kiest de beste tool voor de regen, kijkt naar het resultaat, en kiest dan pas de beste tool voor de duisternis. Hij doet dit slim en gericht, niet blindelings.

3. De "Chef-kok" aan het werk

Je kunt VQ-Jarvis zien als een topchef in een restaurant:

• De ingrediënten: De beschadigde video.
• De gereedschappen: De verschillende AI-modellen (voor regen, licht, etc.).
• De ervaring: De chef weet dat je eerst de regen moet wegvegen voordat je het licht aanpast (anders zie je de regenstrepen niet goed). Hij weet ook dat je eerst het beeld moet opschonen voordat je het groter maakt (anders wordt het alleen maar een groter wazig beeld).

VQ-Jarvis combineert deze ervaring met zijn "scherpe ogen" om te beslissen: "Vandaag heb ik eerst de regen-tool nodig, dan de licht-tool, en tot slot de tool om het beeld scherper te maken."

Waarom is dit belangrijk?

Vroeger waren videorestauratie-systemen als een zwart-wit fototoestel: je drukte op de knop en hoopte op het beste. Als het misging, kon je het niet terugdraaien.

VQ-Jarvis is als een slimme fotograaf met een team. Hij kijkt eerst goed naar de foto, denkt na over welke lenzen hij nodig heeft, pakt de juiste gereedschappen uit de kast, en past ze in de perfecte volgorde toe. Het resultaat is een video die er niet alleen scherp uitziet, maar ook natuurlijk en vloeiend aanvoelt, en dat allemaal veel sneller dan de oude methoden.

Kortom: VQ-Jarvis is de slimme assistent die niet alleen "werkt", maar echt begrijpt wat er mis is met je video en de perfecte oplossing bedenkt, net als een menselijke expert, maar dan in een fractie van de tijd.

Technische samenvatting

Titel: VQ-Jarvis: Een Retrieval-Augmented Video Restoration Agent met Scherp Zicht en Snelle Gedachte

1. Het Probleem

Videoherstel in realistische scenario's wordt geconfronteerd met heterogene degradaties (zoals ruis, compressie-artefacten, wazigheid, lage resolutie en slechte verlichting) die vaak gemengd en tijdsafhankelijk voorkomen. Bestaande methoden hebben twee belangrijke beperkingen:

• Statische Architecturen: Traditionele "all-in-one" modellen of taakspecifieke modellen gebruiken vaste inferentiepijplijnen die niet goed kunnen generaliseren naar de complexe en onvoorspelbare combinaties van degradaties in de echte wereld.
• Beperkte Agenten: Nieuwere agent-gebaseerde benaderingen, die dynamische beslissingen nemen, lijden nog steeds onder:
  1. Onvoldoende kwaliteitsperceptie: Bestaande modellen kunnen subtiele verschillen tussen herstelde video's vaak niet nauwkeurig waarnemen, vooral bij gepaarde vergelijkingen.
  2. Inefficiënte zoekstrategieën: Huidige agenten gebruiken vaak trage, stap-voor-stap "trial-and-error" zoekstrategieën met frequente terugkeer (rollback), wat leidt tot hoge rekenkosten en lange inferentietijden.

2. Methodologie: VQ-Jarvis

De auteurs stellen VQ-Jarvis voor, een intelligent, alles-in-één videoherstelagent dat twee kernobjectieven nastreeft: "Scherp Zicht" (Sharp Vision) en "Snelle Gedachte" (Fast Thought).

A. Scherp Zicht: Perceptie en Vergelijking
Om de agent in staat te stellen degradaties nauwkeurig te detecteren en subtiele kwaliteitsverschillen tussen herstelde resultaten te beoordelen, worden twee kernmodellen getraind:

• Degradatieperceptiemodel: Schat de kwaliteitsscore en identificeert de specifieke degradatietypes (bijv. regen, donker, ruis).
• Multi-operator Beoordelingsmodel (Judge Model): Vergelijkt gepaarde herstelde video's en bepaalt welke beter is op basis van visuele kwaliteit, tijdsconsistentie en dynamiek.
• Onderliggende data: Beide modellen worden getraind op VSR-Compare, het eerste grote dataset voor gepaarde video-vergroting (zie bijdragen hieronder), met ongeveer 20.000 vergelijkingen. De training maakt gebruik van Group Relative Policy Optimization (GRPO) om het model te leren op basis van voorkeursvergelijkingen in plaats van absolute scores.

B. Snelle Gedachte: Hiërarchische Operatorplanning
Om de zoekruimte naar de beste herstelpijplijn efficiënt te navigeren, introduceert VQ-Jarvis een adaptieve strategie die afhankelijk is van de moeilijkheidsgraad van de inputvideo:

1. Een-staps Retrieval (voor makkelijke gevallen): Voor video's met een lage herstelcomplexiteit (bepaald door de voorspelde kwaliteitsscore), gebruikt de agent een Retrieval-Augmented Generation (RAG) bibliotheek. Deze bibliotheek bevat eerder geoptimaliseerde herstelpijplijnen voor 1.000 referentievideos. De agent zoekt de meest vergelijkbare video op in een "kwaliteits-uitgelijnde" embeddingsruimte (gebaseerd op CLIP-embeddings die zijn afgestemd op visuele kwaliteit) en past de bijbehorende pijplijn direct toe.
2. Stap-voor-stap Greedy Search (voor moeilijke gevallen): Voor complexe degradaties voert de agent een stap-voor-stap zoektocht uit. Hij deconstrueert het herstelproces in sub-taken (bijv. regen verwijderen, helderheid verhogen, super-resolutie) en selecteert voor elke stap de beste operator door kandidaten te vergelijken met het getrainde beoordelingsmodel.

C. Operator Pool
De agent heeft toegang tot een diverse pool van operators, waaronder gespecialiseerde modellen voor regenverwijdering, helderheidsverhoging, en geavanceerde diffusion-based video super-resolutie modellen (zoals SeedVR2, FlashVSR, DOVE).

3. Belangrijkste Bijdragen

1. VQ-Jarvis Agent: Een nieuw framework dat kwaliteitsbewuste perceptie, voorkeursgestuurde vergelijking en adaptieve operatorplanning combineert voor real-world videoherstel.
2. VSR-Compare Dataset: De constructie van het eerste grote dataset voor gepaarde video-vergroting. Het bevat 20.000 vergelijkingen die 7 degradatietypes, 11 verbeteringsoperators en diverse domeinen (AIGC, menselijke gezichten, natuur) omvatten. De dataset is samengesteld via een mens-machine collaboratieve annotatiestrategie waarbij meerdere MLLM-experts (zoals GPT-4o, Gemini) en menselijke experts samenwerken om hoogwaardige voorkeurlabels te genereren.
3. Hiërarchische Scheduling-strategie: Een innovatieve aanpak die de zoekstrategie dynamisch aanpast aan de moeilijkheidsgraad van de video, waardoor een optimale balans wordt gevonden tussen herstelkwaliteit en inferentiesnelheid.
4. Uitgebreide Experimenten: Validatie op meerdere benchmarks die aantonen dat de methode superieur is aan bestaande methoden.

4. Resultaten

De auteurs hebben VQ-Jarvis getest op diverse benchmarks, waaronder UDM10, YouHQ40, en een zelfgeconstrueerde benchmark voor multi-degradatie herstel.

• Kwaliteit: VQ-Jarvis presteert consistent beter dan state-of-the-art methoden (zoals SeedVR2, FlashVSR, DOVE) en ook beter dan een baseline die gebruikmaakt van traditionele metrics (DOVER-guide) voor selectie. Het scoort hoog op perceptuele metrics zoals CLIPIQA, MANIQA en DOVER, evenals op vervormingsmetrics zoals LPIPS en DISTS.
• Degradatieperceptie: Het degradatieperceptiemodel van VQ-Jarvis bereikt een nauwkeurigheid van 91,53% in het detecteren van degradaties, wat aanzienlijk hoger is dan algemene MLLM-modellen (zoals Qwen3-MoE of Gemini3 Pro, die rond de 67-70% scoren).
• Efficiëntie: Door de hybride strategie (RAG voor makkelijke gevallen, greedy search voor moeilijke) bereikt VQ-Jarvis een inferentietijd van gemiddeld 17,88 seconden per video. Dit is aanzienlijk sneller dan een volledige greedy search (42,65s) en levert betere kwaliteit op dan puur retrieval-gebaseerde methoden.
• Kwaliteitsbeoordeling: Het model toont ook superieure prestaties in het scoren van video-kwaliteit op natuurlijke video-datasets (LSVQ, LIVE-VQC), wat aantoont dat het model goed kan generaliseren naar niet-herstel taken.

5. Betekenis en Impact

Dit paper markeert een belangrijke stap in de evolutie van videoherstel van statische, handmatig ontworpen pijplijnen naar intelligente, agent-gebaseerde systemen.

• Paradigmaverschuiving: Het toont aan dat het combineren van grote multimodale taalmodellen (MLLM) met gespecialiseerde visuele tools en retrieval-mechanismen leidt tot robuustere en adaptievere systemen.
• Data-gedreven Innovatie: De introductie van VSR-Compare lost een kritiek probleem op: het gebrek aan data voor het trainen van modellen om subtiele kwaliteitsverschillen in gepaarde video's te beoordelen.
• Praktische Toepasbaarheid: De "Fast Thought" strategie maakt het mogelijk om complexe herstelproblemen in real-time of near-real-time aan te pakken, wat essentieel is voor toepassingen zoals videostreaming, bewaking en autonoom rijden.

Samenvattend biedt VQ-Jarvis een krachtig raamwerk dat niet alleen de kwaliteit van videoherstel in complexe scenario's verbetert, maar ook de efficiëntie van de zoekprocessen drastisch verhoogt door slim gebruik te maken van eerdere kennis en adaptieve besluitvorming.