VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un vecchio filmato di famiglia, pieno di graffi, buio, pioggia e sgranato. Il tuo obiettivo è renderlo nitido e bello come nuovo. Fino a poco tempo fa, per farlo, gli esperti usavano un "forno" unico: un programma che cercava di sistemare tutto allo stesso modo, indipendentemente dal problema. Ma spesso, questo forno bruciava le cose o non le sistemava abbastanza.

VQ-Jarvis è come un cuoco stellato con un assistente magico che entra in cucina e decide esattamente cosa fare, passo dopo passo.

Ecco come funziona, diviso in tre parti magiche:

1. Gli Occhi Acuti (La "Visione Sharp")

Il primo problema è capire esattamente cosa c'è che non va.

Il problema: I vecchi programmi vedono solo "è brutto". Non distinguono bene se un video è sgranato perché è buio o perché è piovoso.
La soluzione di Jarvis: Jarvis ha "occhi" addestrati su un enorme album di foto di confronto (chiamato VSR-Compare). Immagina di aver mostrato a Jarvis 20.000 coppie di video: uno "prima" e uno "dopo", chiedendogli: "Quale dei due è meglio? Perché?".
L'analogia: È come se Jarvis avesse fatto un tirocinio da un critico d'arte esperto. Non si limita a dire "è bello", ma sa dirti: "Guarda, qui i colori sono più naturali, lì il movimento è più fluido". Questo gli permette di vedere differenze sottili che gli altri non notano.

2. Il Pensiero Veloce (Il "Pensiero Rapido")

Una volta capito il problema, come lo si risolve?

Il problema: Provare a sistemare un video è come cercare di risolvere un puzzle gigante. Potresti usare 100 strumenti diversi (rimuovi pioggia, illumina, sgranisci, ecc.). Provare tutte le combinazioni richiederebbe giorni.
La soluzione di Jarvis: Jarvis usa una strategia intelligente chiamata "Cerca e Trova".
- Se il video è "facile" (es. solo un po' buio): Jarvis guarda nel suo libro delle ricette (una libreria di soluzioni già provate su video simili) e applica subito la soluzione perfetta. È come se dicesse: "Ah, questo è un video buio? Ho già risolto questo caso ieri! Uso questa ricetta".
- Se il video è "difficile" (es. buio + pioggia + sgranato): Jarvis non indovina alla cieca. Usa un metodo a scacchiera: prova un passo, controlla se è meglio, poi prova il passo successivo. Ma lo fa in modo intelligente, saltando le strade che portano a risultati pessimi.
L'analogia: È la differenza tra un turista che gira per una città cercando a caso la strada (lento e confuso) e un tassista esperto che sa esattamente quale strada prendere in base al traffico (veloce e preciso).

3. Il Team di Esperti (L'Agente)

Jarvis non è un singolo programma, ma un capo orchestre.

Ha a disposizione una "cassetta degli attrezzi" piena di specialisti: uno bravo a togliere la pioggia, uno a illuminare le scene buie, uno a sgranare l'immagine.
Jarvis osserva il video, decide quale specialista chiamare e in quale ordine.
- Esempio: Se c'è pioggia e buio, Jarvis sa che prima bisogna togliere la pioggia (altrimenti l'illuminazione crea riflessi strani) e poi illuminare. È come se sapesse che non puoi mettere il sale sulla carne prima di cuocerla se vuoi che rimanga succosa.

Perché è importante?

Prima, per sistemare un video, dovevi scegliere tu quale programma usare e sperare che funzionasse. Con VQ-Jarvis:

Capisce meglio: Sa distinguere un video "quasi perfetto" da uno "perfetto".
È più veloce: Non perde tempo a provare soluzioni che non funzionano.
È adattivo: Se il video è difficile, lavora di più; se è facile, lo risolve in un attimo.

In sintesi:
VQ-Jarvis è come avere un restauratore d'arte digitale che ha visto milioni di filmati, sa esattamente quale pennello usare per ogni tipo di danno, e lavora così velocemente che in pochi secondi trasforma un video rovinato in un capolavoro, tutto da solo.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

Il ripristino video in scenari reali è una sfida complessa a causa di degradazioni eterogenee (rumore, sfocatura, bassa risoluzione, compressione, scarsa illuminazione, pioggia) che sono spesso miste, variabili nel tempo e fortemente accoppiate tra i frame.
Le attuali soluzioni si dividono in due categorie, entrambe con limiti significativi:

Architetture specifiche per task: Modelli dedicati a una singola degradazione, che non generalizzano bene a scenari reali complessi.
Paradigmi "All-in-One": Reti uniche che tentano di gestire più degradazioni, ma che soffrono di pipeline di inferenza fisse e statiche, incapaci di adattarsi dinamicamente alla natura specifica del degrado.

Gli approcci basati su agenti (che usano modelli linguistici multimodali per prendere decisioni dinamiche) offrono una promessa, ma quelli esistenti per il ripristino video presentano tre carenze principali:

Percezione insufficiente: Mancano di una capacità accurata di distinguere le sottili differenze di qualità tra risultati di ripristino diversi (specialmente in scenari di enhancement a coppie).
Strategie di ricerca inefficienti: Si basano su ricerche greedy passo-passo o trial-and-error, che sono computazionalmente costose e lente.
Mancanza di conoscenza pregressa: Non sfruttano efficacemente le strategie di ripristino ottimali già note per degradazioni simili.

2. Metodologia: VQ-Jarvis

Il paper propone VQ-Jarvis, un agente intelligente di ripristino video "all-in-one" basato su Retrieval-Augmented Generation (RAG), caratterizzato da "visione acuta" (Sharp Vision) e "pensiero veloce" (Fast Thought).

A. Costruzione del Benchmark VSR-Compare

Per addestrare l'agente a percepire le qualità sottili, gli autori hanno costruito VSR-Compare, il primo dataset su larga scala per il confronto di enhancement video a coppie.

Scala: Circa 20.000 coppie di confronto.
Copertura: 7 tipi di degradazione, 11 operatori di enhancement e domini diversificati (AIGC, volti umani, scene naturali, ecc.).
Annotazione: Utilizza una strategia di annotazione collaborativa uomo-macchina. Diverse MLLM (Qwen-MoE, GPT-4o, Gemini3 Pro) generano giudizi e ragionamenti, che vengono filtrati per incoerenza e poi verificati/affinati da esperti umani. Questo ha permesso di addestrare un modello giudice multi-operatore con un'accuratezza del 93% rispetto agli umani.

B. Architettura del Framework

VQ-Jarvis integra tre componenti principali:

Modello di Percezione del Degrado ( $H_{deg}$ ): Stimata un punteggio di qualità scalare e un vettore di attributi del degrado (es. presenza di pioggia, oscurità).
Modello Giudice Multi-Operatore ( $H_{judge}$ ): Addestrato sul dataset VSR-Compare per confrontare i risultati di diversi operatori e selezionare il migliore.
Strategia di Scheduling Gerarchico degli Operatori:
- Recupero in un passo (One-Step Retrieval): Per video con degradazione "facile" (basso punteggio di difficoltà), l'agente interroga una libreria RAG contenente traiettorie di ripristino ottimali per 1.000 video di riferimento. Utilizza embedding allineati alla qualità (non solo semantici) per trovare il video più simile e applicare la sua traiettoria.
- Ricerca Greedy Passo-Passo: Per video "difficili", l'agente esegue una ricerca sequenziale. Divide il compito in sottoproblemi (es. rimozione pioggia, enhancement luce, super-risoluzione) e, per ogni passo, seleziona l'operatore migliore confrontando le uscite tramite il modello giudice.

C. Addestramento

I modelli di percezione e giudizio sono addestrati utilizzando GRPO (Group Relative Policy Optimization), un algoritmo di reinforcement learning che ottimizza le decisioni basandosi su confronti relativi tra gruppi di candidati, piuttosto che su valori assoluti.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark reali (UDM10, YouHQ40) e su un set di dati personalizzato con degradazioni multiple.

Super-Risoluzione Video Reale (Real-VSR): VQ-Jarvis supera tutti i metodi state-of-the-art (inclusi SeedVR2, DOVE, FlashVSR) e le baseline guidate da metriche (DOVER-guide) su metriche non di riferimento come CLIPIQA, DOVER e VQ-Insight.
Ripristino Multi-Degradazione: Su tre gruppi di degradazioni complesse (es. oscurità + pioggia + rumore + bassa risoluzione), VQ-Jarvis ottiene i migliori punteggi in termini di qualità percettiva (MANIQA, CLIPIQA) e distorsione (LPIPS, DISTS), superando sia i modelli monolitici che le strategie di routing casuali o basate su LLM generici.
Percezione del Degrado: Il modello di percezione raggiunge un'accuratezza media del 91.53% nella rilevazione dei tipi di degradazione, superando significativamente modelli come Qwen3-VL e Gemini3 Pro.
Efficienza: La strategia ibrida (RAG + Greedy) riduce drasticamente il tempo di inferenza rispetto alla ricerca greedy pura (da ~42s a ~17s per video) mantenendo una qualità quasi ottimale.
Valutazione della Qualità: Il sistema dimostra capacità superiori nella valutazione della qualità video naturale e UGC (User Generated Content) rispetto a metodi tradizionali e MLLM reasoning-based.

4. Contributi Chiave

VQ-Jarvis: Un agente di ripristino video che combina percezione della qualità, confronto basato sulle preferenze e scheduling adattivo degli operatori.
VSR-Compare: Il primo dataset su larga scala di confronti a coppie per enhancement video, essenziale per addestrare modelli in grado di distinguere differenze sottili di qualità.
Strategia di Scheduling Gerarchico: Un approccio ibrido che bilancia efficienza e accuratezza, recuperando soluzioni ottimali per casi semplici e cercando attivamente per casi complessi.
Validazione Empirica: Dimostrazione che l'integrazione di conoscenza pregressa (RAG) e percezione fine (Judge Model) supera i limiti degli approcci statici e delle ricerche brute-force.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso il ripristino video guidato dalle decisioni e basato sull'esperienza.

Superamento delle metriche tradizionali: Dimostra che l'ottimizzazione diretta della comprensione olistica della qualità (tramite modelli di giudizio addestrati su preferenze umane/MLLM) è più efficace della selezione basata su metriche tradizionali (come PSNR/SSIM o DOVER).
Scalabilità: L'architettura modulare permette di integrare facilmente nuovi operatori di ripristino man mano che la ricerca avanza, rendendo il sistema adattabile all'evoluzione degli algoritmi.
Efficienza Computazionale: La soluzione ibrida RAG offre un compromesso pratico per l'uso in scenari reali, riducendo i costi computazionali senza sacrificare la qualità del risultato finale.

In sintesi, VQ-Jarvis trasforma il ripristino video da un processo di inferenza statico a un processo dinamico e intelligente, capace di adattarsi alla complessità del mondo reale con "visione acuta" per valutare la qualità e "pensiero veloce" per trovare la soluzione ottimale.