VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought

Le papier présente VQ-Jarvis, un agent intelligent de restauration vidéo qui combine une perception fine des dégradations, grâce au nouveau jeu de données VSR-Compare, et une stratégie de décision hiérarchique rapide pour surmonter les limitations des méthodes existantes face à des dégradations hétérogènes complexes.

L'essentiel

🎬 Le Problème : Une Cuisine en Désordre

Imaginez que vous recevez une vidéo (un plat) qui a été abîmée pendant le transport. Elle est floue, sombre, pleine de pluie, de bruit de neige, et compressée comme un vieux fax. C'est ce qu'on appelle une "vidéo dégradée".

Jusqu'à présent, les experts en restauration vidéo (les cuisiniers) utilisaient deux méthodes :

1. Le couteau unique : Ils avaient un seul outil magique pour tout faire. Mais si le plat était à la fois brûlé et mouillé, ce couteau ne savait pas quoi faire.
2. Le chef rigide : Ils suivaient une recette fixe (d'abord enlever l'eau, puis la lumière). Mais parfois, l'ordre était mauvais et le résultat était raté.

Le résultat ? Des vidéos restaurées qui semblaient souvent "trop lisses", bizarres, ou qui ne réparaient pas tous les défauts.

🤖 La Solution : VQ-Jarvis, le Chef Robot Intuitif

Les auteurs ont créé VQ-Jarvis. Imaginez-le non pas comme un simple robot, mais comme un chef étoilé surhumain qui a deux super-pouvoirs : une vue de faucon (Sharp Vision) et une pensée rapide (Fast Thought).

1. La "Vue de Faucon" (Sharp Vision)

Avant de cuisiner, un bon chef doit goûter et analyser.

• Le problème : Les anciens robots ne savaient pas vraiment distinguer un plat "très bon" d'un plat "parfait". Ils voyaient juste "c'est propre" ou "c'est sale".
• La solution VQ-Jarvis : Les chercheurs ont créé une immense bibliothèque de comparaison appelée VSR-Compare. C'est comme un concours de dégustation géant où 20 000 paires de vidéos ont été comparées par des humains et des IA très intelligentes.
• L'analogie : Grâce à ce concours, VQ-Jarvis a appris à dire : "Attends, la vidéo A a un peu plus de contraste et moins de tremblement que la vidéo B. C'est la meilleure !" Il voit les détails infimes que les autres ignorent.

2. La "Pensée Rapide" (Fast Thought)

Une fois qu'il a analysé le plat, il doit décider comment le réparer.

• Le problème : Essayer toutes les combinaisons possibles d'outils (enlever la pluie, puis la lumière, puis le flou...) prendrait des heures. C'est trop lent.
• La solution VQ-Jarvis : Il utilise une stratégie intelligente en deux temps :
  • Cas faciles (La Mémoire) : Si la vidéo ressemble à un plat qu'il a déjà cuisiné hier, il ouvre son livre de recettes (RAG). Il dit : "Ah, c'est une vidéo sombre et pluvieuse ? J'ai déjà fait ça pour ce client-là. Je reprends exactement la même recette." C'est instantané.
  • Cas difficiles (L'Expérimentation) : Si la vidéo est un vrai casse-tête (mélange de pluie, de bruit et de basse résolution), il ne devine pas au hasard. Il teste rapidement quelques combinaisons d'outils, compare les résultats avec son "vue de faucon", et choisit le meilleur chemin étape par étape.

🛠️ Comment ça marche concrètement ?

VQ-Jarvis fonctionne comme un chef d'orchestre :

1. Il écoute la musique (Analyse) : Il regarde la vidéo et dit : "Il y a de la pluie, c'est sombre, et c'est flou."
2. Il choisit les musiciens (Outils) : Il a une boîte à outils remplie de spécialistes (un expert pour enlever la pluie, un pour éclaircir l'image, un pour rendre les détails nets).
3. Il dirige l'orchestre (Ordonnancement) : Il sait que si on éclaircit l'image avant d'enlever la pluie, on risque de créer des taches bizarres. Donc, il dit : "D'abord enlève la pluie, ensuite éclaircis, et enfin rends l'image nette."

🏆 Le Résultat

Grâce à cette approche, VQ-Jarvis est capable de :

• Restaurer des vidéos réelles (comme celles des caméras de surveillance ou des vidéos de vacances abîmées) bien mieux que les méthodes actuelles.
• Être rapide : Il ne perd pas de temps à essayer des recettes inutiles.
• Être précis : Il ne rend pas l'image "plastique" ou trop lisse, il garde le naturel de la scène.

En résumé

VQ-Jarvis, c'est comme passer d'un ouvrier qui utilise un marteau pour tout faire, à un chef cuisinier expert qui a goûté des milliers de plats, possède un livre de recettes intelligent, et sait exactement quel outil utiliser, dans quel ordre, pour transformer un plat gâché en un chef-d'œuvre, le tout en un clin d'œil.

C'est une avancée majeure pour rendre nos vieilles vidéos, nos vidéos de surveillance ou nos films abîmés, à nouveau beaux et clairs.

Résumé technique

1. Problématique

La restauration vidéo dans des scénarios réels se heurte à des défis majeurs dus à la nature hétérogène et complexe des dégradations (bruit, flou, compression, faible luminosité, basse résolution, etc.).

• Limites des approches existantes : Les architectures statiques et les pipelines d'inférence fixes (modèles "tout-en-un" ou spécifiques à une tâche) peinent à généraliser face à la diversité et à la variabilité temporelle des dégradations réelles.
• Faiblesses des agents actuels : Bien que les approches basées sur des agents (IA décisionnelle) offrent une flexibilité, les agents de restauration vidéo existants souffrent de trois lacunes principales :
  1. Une perception de la qualité insuffisante : Ils utilisent des métriques génériques (comme CLIPIQA) peu sensibles aux différences subtiles entre des résultats de restauration améliorés.
  2. Une stratégie de recherche inefficace : Ils reposent souvent sur des essais-erreurs heuristiques coûteux en temps de calcul.
  3. Un manque de connaissance préalable sur les limites de performance des différents opérateurs de restauration.

2. Méthodologie : VQ-Jarvis

Les auteurs proposent VQ-Jarvis, un agent intelligent de restauration vidéo "tout-en-un" et augmenté par la récupération (RAG). L'approche repose sur deux piliers : une "Vision Aiguisée" (Sharp Vision) et une "Pensée Rapide" (Fast Thought).

A. Construction du Benchmark VSR-Compare (Vision Aiguisée)

Pour entraîner l'agent à percevoir les nuances, les auteurs ont créé VSR-Compare, le premier jeu de données à grande échelle de paires de vidéos pour l'amélioration comparée.

• Échelle : ~20 000 paires de comparaison couvrant 7 types de dégradations, 11 opérateurs d'amélioration et divers domaines (AIGC, visages, scènes naturelles).
• Annotation Hybride : Utilisation d'une stratégie de collaboration homme-machine. Des modèles MLLM (GPT-4o, Gemini, Qwen) votent et génèrent des raisonnements, filtrés et vérifiés par des experts humains pour garantir une haute qualité des étiquettes de préférence.
• Modèles entraînés :
  • Modèle de perception de la dégradation : Identifie les types de dégradations et estime un score de qualité.
  • Modèle Juge Multi-opérateurs : Compare les résultats de différents opérateurs pour sélectionner le meilleur, surpassant les MLLM standards avec une précision de 93 % contre les annotations humaines.

B. Stratégie de Planification Hiérarchique (Pensée Rapide)

VQ-Jarvis adapte sa stratégie de recherche en fonction de la difficulté estimée de la vidéo (score de qualité prédit) :

1. Récupération en un seul pas (One-Step Retrieval) : Pour les vidéos "faciles", l'agent interroge une bibliothèque RAG (Retrieval-Augmented Generation). Cette bibliothèque contient des trajectoires de restauration optimales pour 1 000 vidéos de référence, indexées par des embeddings alignés sur la qualité visuelle (et non seulement sémantiques). L'agent récupère et applique la trajectoire la plus similaire.
2. Recherche Gloutonne Étape par Étape (Step-wise Greedy Search) : Pour les cas complexes, l'agent décompose la tâche en sous-problèmes (ex: dérainage, amélioration faible luminosité, super-résolution). Il applique tous les opérateurs candidats à chaque étape, utilise le modèle Juge pour éliminer les pires options (tournoi), et conserve le meilleur résultat pour passer à l'étape suivante.

3. Contributions Clés

1. VQ-Jarvis : Un agent de restauration vidéo unifié capable de percevoir finement les dégradations et de choisir dynamiquement les meilleurs outils.
2. VSR-Compare : Un nouveau benchmark majeur (20k paires) permettant l'entraînement de modèles de jugement de préférence et de perception de dégradation, comblant le vide des données pour la comparaison de vidéos restaurées.
3. Stratégie de Planification Adaptative : Une méthode hybride combinant la récupération de connaissances (RAG) pour l'efficacité et la recherche gloutonne pour la précision, optimisant le compromis temps/qualité.
4. Validation Expérimentale : Démonstration que la combinaison de la perception fine et de la recherche adaptative surpasse les méthodes statiques et les agents existants.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks réels (UDM10, YouHQ40) et un benchmark interne multi-dégradations.

• Performance de Restauration : VQ-Jarvis surpasse systématiquement les méthodes de pointe (SeedVR2, DOVE, FlashVSR, MGLD-VSR) sur les métriques de qualité perceptuelle (CLIPIQA, DOVER, MANIQA) et de distorsion (LPIPS, DISTS).
  • Exemple : Sur le jeu de données YouHQ40, VQ-Jarvis obtient un score CLIPIQA de 0.542 contre 0.538 pour FlashVSR et 0.513 pour DOVE.
• Perception de Dégradation : Le modèle de détection de VQ-Jarvis atteint une précision moyenne de 91,53 %, surpassant largement les MLLM génériques (Qwen3-MoE, Gemini3 Pro) qui tournent autour de 67-70 %.
• Efficacité Temporelle :
  • La stratégie hybride permet de réduire considérablement le temps d'inférence par rapport à une recherche gloutonne exhaustive (qui prend >40s par vidéo).
  • VQ-Jarvis atteint un temps moyen de ~17,88 s tout en maintenant une qualité supérieure, offrant un compromis optimal.
• Analyse d'Ablation : L'utilisation d'embeddings alignés sur la qualité (au lieu de CLIP standard) et la combinaison RAG + Recherche Gloutonne sont confirmées comme essentielles pour la performance.

5. Signification et Impact

Ce travail marque une avancée significative vers des systèmes de vision par ordinateur adaptatifs et centrés sur la décision.

• Paradigme de Restauration : Il démontre que la restauration vidéo ne doit pas être vue comme un problème de régression pure, mais comme un processus de décision séquentiel où la perception fine des résultats intermédiaires est cruciale.
• Importance des Données : La création de VSR-Compare souligne le besoin de données de préférence spécifiques aux tâches d'amélioration vidéo, là où les métriques traditionnelles échouent.
• Efficacité : L'approche RAG permet de réutiliser l'expérience passée, rendant les agents intelligents non seulement plus performants mais aussi plus rapides, ce qui est essentiel pour des applications temps réel ou à grande échelle.

En résumé, VQ-Jarvis établit un nouvel état de l'art en combinant la puissance des grands modèles multimodaux (LLM/MLLM) avec des stratégies de récupération de connaissances et une annotation de haute qualité, résolvant ainsi le problème de la généralisation dans la restauration vidéo réelle.