QualiTeacher: Quality-Conditioned Pseudo-Labeling for Real-World Image Restoration

Le papier présente QualiTeacher, un cadre novateur qui transforme les pseudo-étiquettes imparfaites en signaux d'apprentissage conditionnels basés sur la qualité estimée par une évaluation d'image sans référence, permettant ainsi aux modèles de restauration d'images réelles d'éviter les artefacts et de générer des résultats supérieurs à ceux de leur enseignant.

L'essentiel

Imaginez que vous essayez d'apprendre à restaurer de vieilles photos abîmées (effacées, floues, pleines de neige ou de pluie), mais que vous n'avez jamais la photo originale parfaite sous les yeux. C'est le grand défi de la "restauration d'images du monde réel".

Comment apprendre sans modèle parfait ? La méthode habituelle, appelée "Mean-Teacher", fonctionne un peu comme un professeur et un élève. Le professeur (un réseau de neurones) regarde la photo abîmée, devine à quoi elle devrait ressembler, et donne cette "devinette" à l'élève pour qu'il l'apprenne.

Le problème, c'est que le professeur n'est pas parfait. Ses devinettes contiennent souvent des erreurs, du flou ou des artefacts bizarres.

Voici le dilemme des anciennes méthodes :

1. Faire confiance aveuglément : L'élève copie tout ce que dit le professeur, même les erreurs. Résultat : il apprend à reproduire les défauts au lieu de les corriger.
2. Jeter les mauvaises devinettes : On ne garde que les meilleures devinettes du professeur. Résultat : l'élève n'a plus assez de matériel pour apprendre, il devient rigide et ne sait pas s'adapter à toutes les situations.

La solution magique : QualiTeacher

Les auteurs de ce papier proposent une nouvelle approche appelée QualiTeacher. Au lieu de choisir entre "tout accepter" ou "tout jeter", ils changent la donne en disant : "Ne jetez pas les devinettes imparfaites, mais dites à l'élève quel niveau de qualité elles représentent."

Voici comment cela fonctionne, avec des analogies simples :

1. Le "Météo-Prévision" (L'Évaluation de Qualité)

Imaginez que le professeur donne une devinette à l'élève. Au lieu de juste donner l'image, il ajoute une étiquette : "Attention, cette image est de qualité 6 sur 10".
Pour obtenir ce score, le système utilise une équipe d'experts (des modèles d'évaluation de qualité) qui regardent la photo et disent : "C'est pas mal, mais il y a encore un peu de bruit ici".

2. L'Élève "Savant" (Conditionnement par la Qualité)

Dans QualiTeacher, l'élève ne regarde pas seulement l'image. Il regarde aussi le score.

• Si le score est bas (ex: 4/10), l'élève se dit : "Ah, cette image est très abîmée. Je vais apprendre à reconnaître les défauts, mais je ne vais pas copier bêtement le flou."
• Si le score est haut (ex: 9/10), il se dit : "Super, c'est presque parfait, je peux m'inspirer de ces détails."

L'élève apprend ainsi à naviguer sur un spectre de qualité. Il comprend que la restauration n'est pas un "tout ou rien", mais un continuum.

3. L'Entraînement "À la Carte" (Le Super-Pouvoir)

C'est là que la magie opère. Comme l'élève a appris à comprendre les différents niveaux de qualité, il peut faire quelque chose d'incroyable : il peut dépasser son professeur.

Même si le professeur ne sait produire que des images de qualité 6/10, l'élève peut, lors de la phase finale, recevoir une instruction : "Fais-moi une image de qualité 9/10 !". Grâce à ce qu'il a appris, il sait comment "pousser" la restauration au-delà de ce que le professeur a jamais produit seul. C'est comme un élève qui, après avoir étudié les erreurs d'un professeur moyen, devient capable de faire mieux que le professeur lui-même.

4. Les Gardiens de la Vérité (Pour éviter les triches)

Il y a un risque : l'élève pourrait essayer de "tricher" pour obtenir un bon score. Par exemple, il pourrait ajouter des motifs bizarres (comme des grilles invisibles) qui trompent les experts et donnent un faux bon score, mais qui rendent l'image moche à l'œil humain.

Pour éviter cela, QualiTeacher utilise deux astuces :

• Le test de cohérence : On coupe l'image en petits morceaux. Si l'élève a triché, les petits morceaux ne correspondront pas à l'ensemble.
• La préférence intelligente : On force l'élève à comprendre que "plus le score est haut, plus l'image doit être belle", et pas juste "plus le score est haut, plus je triche".

En résumé

Imaginez un atelier de restauration de tableaux.

• Avant : Le chef disait "Copiez ce croquis imparfait" (l'élève copie les erreurs) OU "Jetez tous les croquis imparfaits" (l'élève manque d'exercices).
• Aujourd'hui (QualiTeacher) : Le chef dit : "Voici un croquis de qualité moyenne. Notez-le 'Moyen' et apprenez à le corriger. Voici un croquis de haute qualité. Notez-le 'Excellent' et imitez-le."

Grâce à cette méthode, l'élève apprend à comprendre la qualité plutôt que de simplement copier. Il devient capable de restaurer n'importe quelle image, même très abîmée, en produisant un résultat final plus net et plus naturel que n'importe quelle méthode précédente.

C'est une révolution parce que cela transforme le "bruit" (les mauvaises données) en une ressource précieuse pour apprendre, plutôt que de le voir comme un obstacle.

Résumé technique

1. Problématique : Le Dilemme de l'Étiquetage Pseudo dans la Restauration d'Images Réelles

La restauration d'images réelles (RWIR - Real-World Image Restoration) est une tâche complexe car il est impossible d'obtenir des images de référence "propres" (ground-truth) pour les entrées dégradées du monde réel. Pour contourner ce problème, les méthodes récentes utilisent souvent le cadre Mean-Teacher (MT), où un réseau "enseignant" (moyenne mobile exponentielle du réseau "élève") génère des pseudo-étiquettes (PL) pour superviser l'élève.

Cependant, ces méthodes font face à un paradoxe critique concernant la qualité de ces pseudo-étiquettes :

• Confiance inconditionnelle : Si l'on utilise toutes les PL sans filtre, l'élève apprend à reproduire les artefacts et le flou présents dans les PL imparfaites de l'enseignant.
• Filtrage agressif : Si l'on filtre les PL de mauvaise qualité (via des métriques d'évaluation de qualité sans référence, NR-IQA), on réduit drastiquement la diversité des données d'entraînement, ce qui limite la généralisation du modèle et conduit à des résultats lissés et flous.

Le papier identifie que le problème réside dans la prémisse selon laquelle les PL de mauvaise qualité doivent être rejetées. Au lieu de cela, elles devraient être exploitées comme des signaux d'apprentissage gradués.

2. Méthodologie : Le Framework QualiTeacher

QualiTeacher propose un changement de paradigme : au lieu de filtrer les pseudo-étiquettes en fonction de leur qualité, le framework conditionne le modèle élève sur cette qualité. L'objectif est d'apprendre une "variété de restauration graduée par la qualité" (quality-graded restoration manifold), permettant au modèle de comprendre ce qui constitue différents niveaux de qualité et d'extrapoler au-delà des capacités de l'enseignant.

Le framework intègre trois composants synergiques :

A. Étiquetage Pseudo Basé sur la Qualité (Quality-Based Pseudo-Labeling)

• Augmentation Multi-Géométrique : Pour élargir le spectre de qualité des PL, l'entrée dégradée est soumise à trois transformations géométriques (flip horizontal/vertical, rotation de 90°). L'enseignant traite chaque variante, générant ainsi plusieurs PL avec des niveaux de qualité légèrement différents.
• Évaluation par Ensamble de NR-IQA : La qualité de chaque PL est évaluée par un ensemble de modèles d'évaluation de qualité sans référence (NR-IQA) couvrant différents niveaux :
  • Bas niveau : MUSIQ-KonIQ, BRISQUE (distorsions perceptuelles).
  • Haut niveau : CLIP-IQA (connaissance sémantique).
• Mécanisme "Dual-Drop" et "Gating" :
  • Un mécanisme de "Dual-Drop" rejette les ensembles de PL si la variance des scores entre les différents modèles IQA est trop élevée (manque de cohérence) ou si la variance entre les augmentations géométriques est trop forte.
  • Un mécanisme de "Gating" maintient une banque de mémoire dynamique ne conservant que les 3 meilleures PL historiques, classées par un score d'ensemble pondéré.

B. Injection de Score et Pondération Consciente de la Qualité

• Injection de Score : Le score de qualité global (moyenne pondérée des NR-IQA) est encodé (via un MLP et un encodage sinusoïdal) et injecté directement dans les couches intermédiaires du réseau élève. Cela transforme la tâche de restauration d'une mapping inconditionnel en un processus de génération conditionné par la qualité.
• Pondération Spatiale (Block-wise) : Comme la qualité d'une PL peut varier spatialement (certaines zones sont bien restaurées, d'autres non), l'image est divisée en blocs. Un masque de poids est généré pour guider l'élève à se concentrer davantage sur les régions où la PL est fiable.

C. Optimisation Guidée par la Qualité

Pour garantir que le modèle apprend une relation monotone entre le score injecté et la qualité de sortie, trois stratégies d'optimisation sont utilisées :

1. Optimisation par Préférence Basée sur les Scores (Score-Based Preference Optimization) : Inspirée de la DPO (Direct Preference Optimization), cette méthode utilise les scores NR-IQA comme signaux de préférence automatisés. Elle force le modèle à produire des sorties de qualité distinctement différentes selon le score injecté (créant un écart de qualité monotone) sans nécessiter d'annotations humaines.
2. Perte de Cohérence sur Cropped (Cropped Consistency Loss) : Pour éviter le "reward hacking" (où le modèle triche pour obtenir un bon score IQA en créant des artefacts locaux invisibles mais statistiquement favorables), le modèle est contraint d'être cohérent : restaurer l'image entière puis la recadrer doit donner le même score que de recadrer l'entrée dégradée avant la restauration. Cela assure une amélioration de la qualité uniforme et spatialement robuste.
3. Régularisation des Poids : Une régularisation légère empêche l'optimisation de préférence de dégrader les capacités fondamentales de restauration du réseau.

3. Contributions Clés

1. Nouveau Paradigme : Transformation de la qualité des pseudo-étiquettes d'une contrainte de filtrage en un signal conditionnel explicite, permettant d'apprendre à partir de données imparfaites sans les rejeter.
2. Extrapolation au-delà de l'Enseignant : En apprenant la direction d'amélioration de la qualité, le modèle élève peut générer des résultats de meilleure qualité que ceux produits par l'enseignant lors de l'inférence (en injectant un score cible élevé).
3. Stratégie d'Optimisation Innovante : Adaptation de la DPO aux tâches de restauration d'images déterministes en utilisant les scores IQA comme récompenses, couplée à une perte de cohérence spatiale pour garantir la robustesse.
4. Plug-and-Play : Le framework est conçu pour être intégré à n'importe quel backbone de restauration existant.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks de restauration d'images réelles (Désenneigement, Dépluie, Débrumage, Amélioration d'images faiblement éclairées, Images sous-marines).

• Performance Quantitative : QualiTeacher établit de nouveaux états de l'art (SOTA) sur tous les benchmarks testés, surpassant les méthodes précédentes (comme Colabator, SemiDDM-Weather, SnowMaster) sur une large gamme de métriques NR-IQA (CNNIQA, HyperIQA, MANIQA, TOPIQ, Q-Align, etc.).
• Qualité Visuelle : Les résultats montrent une meilleure préservation des textures fines, une réduction des artefacts de flou et une suppression plus efficace des dégradations (neige, pluie, brouillard) par rapport aux méthodes de filtrage agressif.
• Étude Utilisateur : Une étude subjective sur 15 participants confirme que les images restaurées par QualiTeacher sont préférées pour leur naturalité et leur absence d'artefacts.
• Robustesse et Généralisation :
  • Le framework fonctionne bien avec différents backbones (NAFNet, HistoFormer, CIDNet, etc.).
  • Il est robuste au choix des modèles NR-IQA utilisés pour l'entraînement (remplacer MUSIQ par TOPIQ ne dégrade pas les performances).
  • Il améliore les tâches en aval, comme la détection d'objets en faible luminosité (YOLOv13 sur ExDark).
• Analyse d'Ablation : Chaque composant (injection de score, optimisation de préférence, perte de cohérence, mécanisme dual-drop) contribue significativement à l'amélioration globale.

5. Signification et Impact

QualiTeacher représente une avancée majeure pour la restauration d'images réelles en résolvant le dilemme fondamental de l'utilisation des pseudo-étiquettes. En passant d'une logique binaire ("garder ou jeter") à une logique continue et conditionnelle, le framework permet d'exploiter la totalité de la diversité des données disponibles.

La capacité du modèle à extrapoler au-delà de la qualité de l'enseignant en ajustant dynamiquement le score de conditionnement ouvre de nouvelles perspectives pour des stratégies de restauration flexibles et adaptatives. De plus, l'intégration réussie de l'optimisation par préférence (DPO) dans un contexte de régression déterministe sans référence ouvre la voie à de nouvelles applications dans l'apprentissage automatique sans données étiquetées propres.