QualiTeacher: Quality-Conditioned Pseudo-Labeling for Real-World Image Restoration

Dit paper introduceert QualiTeacher, een nieuw raamwerk dat de kwaliteit van pseudo-labels gebruikt als conditioneel toezichtsignaal om realistische beeldherstelmodellen te trainen die kunstmatige artefacten vermijden en resultaten kunnen genereren die beter zijn dan de oorspronkelijke pseudo-labels.

De kern

Stel je voor dat je een kunstrestaurator bent. Je krijgt een oude, beschadigde foto van iemand die je moet repareren. Het probleem? Je hebt geen originele, perfecte foto om naar te kijken. Je moet het dus doen op basis van je eigen ervaring en wat je denkt dat er had moeten staan.

Dit is precies het probleem in de wereld van beeldherstel (het verbeteren van wazige, bevroren of vuile foto's). Er zijn geen "perfecte" voorbeelden om te kopiëren.

Tot nu toe gebruikten computers een slimme truc: een "Meester-Leerling" systeem.

• De Meester (een AI) kijkt naar de beschadigde foto en maakt een gok over hoe hij eruit zou moeten zien.
• De Leerling (een andere AI) probeert die gok na te bootsen.

Het grote probleem:
De Meester is niet perfect. Soms maakt hij fouten, of laat hij nog wat sneeuw of wazigheid achter.

1. Als de Leerling de Meester blindelings volgt, leert hij die fouten ook (de Meester is slecht, dus de Leerling wordt ook slecht).
2. Als je de Meester streng filtert en alleen de beste foto's gebruikt, heb je te weinig voorbeelden. De Leerling wordt dan saai en wazig omdat hij niet genoeg variatie ziet.

Het is alsof je een leerling alleen maar laat oefenen met de allerbeste foto's, of juist met een stapel vol met fouten. Je komt er niet.

De Oplossing: QualiTeacher (De "Kwaliteits-Coach")

De auteurs van dit paper, QualiTeacher, hebben een briljant nieuw idee bedacht. In plaats van te vragen "Is deze foto goed genoeg om te gebruiken?", vragen ze: "Hoe goed is deze foto precies?"

Stel je voor dat de Meester niet één foto maakt, maar een spectrum van foto's:

• Foto A: 5/10 (nog wat wazig)
• Foto B: 7/10 (redelijk scherp)
• Foto C: 9/10 (bijna perfect)

In plaats van de slechte foto's weg te gooien, geeft QualiTeacher de Leerling een score bij elke foto.

• "Kijk, deze foto is een 5/10. Leer ervan, maar wees je bewust dat er nog wat ruis in zit."
• "Deze foto is een 9/10. Dit is een heel betrouwbaar voorbeeld."

De Leerling leert dan niet alleen wat hij moet doen, maar ook hoe hij moet doen afhankelijk van de kwaliteit van het voorbeeld. Hij leert een "kwaliteitsladder" op te klimmen.

Hoe werkt het precies? (Met een paar creatieve vergelijkingen)

1. De Meester maakt variatie (Meerdere Augmentaties)
De Meester kijkt naar de foto, draait hem een beetje, spiegelt hem, etc. Hierdoor ontstaan er verschillende versies van de "herstelde" foto. Sommige zijn beter dan andere. In plaats van er één uit te kiezen, houden ze er een paar vast.

2. De Onafhankelijke Jury (NR-IQA)
Er is een panel van experts (AI-modellen die kwaliteit beoordelen zonder dat ze een origineel voorbeeld hebben). Deze jury kijkt naar elke foto en geeft een score, bijvoorbeeld "6.8".

• De oude manier: Alles onder de 7 gooien we weg.
• De nieuwe manier: We houden alles, maar we zeggen tegen de Leerling: "Dit is een 6.8. Leer hieruit, maar wees kritisch."

3. De Score als Stuurknop (Conditioning)
De Leerling krijgt die score (bijv. 6.8) als een soort stuurknop in zijn hoofd.

• Als hij een lage score krijgt, leert hij: "Oké, dit is een basisversie, ik moet voorzichtig zijn met details."
• Als hij een hoge score krijgt, leert hij: "Dit is een topversie, ik kan hieruit de allerbeste details halen."

4. De "Geen Valstrik" Regel (Cropped Consistency)
Soms kan een AI een trucje uithalen: hij maakt een foto die er voor de computer perfect uitziet (hoge score), maar voor een mens er vreemd uitziet (bijvoorbeeld met een rasterpatroon).
Om dit te voorkomen, snijdt QualiTeacher de foto in stukjes en kijkt hij of de kwaliteit overal gelijk is. Als de AI probeert te "valsspelen" met een lokaal trucje, wordt dit direct opgemerkt en gestraft.

5. De Voorkeursoptimalisatie (DPO)
Dit is als een trainer die zegt: "Als je een 8/10 probeert te maken, moet die echt beter zijn dan een 5/10."
De AI wordt getraind om te begrijpen dat een hogere score echt betekent: "meer scherpte, minder ruis". Het dwingt de AI om een duidelijke lijn te trekken tussen een slechte en een goede foto, in plaats van ze allemaal een beetje hetzelfde te maken.

Waarom is dit zo cool?

Het grootste wonder is extrapolatie.
Stel, de Meester kan nooit beter zijn dan een 7/10.
Met de oude methode zou de Leerling ook steken op een 7/10.
Maar met QualiTeacher leert de Leerling de richting van verbetering. Als je hem tijdens het testen een "stuurknop" geeft van 9/10, kan hij die kennis gebruiken om een foto te maken die beter is dan de Meester ooit kon maken. Hij heeft de logica van "perfectie" geleerd, niet alleen de foto's zelf.

Conclusie

QualiTeacher is als een slimme coach die niet zegt: "Doe dit na, want het is goed."
Hij zegt: "Kijk naar dit voorbeeld. Het is een 6/10. Kijk naar dat andere, dat is een 9/10. Leer het verschil, en probeer nu zelf een 10/10 te maken."

Hierdoor kunnen computers nu beter foto's repareren dan ooit tevoren, zelfs als ze geen perfecte voorbeelden hebben om naar te kijken. Het is een nieuwe manier van leren: niet door te filteren, maar door te begrijpen.

Technische samenvatting

Probleemstelling

Real-world image restoration (RWIR) is een uiterst uitdagende taak omdat er voor vervuilde invoerbeelden doorgaans geen schone "ground-truth" beelden beschikbaar zijn. Bestaande methoden vertrouwen vaak op pseudo-labels (PLs) gegenereerd door een "teacher"-netwerk binnen een Mean-Teacher (MT) framework.

De huidige aanpakken kampen echter met een fundamenteel dilemma:

1. Onvoorwaardelijk vertrouwen: Als men alle pseudo-labels gebruikt zonder selectie, leert het student-model ongewenste artefacten en ruis na te bootsen die in de imperfecte labels aanwezig zijn.
2. Aggressieve filtering: Als men probeert alleen de beste labels te selecteren (bijv. via filtering), gaat er veel data-variabiliteit verloren. Dit beperkt de generalisatie van het model en leidt vaak tot overgegladde en onscherpe resultaten.

De kernvraag is hoe men kan leren van imperfecte data zonder de kwaliteit te compromitteren of de data-diversiteit te verliezen.

Methodologie: QualiTeacher

De auteurs stellen QualiTeacher voor, een nieuw raamwerk dat de kwaliteit van pseudo-labels niet gebruikt als criterium voor filtering, maar als een conditioneel signaal voor het student-model. In plaats van labels te verwerpen, leert het model hoe het herstelresultaat varieert afhankelijk van de geschatte kwaliteit van het doel.

Het framework bestaat uit drie synergetische componenten:

1. Kwaliteitsgebaseerde Pseudo-Labeling

Om een breed spectrum aan kwaliteitsniveaus te creëren, wordt een multi-augmentatiestrategie toegepast. De teacher-netwerk verwerkt het ingevoerde beeld met verschillende geometrische transformaties (spiegelen, roteren), wat leidt tot diverse pseudo-labels met variërende kwaliteit.

• Ensemble IQA: De kwaliteit van deze labels wordt beoordeeld door een ensemble van complementaire Non-Reference Image Quality Assessment (NR-IQA) modellen (o.a. MUSIQ, BRISQUE, CLIP-IQA) die zowel lage-niveau vervormingen als semantische kwaliteit meten.
• Dual-Drop Mechanisme: Om inconsistenties te voorkomen, worden labels die grote variatie vertonen tussen de verschillende IQA-modellen of tussen augmentaties, verworpen.
• Gating: Alleen de beste labels (top-3) uit een geheugenbank worden gebruikt voor training, maar hun exacte kwaliteitscore wordt bewaard.

2. Kwaliteitsbewuste Score Injectie

In plaats van een label te filteren, wordt de geschatte IQA-score ingebed in het student-model als een conditionele input.

• De score wordt omgezet in een hoge-dimensionale embedding (via een MLP en sinus/cosinus encoding) en toegevoegd aan de feature maps van het netwerk (bijv. in de bottleneck van een U-Net).
• Hierdoor leert het student-model een kwaliteit-gegradueerd herstel-manifold. Het leert niet alleen wat er hersteld moet worden, maar ook hoe het resultaat eruit moet zien bij een specifieke kwaliteitsniveau. Dit stelt het model in staat om tijdens de inferentie een hogere kwaliteit te genereren dan de teacher ooit produceerde, door een hoge kwaliteitscore in te voeren.
• Block-wise Weighting: Omdat de kwaliteit binnen één beeld niet uniform is, wordt een wegingskaart gegenereerd om het verlies te focussen op betrouwbare gebieden en artefacten te negeren.

3. Kwaliteitsgestuurde Optimalisatie

Om ervoor te zorgen dat het model een strikt monotoon verband leert tussen de ingevoerde score en de outputkwaliteit, worden twee nieuwe loss-functies geïntroduceerd:

• Score-Based Preference Optimization (geïnspireerd door DPO): In plaats van menselijke voorkeuren te gebruiken, fungeren de NR-IQA-scores als automatische voorkeurssignalen. Het model wordt geoptimaliseerd om outputs met hogere scores expliciet te prefereren boven outputs met lagere scores, waardoor een goed gescheiden kwaliteitsmanifold ontstaat.
• Cropped Consistency Loss: Om te voorkomen dat het model "reward hacking" pleegt (d.w.z. het creëren van beelden die de IQA-metriek misleiden met hoge scores maar visueel slecht zijn), wordt een consistentieloss toegepast. Deze vergelijkt de kwaliteitsscore van een volledig hersteld beeld (dat vervolgens wordt ingeknipt) met die van een beeld dat eerst wordt ingeknipt en dan hersteld. Dit dwingt het model tot ruimtelijke uniformiteit en echte kwaliteitsverbetering.

Belangrijkste Resultaten

QualiTeacher is getest op diverse RWIR-taken, waaronder sneeuwverwijdering (Desnowing), regenverwijdering (Deraining), ontdooien (Dehazing), versterking van beelden bij weinig licht (LLIE) en onderwaterbeeldverbetering (UIE).

• State-of-the-Art (SOTA) Prestaties: QualiTeacher overtreft bestaande methoden (zoals Colabator, SnowMaster, HistoFormer) consistent op alle gebruikte NR-IQA-metrieken (o.a. CNNIQA, MANIQA, Q-Align, LIQE).
• Plug-and-Play: Het framework werkt als een verbetering voor bestaande pseudo-labeling frameworks, ongeacht de gebruikte backbone (bijv. NAFNet, HistoFormer, CIDNet).
• Visuele Kwaliteit: De resultaten tonen scherpere texturen, minder artefacten en een betere behoud van details in vergelijking met agressieve filtering-methoden.
• Controleerbaarheid: Het model kan tijdens de inferentie continu worden gestuurd door de invoerscore te variëren, wat resulteert in een schaalbaar spectrum aan herstelkwaliteit.
• Downstream Taken: Verbeterde beelden leiden tot betere prestaties in downstream taken zoals objectdetectie in weinig licht (getoetst op ExDark dataset).

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Paradigmaverschuiving: Het transformeert pseudo-label kwaliteit van een "ruisbron" die moet worden gefilterd, naar een waardevol, conditioneel leersignaal.
2. Extrapolatie: Het stelt het student-model in staat om te extrapoleren naar kwaliteitsniveaus die hoger liggen dan die van de teacher, door het leren van een continu kwaliteitsmanifold.
3. Nieuwe Optimalisatie: De introductie van score-based preference optimization en cropped consistency loss voor deterministische herstelmodellen, zonder afhankelijkheid van menselijke annotatie.
4. Robuustheid: De methode is bewezen robuust tegenover de keuze van specifieke IQA-modellen en werkt effectief over diverse degradatietypes.

Conclusie:
QualiTeacher biedt een nieuwe paradigma voor het leren van imperfecte supervisie in beeldherstel. Door de kwaliteit van pseudo-labels expliciet te modelleren als een conditionele variabele, slaagt het erin om de beperkingen van bestaande Mean-Teacher frameworks te doorbreken en nieuwe staat-van-de-kunst resultaten te bereiken zonder de noodzaak van schone ground-truth data.