PixRestore: Unified Image Restoration via Pixel Diffusion Transformer

Elke dag leggen onze camera's de wereld op imperfecte manieren vast. Een plotselinge regenbui laat strepen achter op een lens; een dikke mist vervaagt een verre berg; een schemerige kamer verandert een gezicht in een schaduw. Decennialang hebben wetenschappers geprobeerd computerprogramma's te bouwen die deze beschadigde beelden kunnen herstellen, om een wazige, ruisachtige of vertroebelde foto terug te veranderen in iets helders en scherp. Dit vakgebied, bekend als beeldrestitutie, heeft lang vertrouwd op twee hoofdstrategieën. De eerste behandelt het probleem als een eenvoudige wiskundige puzzel, waarbij wordt geprobeerd de meest waarschijnlijke originele afbeelding te berekenen op basis van de beschadigde afbeelding. Hoewel deze methoden snel zijn, produceren ze vaak resultaten die er te glad uitzien, waardoor de kleine texturen die een foto echt laten aanvoelen, verloren gaan. De tweede strategie maakt gebruik van krachtige generatieve modellen, die oorspronkelijk zijn ontworpen om nieuwe afbeeldingen te creëren op basis van tekstbeschrijvingen. Deze modellen zijn uitstekend in het verzinnen van realistische details, maar ze kunnen soms dingen verzinnen die er niet waren, of ze kunnen specifieke details missen die behouden moeten blijven omdat ze de afbeelding comprimeren tot een verborgen, abstracte code voordat ze proberen het te herstellen.

Onderzoekers aan de Hong Kong Polytechnic University en de OPPO Research Institute hebben een nieuwe aanpak ontwikkend genaamd PixRestore die deze kloof overbrugt. In plaats van te vertrouwen op de zware, complexe systemen die worden gebruikt om kunst uit tekst te genereren, of de eenvoudige wiskunde die details gladstrijkt, hebben ze een systeem gebouwd dat direct werkt op de ruwe pixels van de afbeelding. Stel je een afbeelding niet voor als een gecomprimeerd bestand, maar als een enorm raster van piepkleine gekleurde puntjes. De meeste moderne restitutietools vatten deze puntjes eerst samen in een kleinere, abstracte representatie om tijd te besparen, vergelijkbaar met het samenvatten van een lang boek tot een paar opsommingstekens. Het probleem is dat je bij het samenvatten vaak de specifieke nuances van het verhaal verliest. PixRestore slaat deze samenvattingsstap volledig over. Het werkt rechtstreeks op het volledige raster van gekleurde puntjes, waardoor elke kleine rand en textuur behouden blijft terwijl het werkt. Dit stelt het systeem in staat om ongelooflijk efficiënt te zijn, waarbij het veel minder rekenkracht gebruikt dan zijn concurrenten, terwijl het toch resultaten produceert die er scherp en getrouw aan het leven uitzien.

De kern van dit nieuwe systeem is een type kunstmatige intelligentie-architectuur genaamd een Diffusion Transformer. In eenvoudige termen leert dit model het proces van degradatie om te keren. Het begint met een ruisige, beschadigde afbeelding en leert stap voor stap de ruis, regen of waas te verwijderen, totdat een schoon beeld verschijnt. Wat PixRestore uniek maakt, is hoe het dit proces stuurt. De onderzoekers realiseerden zich dat verschillende soorten schade verschillende soorten aandacht vereisen. Het verwijderen van regenstrepen vereist bijvoorbeeld het kijken naar fijne, scherpe lijnen, terwijl het herstellen van een donkere foto met weinig licht het begrijpen van de algemene vorm en helderheid van de scène vereist. Om dit aan te pakken, gebruikt het systeem een vooraf getrainde "visuele expert" die fungeert als een set ogen met verschillende niveaus van focus. Deze expert kijkt naar de beschadigde afbeelding en vertelt het restitutiemodel welke delen van de afbeelding nog betrouwbaar zijn en welke delen te beschadigd zijn om te vertrouwen. Als een laag van de afbeelding nog duidelijk is, gebruikt het systeem deze als een sterke gids. Als een laag zwaar beschadigd is, weet het systeem dat het deze moet negeren en meer moet vertrouwen op zijn eigen kennis van hoe een schoon beeld eruit zou moeten zien. Deze adaptieve begeleiding zorgt ervoor dat het model niet in de war raakt door de schade die het probeert te verwijderen.

De resultaten van deze aanpak zijn opmerkelijk. De onderzoekers testten hun model op acht verschillende soorten afbeeldingsschade, waaronder regen, sneeuw, mist, onscherpte en weinig licht. In deze tests slaagde PixRestore erin de schade effectiever te verwijderen dan eerdere methoden, terwijl de details van de afbeelding scherp bleven. Misschien wel het meest verrassende is dat het dit alles deed met een modelgrootte van slechts ongeveer 50 miljoen parameters. Om dit in perspectief te plaatsen: veel van de concurrerende systemen die de zware text-to-image technologie gebruiken, zijn miljarden keren groter en vereisen enorme hoeveelheden rekenkracht en tijd om een enkele afbeelding te produceren. PixRestore kan daarentegen in één stap een gerestaureerde afbeelding genereren, wat minder dan een seconde duurt op standaard hardware. Deze snelheid en efficiëntie betekenen dat dergelijke technologie uiteindelijk op alledaagse apparaten zoals smartphones kan draaien, in plaats van vast te zitten in grote datacenters.

Het team ontdekte ook dat het simpelweg groter maken van het model het zelfs nog beter kon maken. Ze testten grotere versies van hun systeem, en deze opgeschaalde modellen produceerden nog kwalitatief betere resultaten, wat suggereert dat hun ontwerp klaar is om te groeien naarmate de rekenkracht toeneemt. De onderzoekers merken echter op dat hoewel hun systeem een belangrijke stap voorwaarts is, het niet perfect is. Het worstelt nog steeds met afbeeldingen die zo beschadigd zijn dat ze bijna geen bruikbare informatie bevatten, en het werkt momenteel het beste bij een specifieke beeldresolutie. Ondanks deze beperkingen toont het werk aan dat je geen massieve, complexe systemen nodig hebt om afbeeldingen effectief te herstellen. Door direct met de ruwe pixels te werken en slimme, adaptieve begeleiding te gebruiken, is het mogelijk om tools te bouwen die zowel snel als getrouw aan de oorspronkelijke scène zijn. Deze aanpak biedt een nieuwe weg voorwaarts voor beeldrestitutie, een weg die prioriteit geeft aan helderheid en efficiëntie boven louter omvang en complexiteit.