A Frozen Pixel-Space Diffusion Model Can Guide Itself with Its Own Samples

Stel je voor dat je een robot probeert te leren om een tekening te maken. In de wereld van kunstmatige intelligentie zijn er twee hoofdwijzen om dit te doen. De eerste manier is alsof je de robot eerst op een piepklein, wazig schetsblokje laat tekenen, en vervolgens een aparte tool gebruikt om die schets op te blazen naar een foto met een hoge definitie. Dit is snel en populair, maar soms verliest de "opblaas"-tool details, waardoor de uiteindelijke afbeelding er een beetje zacht of plasticachtig uitziet. De tweede manier is om de robot direct op het enorme, hoogwaardige canvas te laten tekenen vanaf de allereerste streek. Dit is veel moeilijker omdat de robot zowel het grote plaatje (zoals waar de neus komt) als de minuscule details (zoals de textuur van de huid) tegelijkertijd moet begrijpen, zonder enige hulp.

Dit artikel pakt die tweede, moeilijkere uitdaging aan: AI direct op de "ruwe pixels" van een afbeelding laten tekenen. De grote vraag die onderzoekers zich hebben gesteld is: "Als we al een robot hebben die best goed is in het tekenen van deze ruwe afbeeldingen, kunnen we hem dan nog beter maken zonder de hele boel helemaal opnieuw te trainen?" Een gigantisch AI-model opnieuw trainen is als het herbouwen van een heel huis, alleen maar om een lekkende kraan te reparen—het kost een enorme hoeveelheid tijd en energie. De auteurs wilden een manier vinden om de robot een klein duwtje te geven om zijn werk te verbeteren met alleen de tools die hij al bezit.

Het team achter dit onderzoek, werkend aan de Nanyang Technological University, ontdekte een slimme truc die ze Synthetic Self-Guidance (SSG) noemen. Ze ontdekten dat een vooraf getraind AI-model eigenlijk een "geheime stem" in zich heeft. Terwijl het model door zijn lagen werkt om een afbeelding te creëren, zijn de vroege lagen als een schetskunstenaar die alleen geeft om de grote vormen en schaduwen. De laatste lagen zijn als een detailgeoriënteerde kunstenaar die de fijne texturen en scherpe randen toevoegt.

Normaal gesproken geeft het model alleen het eindresultaat weer. Maar de auteurs realiseerden zich dat ze naar die "schetskunstenaar" (de tussenliggende laag) konden luisteren en deze konden vergelijken met de "detailkunstenaar" (de laatste laag). Ze ontdekten dat het verschil tussen de twee precies is waar de magie gebeurt: de laatste laag probeert de wazige plekken die de vroege laag heeft achtergelaten, te herstellen.

Hier is het magische deel: in plaats van een nieuwe leraar in te huren of de hele robot opnieuw te trainen, hebben ze een kleine, lichtgewicht "adapter" (denk aan een kleine bril) aan de schetslaag bevestigd. Ze hebben deze adapter geleerd om naar de eigen vorige tekeningen van het model (synthetische monsters) te kijken en te leren hoe de grove vormen voorspeld moeten worden. Tijdens het tekenproces gebruikten ze vervolgens de grove voorspelling van de adapter als gids. Als de uiteindelijke tekening te wazig begon te worden of scherpte verloor, zou het systeem het terugduwen richting de scherpe details, waarbij het verschil tussen de "schets" en de "eindversie" als een kompas werd gebruikt.

De meest verrassende ontdekking was hoe ze deze kleine adapter trainden. Je zou denken dat ze miljoenen echte foto's van het internet nodig hadden om het te leren wat een "goede schets" is. Maar het artikel laat zien dat het model juist beter leert wanneer het traint op zijn eigen gegenereerde nepafbeeldingen! Het is alsof de robot leerde om zijn eigen fouten te herstellen door zijn eigen eerdere pogingen te bestuderen, in plaats van naar een tekstboek met perfecte foto's te kijken. Deze methode, die minder dan 1% van de rekenkracht vereist die nodig is om een nieuw model te trainen, maakte de afbeeldingen consequent scherper en realistischer. Bijvoorbeeld, op een populaire test genaamd ImageNet, verbeterden ze de score van een model van 1.86 naar 1.67 (waarbij lager beter is), en voor een ander model verlaagden ze de score van 1.81 naar 1.59.

Kortom, het artikel bewijst dat een bevroren, vooraf getraind AI-model zichzelf kan sturen om betere plaatjes te tekenen door te luisteren naar zijn eigen interne "schetsen" en zijn eigen gegenereerde kunst te gebruiken om te leren hoe het die moet herstellen. Het is een goedkope, instapbare upgrade die AI-tekeningen met een hoge definitie aanzienlijk scherper maakt zonder de enorme kosten van het herbouwen van het hele systeem.