Regularized Channel-Attentive Adversarial Learning for Unpaired Image Translation

Stel je voor dat je een meesterlijk kunstleraar bent die een student probeert te leren schilderen in de stijl van Van Gogh, maar je hebt geen voorbeelden van de originele schetsen van de student naast de meesterwerken van Van Gogh liggen. Je hebt alleen een stapel tekeningen van de student en een aparte stapel met de meesterwerken van Van Gogh. Dit is de lastige wereld van "unpaired image translation" in de computerwetenschap: een tak van kunstmatige intelligentie waarbij computers proberen te leren hoe ze het ene type afbeelding kunnen transformeren naar het andere—zoals het veranderen van een foto van een paard in een zebra, of een straatkaart in een satellietbeeld—zonder dat ze voor elke afbeelding een perfecte, zij-aan-zij match nodig hebben.

Om dit te doen, gebruiken computers vaak een slim spel genaamd een "Generative Adversarial Network" (of GAN). Denk aan een vervalser en een detective die opgesloten zitten in een kamer: de vervalser (de generator) probeert nepafbeeldingen te maken die zo echt lijken dat de detective (de discriminator) het verschil niet kan zien. De detective wordt steeds beter in het herkennen van vervalsingen, wat de vervalser dwingt om ook beter te worden in het creëren ervan. Ze blijven het spel spelen totdat de vervalser een meester is. Echter, in het verleden maakten deze vervalsers vaak fouten: hun "zebra's" hadden wazige strepen, hun "kaarten" hadden wegen die verdwenen, en hun schilderijen zagen er een beetje uit als een veeg aquarelle. Ze hadden moeite om de belangrijke details scherp te houden terwijl ze de stijl veranderden.

Hier komt een nieuwe studie van onderzoekers aan de Harbin Normal University om de hoek kijken. Zij stellen een slimmere manier voor om dit spel te spelen, genaamd "CAR-GAN". In plaats van de vervalser en de detective simpelweg volgens de oude regels te laten spelen, hebben ze drie speciale upgrades aan het team toegevoegd. Ten eerste hebben ze de vervalser een "slimme bril" gegeven (genaamd Channel Attention) die de vervalser helpt zich alleen te concentreren op de belangrijkste details, zoals de textuur van vacht of de lijnen van een gebouw, terwijl de ruis wordt genegeerd. Ten tweede hebben ze een veel ervarenere detective ingehuurd door het brein van de detective dieper en complexer te maken, zodat deze zelfs de kleinste imperfecties in de nepafbeeldingen kan opmerken. Ten slotte hebben ze een "gladheidsregel" (genaamd Total Variation regularization) toegevoegd die werkt als een zachte hand, die de ruwe, korrelige randen van het schilderij gladstrijkt zonder de scherpe lijnen te vervagen.

De resultaten van deze nieuwe aanpak zijn zeer veelbelovend. Wanneer de onderzoekers hun systeem testten op drie verschillende uitdagingen—het veranderen van straatkaarten in satellietbeelden, het veranderen van paarden in zebra's, en het omzetten van foto's naar Van Gogh-stijl schilderijen—deed de nieuwe CAR-GAN het beter dan de vorige beste methoden. Op de kaart-dataset behaalde het bijvoorbeeld een score van 37,3 voor hoe goed het de kenmerken van de kaart herkende, waarmee het de op één na beste methode versloeg die een score van 34,8 behaalde. Het produceerde ook afbeeldingen met minder visuele fouten en gladdere texturen. De studie suggereert dat door deze drie specifieke upgrades te combineren, de computer veel realistischere en stabielere vertalingen kan maken, waardoor de wazige rommel en vreemde vervormingen die eerdere versies plagden, worden vermeden. Hoewel het systeem iets meer tijd nodig heeft om te trainen omdat het complexer is, laat het zien dat het de AI een betere focus, een scherper oog en een zachtere aanraking geven, kan leiden tot aanzienlijk hogere kwaliteit van de resultaten in de wereld van digitale kunst en beeldtransformatie.