UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow

Stel je voor dat je een meestervertaler bent, maar in plaats van woorden te vertalen tussen het Frans en het Engels, vertaal je hele werelden. Je wilt een foto van een zomerweide veranderen in een besneeid winterlandschap, of een zebra in een paard, zonder ooit een enkel paar "voor en na"-foto's te hebben gezien om je bij te staan. Dit is de wilde grens van unpaired image translation (niet-gepaardeerde beeldvertaling). In het verleden hadden computers hier moeite mee omdat ze niet wistenen welke specifieke zomerbloem in welke specifieke wintersneeuwvlok moest veranderen. Ze gokten vaak maar wat, wat resulteerde in wazige romboel of afbeeldingen die hun oorspronkelijke vorm verloren. Om dit op te lossen, leerden wetenschappers computers meestal om een spel van "rondreis" te spelen: vertaal een zomerfoto naar winter, en probeer deze vervolgens weer terug te vertalen naar zomer. Als het eindresultaat leek op de originele foto, deed de computer zijn werk goed. Maar deze methode was als controleren of een rondrit met de bus je weer bij het station bracht; het garandeerde niet dat de bus onderweg een soepele, logische route nam.

Maak kennis met UniCycleFlow, een nieuwe aanpak die het spel verandert door beeldvertaling niet te behandelen als twee aparte taken, maar als één enkele, continue reis. In plaats van twee verschillende vertalers te bouwen (één voor zomer-naar-winter en een andere voor winter-naar-zomer), bouwt deze methode één "velocity field" (snelheidsveld) — denk aan een universele windkaart die in beide richtingen waait. Als je van Zomer naar Winter wilt gaan, laat je de wind vooruit blazen; als je terug wilt gaan, draai je de wind simpelweg om. De belangrijkste bevinding van het paper is dat door beide richtingen te dwingen hetzelfde onzichtbare windkaart te volgen, de computer de structuur van de originele afbeelding veel beter behoudt dan voorheen. De auteurs maten dit door hun methode te testen op tien verschillende vertalingstaken (zoals katten in honden veranderen of luchtfoto's in straatbeelden) en vonden dat hun methode de helderste, meest realistische afbeeldingen produceerde met de minste fouten, waarbij ze een topscore van 55,1 behaalden op een standaard kwaliteitsmeting genaamd FID. Ze lieten ook zien dat zelfs als je de computer vraagt om slechts één grote stap te nemen in plaats van vele kleine stapjes, het resultaat nog steeds uitstekend is, wat bewijst dat het pad ongelooflijk recht en efficiënt is.

Het Probleen: De "Willekeurige Koppeling" Valstrik

Stel je voor dat je een robot probeert te leren hoe hij een foto van een paard in een zebra moet veranderen. De robot heeft een doos met paardenfoto's en een doos met zebrafoto's, maar ze zijn niet aan elkaar gekoppeld. Als je zomaar een willekeurig paard en een willekeurige zebra pakt en tegen de robot zegt: "Verander dit paard in die zebra," raakt de robot in de war. Hij probeert misschien de benen van het paard te veranderen in de strepen van de zebra, of erger nog, hij probeert de kop van het paard te veranderen in de staart van de zebra omdat de twee dieren in verschillende houdingen staan. De robot eindigt met het leren van een rommelige mix van "hoe verander je een paard" en "hoe verander je een specifieke houding", wat resulteert in een vreemd, vervormd wezen.

Eerdere methoden probeerden dit op te lossen door twee aparte robots te bouwen: één om van A naar B te gaan, en een andere om van B naar A te gaan. Ze controleerden of de robot A → B → A kon gaan en weer bij de originele afbeelding uitkwam. Hoewel dit hielp, was het alsoal controleren of een chauffeur terug kon keren naar het beginpunt; het garandeerde niet dat de chauffeur beide kanten op dezelfde weg nam. De twee robots konden compleet verschillende, zigzaggaande paden nemen die toevallig alleen op de juiste plekken begonnen en eindigden.

De Oplossing: Eén Wind, Twee Richtingen

De auteurs van dit paper, UniCycleFlow, besloten te stoppen met het bouwen van twee robots. In plaats daarvan bouwden ze één enkele windkaart (een "velocity field") die bestaat in een gedeelde ruimte tussen de twee werelden.

Denk aan tijd als een liniaal. Aan het begin van de liniaal (tijd 0) heb je je bronafbeelding (zoals een paard). Aan het einde van de liniaal (tijd 1) heb je je doelafbeelding (zoals een zebra). De "wind" blaast van tijd 0 naar tijd 1.

• Om Paard → Zebra te gaan, laat je de wind gewoon vooruit blazen.
• Om Zebra → Paard te gaan, draai je de wind simpelweg om en blaas je achteruit van tijd 1 naar tijd 0.

Omdat het de zelfde windkaart is, zijn de regels voor het veranderen van een paard in een zebra exact hetzelfde als de regels voor het veranderen van een zebra terug in een paard, alleen in omgekeerde volgorde. Dit dwingt de computer om één enkele, consistente set regels voor de transformatie te leren, in plaats van twee aparte, conflicterende sets.

De Magische Truc: Het Juiste Bestemming Leren

Hier komt het lastige deel: aangezien de computer geen gekoppelde paren heeft, hoe weet hij dan welke specifieke zebra bij welk specifeld paard hoort? Als hij maar wat gokt, maakt hij nog steeds de "willekeurige koppeling"-fout waar we het eerder over hadden.

UniCycleFlow lost dit op met een slimme truc genaamd adversarial boundary matching. In plaats van de computer te dwingen om een specifiek paard aan een specifieke zebra uit de dataset te koppelen, leert de computer om zijn eigen perfecte bestemming te creëren.

1. De computer kijkt naar een paard en zegt: "Ik zal een zebra creëren die er precies uitziet als een echte zebra."
2. Het creëert een neppe zebra.
3. Een "rechter" (discriminator) bekijkt de neppe zebra en de echte zebra's. Als de rechter het verschil kan zien, probeert de computer het opnieuw.
4. Zodra de rechter het verschil niet meer kan zien, heeft de computer een "perfecte match" gevonden voor dat specifieke paard, ook al stond die niet in de oorspronkelijke dataset.

Nu heeft de computer een duidelijk pad: Paard → Perfecte Neppe Zebra. Het trekt een rechte lijn tussen hen en leert de wind die nodig is om die lijn af te leggen. Omdat de bestemming specifiek voor die bron is gecreëerd, is het pad schoon en logisch, waardoor de verwarring van willekeurige koppelingen wordt vermeden.

De Reis Soepel Houden

Alleen de start- en eindpunten weten is niet genoeg. De computer moet ervoor zorgen dat de reis in het midden soepel verloopt en het beeld niet vreemd vervormt. De auteurs hebben drie vangnetten toegevoegd om te garanderen dat het pad perfect is:

1. Self-Flow Matching: Stel je voor dat de computer langs het pad loopt. Hij controleert zijn eigen stappen om te controleren of de wind consistent aanvoelt. Als de wind halverwege de reis plotseling van richting verandert, corrigeert de computer zichzelf. Dit zorgt ervoor dat het pad een rechte lijn is, en geen wankele bende.
2. Cycle Closure: Dit is de "rondreis"-controle, maar dan slimmer. De computer gaat Paard → Zebra → Paard en controleert of hij precies terugkomt waar hij begon. Als de twee stappen elkaar niet perfect opheffen, leert de computer de windkaart aan te passen zodat de lus nauwsluitend wordt gesloten.
3. Representation Path-Velocity Regularization: Dit is de meest subtiele controle. Soms ziet een afbeelding er misschien oké uit, maar verandert het "gevoel" van de afbeelding te veel in het midden. Bijvoorbeeld, de textuur van de vact kan te pluizig worden voordat het weer scherp wordt. De computer gebruikt een "bevroren oog" (een vooraf getrainde encoder) om de afbeelding bij elke kleine stap van de reis te bekijken. Het zorgt ervoor dat de kenmerken (zoals de textuur van de vacht of de vorm van de ogen) langzaam en gestaag veranderen, in plaats van wild te springen.

De Resultaten: Een Helderder Beeld

De auteurs hebben deze nieuwe methode getest op tien verschillende vertalingstaken, waaronder het veranderen van zomer in winter, paarden in zebra's en katten in honden. Ze vergeleken hun resultaten met veel andere beroemde methoden.

De resultaten waren indrukwekkend. Wanneer de computer werd toegestaan om slechts één enkele stap (een "one-step inference") te nemen om de afbeelding te vertalen, behaalde UniCycleFlow de beste score (laagste fout) in 7 van de 10 taken. De gemiddelde score over alle tien de taken was 55,1, wat beter was dan de vorige beste methode (DCLGAN) die een score van 62,6 behaalde.

Nog verrassender was dat de methode bijna net zo goed werkte of de computer nu één grote stap nam of vijf kleinere stappen. Dit suggereert dat het pad dat de computer heeft geleerd zo recht en direct is, dat hij geen kleine, voorzichtige stapjes hoeft te zetten om er te komen. Hij kan met vertrouwen van de bron naar het doel springen.

Waarom Dit Belangrijk Is

UniCycleFlow laat zien dat we niet voor elke richting van vertaling complexe, aparte systemen nodig hebben. Door de transformatie te behandelen als een enkele, continue reis die wordt beheerst door één enkele set regels, kunnen we duidelijkere, stabielere resultaten krijgen. Het is alsof je beseft dat je om van huis naar school en weer terug te gaan, niet twee verschillende kaarten nodig hebt; je hebt maar één goede kaart nodig en het vermogen om deze in omgekeerde richting te lopen. Deze aanpak bespaart niet alleen rekenkracht, maar zorgt er ook voor dat het "verhaal" van de afbeelding consistent blijft, ongeacht welke kant je op reist.