Regularized Channel-Attentive Adversarial Learning for Unpaired Image Translation

Stellen Sie sich vor, Sie sind ein Meister der Kunstpädagogik und versuchen, einem Schüler beizubringen, im Stil von Van Gogh zu malen, aber Sie haben nicht die Originalskizzen des Schülers direkt neben den Meisterwerken von Van Gogh liegen. Sie haben statlich einen Stapel mit den Zeichnungen des Schülers und einen separaten Stapel mit den Meisterwerken von Van Gogh. Dies ist die knifflige Welt der „unpaarigen Bildübersetzung“ (unpaired image translation) in der Informatik. Es ist ein Zweig der künstlichen Intelligenz, bei dem Computer versuchen zu lernen, wie sie eine Art von Bild in eine andere verwandeln – wie etwa das Verwandeln eines Fotos eines Pferdes in ein Zebra oder einer Straßenkarte in eine Satellitenansicht – ohne dafür für jedes einzelne Bild ein perfektes, nebeneinander liegendes Gegenstück zu benötigen.

Um dies zu erreichen, nutzen Computer oft ein kluges Spiel namens „Generative Adversarial Network“ (oder GAN). Denken Sie an einen Fälscher und einen Detektiv, die in einem Raum eingesperrt sind. Der Fälscher (der Generator) versucht, gefälschte Bilder zu erstellen, die so echt aussehen, dass der Detektiv (der Diskriminator) sie nicht von echten unterscheiden kann. Der Detektiv wird immer besser darin, Fälschungen zu entlarven, was den Fälscher dazu zwingt, immer besser zu werden. Sie spielen dieses Spiel so lange, bis der Fälscher ein Meister geworden ist. In der Vergangenheit machten diese Fälscher jedoch oft Fehler: Ihre „Zebras“ hatten verschwommene Streifen, ihre „Karten“ hatten verschwindende Straßen, und ihre Gemälde sahen eher wie ein verschmiertes Aquarell aus. Es fiel ihnen schwer, die wichtigen Details scharf zu halten, während sie den Stil änderten.

Hier setzt eine neue Studie von Forschern der Harbin Normal University an. Sie schlagen einen klügeren Weg vor, dieses Spiel zu spielen, und nennen ihr neues System „CAR-GAN“. Anstatt den Fälscher und den Detektiv einfach nach den alten Regeln spielen zu lassen, haben sie dem Team drei spezielle Upgrades gegeben. Erstens gaben sie dem Fälscher eine „intelligente Brille“ (genannt Channel Attention), die ihm hilft, sich nur auf die wichtigsten Details zu konzentrieren, wie etwa die Textur von Fell oder die Linien eines Gebäudes, und das Rauschen zu ignorieren. Zweitens stellten sie einen viel erfahreneren Detektiv ein, indem sie das Gehirn des Detektivs tiefer und komplexer gestalteten, damit er selbst die kleinsten Mängel in den gefälschten Bildern erkennen kann. Schließlich fügten sie eine „Glattheitsregel“ (genannt Total Variation Regularization) hinzu, die wie eine sanfte Hand wirkt, die die rauen, körnigen Kanten des Gemäldes glättet, ohne die scharfen Linien zu verwischen.

Die Ergebnisse dieses neuen Ansatzes sind sehr vielversprechend. Als die Forscher ihr System bei drei verschiedenen Herausforderungen testeten – dem Verwandeln von Straßenkarten in Satellitenansichten, dem Verändern von Pferden in Zebras und der Umwandlung von Fotos in Van-Gogh-Stil-Gemälde – bewältigte das neue CAR-GAN diese Aufgaben besser als die bisherigen besten Methoden. Auf dem Kartensatz erreichte es beispielsweise einen Wert von 37,3 für die Erkennung der Karteneigenschaften und schlug damit die zweitbeste Methode, die einen Wert von 34,8 erreichte. Es erzeugte zudem Bilder mit weniger visuellen Fehlern und glatteren Texturen. Die Studie legt nahe, dass die Kombination dieser drei spezifischen Upgrades den Computer in die Lage versetzt, wesentlich realistischere und stabilere Übersetzungen zu erstellen und dabei die verschwommenen Unschärfen und seltsamen Verzerrungen zu vermeiden, die früheren Versionen so schwer zu schaffen gemacht hatten. Obwohl das System aufgrund seiner Komplexität etwas mehr Zeit für das Training benötigt, zeigt es, dass die Gabe der KI eines besseren Fokus, eines schärferen Auges und einer sanfteren Berührung zu signifikant höheren Qualitätsergebnissen in der Welt der digitalen Kunst und Bildtransformation führen kann.