UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow

당신은 단어와 단어 사이를 번역하는 것이 아니라, 세계 전체를 번역하는 숙련된 번역가라고 상상해 보십시오. 당신은 여름 초원의 사진을 눈 덮인 겨울 풍경으로 바꾸거나, 얼룩말을 말로 바꾸고 싶지만, 이를 가이드할 수 있는 단 한 쌍의 '전과 후' 사진도 본 적이 없습니다. 이것이 바로 비쌍(unpaired) 이미지 번역이라는 거친 개척지입니다. 과거에 컴퓨터는 어떤 특정한 여름 꽃이 어떤 특정한 겨울 눈송이가 되어야 하는지 알지 못했기 때문에 이 작업에 어려움을 겪었습니다. 그들은 종종 그냥 추측했고, 그 결과 이미지는 흐릿하게 뭉개지거나 원래의 형태를 잃어버리곤 했습니다. 이를 해결하기 위해 과학자들은 보통 컴퓨터에게 "왕복" 게임을 가르쳤습니다. 여름 사진을 겨울로 번역한 다음, 다시 여름으로 번క역해 보는 것입니다. 만약 최종 결과가 원래의 이미지와 같다면, 컴퓨터가 일을 잘하고 있다는 뜻이었습니다. 하지만 이 방법은 왕복 버스 노선이 출발지로 돌아왔는지 확인하는 것과 같았습니다. 버스가 그 사이에 부드럽고 논리적인 경로를 따라갔는지는 보장하지 못했습니다.

이제, 이미지 번역을 두 개의 별개 작업이 아닌 하나의 연속적인 여정으로 취급하여 판도를 바꾸는 새로운 접근 방식인 UniCycleFlow를 소개합니다. 두 개의 서로 다른 번역기(하나는 여름에서 겨울로, 다른 하나는 겨울에서 여름으로)를 만드는 대신, 이 방법은 하나의 "속도장(velocity field)"을 구축합니다. 이것은 양방향으로 불어오는 '보편적인 바람 지도'라고 생각하면 됩니다. 여름에서 겨울로 가고 싶다면 바람을 앞으로 불게 하면 되고, 다시 돌아가고 싶다면 단순히 바람의 방향을 반대로 돌리면 됩니다. 이 논문의 주요 발견은 양방향이 동일한 보이지 않는 바람 지도를 따르도록 강제함으로써, 컴퓨터가 이전보다 훨씬 더 잘 원본 이미지의 구조를 보존하도록 학습한다는 것입니다. 저자들은 열 가지 다양한 번역 작업(예: 고양이를 개로 바꾸거나, 항공 지도를 거리 뷰로 바꾸는 작업 등)을 통해 이를 측정했으며, 이 방법이 가장 선명하고 현실적인 이미지를 생성하며 오류가 가장 적다는 것을 발견했습니다. 그들은 표준 품질 테스트인 FID에서 55.1이라는 최고 점수를 기록했습니다. 또한, 컴퓨터가 여러 번의 작은 단계 대신 단 한 번의 큰 발걸음을 떼더라도 결과가 여전히 훌륭하다는 것을 보여주었는데, 이는 그 경로가 믿을 수 없을 정도로 직선적이고 효율적임을 증명합니다.

문제점: "무작위 쌍 맞추기"의 함정

당신이 로봇에게 말 사진을 얼룩말 사진으로 바꾸는 법을 가르치고 있다고 상상해 보십시오. 로봇에게는 말 사진이 담긴 상자와 얼룩말 사진이 담긴 상자가 있지만, 이들은 서로 짝이 맞지 않습니다. 만약 당신이 무작위로 말 한 마리와 무작위로 얼룩말 한 마리를 집어 들고 로봇에게 "이 말을 저 얼룩말로 바꿔라"라고 말한다면, 로봇은 혼란에 빠질 것입니다. 로봇은 말의 다리를 얼룩말의 줄무늬로 바꾸려 하거나, 더 심하게는 두 동물의 자세가 다르기 때문에 말의 머리를 얼룩말의 꼬리로 바꾸려 할 수도 있습니다. 결국 로봇은 "말을 어떻게 바꾸는지"와 "특정 자세를 어떻게 바꾸는지"가 뒤섞인 엉망진창인 상태를 배우게 되어, 기괴하고 왜곡된 생명체를 만들어내게 됩니다.

이전의 방법들은 두 개의 별도 로봇을 만드는 방식으로 이를 해결하려 했습니다. 하나는 A에서 B로 가는 용도이고, 다른 하나는 B에서 A로 가는 용도였습니다. 그들은 로봇이 A → B → A 과정을 거쳐 원래의 이미지로 돌아올 수 있는지 확인했습니다. 이것이 도움이 되기는 했지만, 운전자가 출발지로 돌아올 수 있는지 확인하는 것과 같았습니다. 즉, 운전자가 양방향 모두에서 동일한 도로를 달렸다는 것을 보장하지는 못했습니다. 두 로봇은 단지 시작점과 끝점만 맞을 뿐, 완전히 다른 지그재그 경로를 택할 수도 있었습니다.

해결책: 하나의 바람, 두 개의 방향

이 논문의 저자들은 두 개의 로봇을 만드는 것을 그만두기로 했습니다. 대신, 두 세계 사이의 공유된 공간에 존재하는 하나의 단일 바람 지도(속도장)를 만들었습니다.

시간을 자(ruler)라고 생각해 보십시오. 자의 맨 처음(시간 0)에는 당신의 소스 이미지(예: 말)가 있습니다. 자의 맨 끝(시간 1)에는 타겟 이미지(예: 얼룩말)가 있습니다. "바람"은 시간 0에서 시간 1로 붑니다.

• 말 → 얼룩말로 가려면, 그냥 바람이 앞으로 불게 합니다.
• 얼룩말 → 말로 가려면, 단순히 바람을 반대로 돌려 시간 1에서 시간 0으로 뒤로 불게 합니다.

동일한 바람 지도이기 때문에, 말을 얼룩말로 바꾸는 규칙은 얼룩말을 다시 말로 바꾸는 규칙과 정확히 같습니다. 단지 방향만 반대일 뿐입니다. 이는 컴퓨터가 두 개의 분리되고 상충하는 규칙 세트가 아니라, 하나의 일관된 규칙 세트를 배우도록 강제합니다.

마법의 기술: 올바른 목적지 학습하기

여기 까다로운 부분이 있습니다. 컴퓨터는 서로 짝이 맞는 데이터가 없는데, 어떤 특정 말이 어떤 특정 얼룩말로 변해야 하는지 어떻게 알 수 있을까요? 만약 그냥 추측한다면, 앞서 언급한 "무작위 쌍 맞추기" 실수를 저지르게 될 것입니다.

UniCycleFlow는 **적대적 경계 매칭(adversarial boundary matching)**이라는 영리한 기술로 이를 해결합니다. 컴퓨터가 데이터셋에 있는 특정 말과 특정 얼룩말을 일치시키도록 강요하는 대신, 컴퓨터는 자신만의 완벽한 목적지를 스스로 만들도록 학습합니다.

1. 컴퓨터는 말을 보고 이렇게 말합니다. "나는 진짜 얼룩말처럼 보이는 얼룩말을 만들 것이다."
2. 컴퓨터는 가짜 얼룩말을 만듭니다.
3. "판사"(판별기)가 가짜 얼룩말과 진짜 얼룩말들을 살펴봅니다. 만약 판사가 둘을 구별할 수 있다면, 컴퓨터는 다시 시도합니다.
4. 일단 판사가 차이를 구별할 수 없게 되면, 컴퓨터는 원래 데이터셋에 없었더라도 해당 특정 말에 대한 "완벽한 짝"을 찾은 것입니다.

이제 컴퓨터는 명확한 경로를 갖게 됩니다: 말 → 완벽한 가짜 얼룩말. 컴퓨터는 그 둘 사이의 직선을 그리고, 그 선을 이동하는 데 필요한 바람을 학습합니다. 목적지가 해당 소스에 맞춰 특별히 생성되었기 때문에 경로는 깨끗하고 논리적이며, 무작위 쌍 맞추기의 혼란을 피할 수 있습니다.

여정을 매끄럽게 유지하기

시작점과 끝점을 아는 것만으로는 충분하지 않습니다. 컴퓨터는 여정 중간의 과정이 매끄러운지, 이미지를 이상하게 왜곡하지 않는지 확인해야 합니다. 저자들은 경로가 완벽하도록 세 가지 안전망을 추가했습니다.

1. 자기 흐름 매칭(Self-Flow Matching): 컴퓨터가 경로를 따라 걷고 있다고 상상해 보십시오. 컴퓨터는 자신의 발걸음을 체크하여 바람이 일관되게 느껴지는지 확인합니다. 만약 여정 중간에 바람의 방향이 갑자기 바뀐다면, 컴퓨터는 스스로를 수정합니다. 이는 경로가 흔들리는 엉망진창이 아니라 직선이 되도록 보장합니다.
2. 순환 폐쇄(Cycle Closure): 이것은 더 똑똑해진 "왕복" 체크입니다. 컴퓨터는 말 → 얼블말 → 말의 과정을 거치며 원래 위치로 정확히 돌아왔는지 확인합니다. 만약 두 단계가 서로 완벽하게 상쇄되지 않는다면, 컴퓨터는 루프가 팽팽하게 닫히도록 바람 지도를 수정하는 법을 배웁니다.
3. 표현 경로-속도 정규화(Representation Path-Velocity Regularization): 이것은 가장 미묘한 체크입니다. 때때로 이미지가 괜찮아 보일 수도 있지만, 이미지의 "느낌"이 중간에 너무 많이 변할 수도 있습니다. 예를 들어, 털의 질감이 다시 날카로워지기 전에 너무 흐릿해질 수 있습니다. 컴퓨터는 사전 훈련된 인코더라는 "눈"을 사용하여 여정의 모든 작은 단계마다 이미지를 관찰합니다. 이를 통해 특징들(털의 질감이나 눈의 모양 등)이 급격하게 변하지 않고 천천히 꾸준하게 변하도록 만듭니다.

결과: 더 선명한 그림

저자들은 여름을 겨울로, 말을 얼룩말로, 고양이를 개로 바꾸는 것을 포함한 열 가지 다른 번역 작업에서 이 새로운 방법을 테스트했습니다. 그들은 자신들의 결과를 많은 유명한 방법들과 비교했습니다.

결과는 인상적이었습니다. 컴퓨터가 이미지를 번역하기 위해 단 한 번의 단계(단일 단계 추론)만을 수행하도록 허용했을 때, UniCycleFlow는 10개 작업 중 7개에서 최고의 점수(가장 낮은 오류)를 기록했습니다. 열 가지 작업 전체의 평균 점수는 55.1이었으며, 이는 이전의 최고 방법인 DCLGAN의 점수인 62.6보다 우수했습니다.

더 놀라운 점은, 컴퓨터가 한 번의 큰 발걸음을 떼든 다섯 번의 작은 발걸음을 떼든 거의 비슷하게 잘 작동했다는 것입니다. 이는 컴퓨터가 학습한 경로가 매우 직선적이고 직접적이어서, 목적지에 도달하기 위해 작고 조심스러운 발걸음을 뗄 필요가 없음을 시사합니다. 컴퓨터는 자신 있게 소스에서 타겟으로 뛰어넘을 수 있습니다.

이것이 중요한 이유

UniCycleFlow는 우리가 모든 방향의 번역을 위해 복잡하고 별개의 시스템을 구축할 필요가 없음을 보여줍니다. 변환을 하나의 규칙 세트에 의해 제어되는 단일하고 연속적인 여정으로 취급함으로써, 우리는 더 선명하고 안정적인 결과를 얻을 수 있습니다. 이것은 집에서 학교로 갔다가 다시 돌아오기 위해 두 개의 서로 다른 지도가 필요한 것이 아니라, 단 하나의 좋은 지도와 그것을 역방으로 걸을 수 있는 능력만 있으면 된다는 사실을 깨닫는 것과 같습니다. 이 접근 방식은 컴퓨팅 자원을 절약할 뿐만 아니라, 어느 방향으로 여행하든 이미지의 "이야기"가 일관되게 유지되도록 보장합니다.