Generative Models for Signature Synthesis and Face Translation: A Comparative Study of VAE, GAN, Conditional GAN, and CycleGAN

컴퓨터가 단순히 보는 것을 인식하는 것을 넘어, 실제로 아무것도 없는 상태에서 새로운 것을 꿈꿀 수 있는 세상을 상상해 보십시오. 이것이 바로 생성형 AI(Generative AI)의 영역입니다. 생성형 AI는 딥러닝의 한 분야로, 기계가 데이터셋의 '규칙'(예를 들어 서명이 어떻게 생겼는지, 혹은 고양이의 얼굴이 어떻게 생겼는지와 같은 규칙)을 학습한 뒤, 그 규칙을 사용하여 이전에 본 적 없는 완전히 새로운 사례들을 만들어내는 기술입니다. 이는 마치 아이에게 고양이 사진 수천 장을 보여주며 그림 그리는 법을 가르치는 것과 같습니다. 결국 아이는 특정 고양이를 본 적이 없더라도 자신만의 독특한 고양이를 그려낼 수 있게 됩니다.

이를 실현하기 위해 과학자들은 서로 다른 '설계자' 또는 모델들을 사용합니다. **변이형 오토인코더(Variational Autoencoders, VAEs)**라고 불리는 일부 모델은 압축 예술가처럼 작동합니다. 이들은 이미지를 가져와 가장 핵심적인 '영혼'(숨겨진 코드)으로 축소한 뒤, 그것을 다시 재구성하려고 시도합니다. 반면, **생성적 적대 신경망(Generational Adversarial Networks, GANs)**은 고도의 심리전을 벌이는 위조범과 탐정의 모습에 더 가깝습니다. 위조범은 탐정이 진짜라고 믿을 만큼 정교한 가짜 예술품을 만들려고 애쓰고, 탐정은 가짜를 찾아내는 능력을 키우며 점점 더 똑똑해집니다. 때때로 우리는 이 모델들에게 창작을 유도하기 위한 힌트나 '조건'(예: 스케치)을 제공하는데, 이를 **조건부 GAN(Conditional GAN)**이라고 합니다. 또한, 완벽하게 일치하는 쌍이 없더라도 한 가지 스타일을 다른 스타일로 변환하고 싶을 때(예: 스케치를 사진으로 변환)는 '왕복' 규칙을 사용하여 변환이 타당하게 이루어지도록 하는 CycleGAN을 사용합니다. 어떤 도구가 어떤 작업에 가장 적합한지 이해하는 것은 매우 중요한데, 왜냐하면 이 모델들이 모두 이미지를 만들어내기는 하지만, 그 방식과 강점, 약점은 매우 다르기 때문입니다.

위대한 생성 모델의 대결: 위조범, 탐정, 그리고 몽상가들

이 연구에서 연구자 라이바 아미르(Laiba Ameer)는 네 가지 유형의 생성 모델이 세 가지 뚜렷한 도전 과제를 두고 격돌하는 디지털 경기장을 마련했습니다. 목표는 단순히 어떤 모델이 가장 '멋진' 사진을 만드는가를 보는 것이 아니라, 각 모델이 어떻게 행동하고, 어디에서 실수하며, 어떤 종류의 작업에 가장 적합한지를 이해하는 것이었습니다. 세 가지 도전 과제는 다음과 같았습니다: 가짜 서명 생성하기, 표준 데이터셋을 이용해 고양이와 강아지 이미지 생성하기, 그리고 손으로 그린 스케치를 실제 얼굴 사진으로 변환하기(및 그 반대 과정).

경쟁자들과 그들의 전략

첫 번째는 **VAE(Variational Autoencoder)**였습니다. 이는 일련의 지침(잠재 코드)으로 서명을 암기하여 기억으로부터 다시 그려내려는 학생을 상상하면 됩니다. VAE는 정확히 이 작업을 수행합니다. 이미지를 수학적 '본질'로 압축한 다음 그것을 재구성합니다. 논문에 따르면 이 방식은 매우 안정적이고 신뢰할 수 있었습니다. 서명 생성 테스트에서 VAE는 테스트 재구성 손실(test reconstruction loss) 0.015라는 매우 낮은 오차율로 이미지를 재구성했습니다. 이는 모델이 서명의 구조를 잘 학습했음을 시사하지만, 결과물은 다른 모델들에 비해 다소 '매끄럽거나' 선명도가 떨어지는 경향이 있었습니다.

다음으로 **표준 GAN(Standard GAN)**이 링에 등장했습니다. 이것은 전형적인 위조범과 탐정의 설정입니다. 위조범(생성자)은 가짜 서명을 만들려 노력했고, 탐정(판별자)은 그것을 찾아내려 했습니다. 논문은 훈련이 진행됨에 따라 가짜 서명이 점점 더 믿음직스러워졌다고 언급했습니다. 탐정은 자신의 직무를 꽤 잘 수행하여, 진짜 서명과 가짜 서명을 구별하는 데 85%의 정확도에 도aland했습니다. 그러나 저자는 이 85%라는 수치가 주로 두 모델이 균형 잡힌 게임을 하고 있다는 신호일 뿐, 가짜 서명이 반드시 완벽하다는 것을 의미하는 것은 아니라고 경고합니다. 즉, 탐정이 제 역할을 잘 수행하고 있다는 뜻일 뿐입니다.

그다음은 더 어려운 임무를 맡은 **커스텀 GAN(Custom GAN)**이었습니다. 이 모델의 임무는 유명한 CIFAR-10 데이터셋의 작은 부분집합을 이용해 고양이와 강아지 이미지를 생성하는 것이었습니다. 이 이미지들은 32 × 32 픽셀로 매우 작아서 작업이 까다롭습니다. 이 모델에는 특별한 반전이 있었습니다. 생성된 이미지를 실제 이미지와 비교하기 위해 '샴 네트워크(Siamese-style)' 메커니즘을 사용하여 두 이미지가 얼마나 유사한지 확인하려 했습니다. 결과는 어떠했을까요? 이 모델은 유사도 점수 0.72를 달성했습니다. 논문은 생성자와 판별자가 동시에 발전해야 했기에 VAE보다 훈련시키기가 더 어려웠으며, 적절한 균형을 찾는 것이 섬세한 춤과 같았다고 강조했습니다.

네 번째 경쟁자는 **조건부 GAN(cGAN)**이었습니다. 여기서 모델은 단순히 추측하는 것이 아니라 특정 프롬프트를 부여받았습니다. 스케치-투-페이스(sketch-to-face) 작업에서 모델은 선화(스케치)를 전달받고 "이것을 실제 얼굴로 바꾸라"는 명령을 받았습니다. 가이드가 있었기 때문에 모델은 처음부터 얼굴의 구조를 추측할 필요가 없었습니다. 논문에 따르면 이 모델은 생성된 얼굴을 실제 얼굴과 비교했을 때 평균 픽셀 유사도 점수 0.80을 기록했습니다. 이 조건화 작업은 놀라운 효과를 발휘하여, 생성된 얼굴이 입력된 스케치의 구조와 일치하도록 보장했습니다.

마지막으로, 번역의 명수인 CycleGAN이 등장했습니다. 완벽하게 일치하는 쌍이 필요한 cGAN과 달리, CycleGAN은 완벽하게 매칭되지 않는 쌍이 없더라도 스케치를 사진으로, 사진을 스케치로 번역하는 법을 배울 수 있습니다. 이 모델은 영리한 '왕복' 규칙을 사용합니다. 만약 스케치를 사진으로 바꾼 뒤, 다시 그 사진을 스케치로 바꾼다면, 원래의 스케치와 닮은 결과물이 나와야 한다는 원칙입니다. 논문은 이 '사이클 일관성 손실(cycle-consistency loss, 왕복이 얼마나 잘 되었는지를 측정하는 척도)'이 약 50 에포크(epoch, 훈련 주기) 후에 안정화되었으며, 결과물인 이미지들이 시각적으로 일관성을 갖게 되었다고 관찰했습니다.

결론: 단 하나의 정답은 없다

그래서 누가 승리했을까요? 논문은 단 하나의 '최고' 모델은 없으며, 무엇을 하려느냐에 따라 달라진다는 결론을 내립니다.

• VAEs는 성실한 일꾼입니다. 데이터의 기저 구조를 학습하는 데 뛰어나고 훈련이 매우 안정적이지만, 생성된 이미지가 다소 흐릿하거나 '꿈결 같은' 느낌을 줄 수 있습니다.
• 표준 GAN은 날카로운 예술가입니다. 매우 사실적이고 고품질의 이미지를 만들어낼 수 있지만, 성격이 까다롭습니다. 만약 '탐정'이 너무 강해지면 '위조범'은 학습을 멈추고, 탐정이 너무 약하면 위조범은 발전하지 못합니다. 이들은 설정 방식에 매우 민감합니다.
• 조건부 GAN은 순종적인 조수입니다. 스케치와 같은 구체적인 가이드가 있다면, 지시를 충실히 따라 일치하는 결과를 만들어내는 데 탁월합니다.
• CycleGAN은 번역가입니다. 두 가지 스타일(예: 스케치와 사진) 사이를 전환해야 하는데, 훈련을 위한 완벽한 이미지 쌍이 없을 때 빛을 발합니다.

연구는 또한 몇 가지 한계점도 지적합니다. "픽셀 유사도"나 "재구성 손실"과 같은 지표들은 계산하기는 쉽지만, 인간의 눈에 이미지가 얼마나 '실제처럼' 보이는지를 항상 포착하는 것은 아닙니다. 어떤 사진은 유사도 점수는 높지만 이상해 보일 수 있고, 또 어떤 사진은 아주 완벽해 보이지만 미세한 픽셀 차이 때문에 점수가 낮을 수도 있습니다. 저자는 향arian 연구를 위해 인간이 이미지를 판단하게 하거나 더 복잡한 수학적 테스트를 사용하는 등, 품질을 측정하는 더 발전된 방법이 필요할 수 있다고 제안합니다.

결국, 이 논문은 생성 모델을 구축하려는 모든 이들을 위한 실질적인 가이드 역할을 합니다. 이 논문은 기술이 강력하긴 하지만, 적절한 도구를 선택하는 것이 도구 자체만큼이나 중요하다는 것을 보여줍니다. 안정적인 재구성이 필요하든, 날카로운 위조가 필요하든, 가이드에 따른 창작이 필요하든, 혹은 매끄러운 번역이 필요하든, 각각의 역할에 설계된 특정 모델이 있으며, 각 모델은 고유한 개성과 도전 과제를 가지고 있습니다.