당신은 아주 똑똑한 로봇 화가를 만들려고 한다고 상상해 보세요. 당신은 이 로봇이 "고양이를 그려줘"와 같은 간단한 지시만으로 고양이, 자동차, 혹은 구름 등 무엇이든 그릴 수 있기를 바랍니다. 이를 위해 당신은 로봇에게 뇌를 두 개의 별도 부분으로 나누도록 가르칩니다. 한 부분은 '콘텐츠 뇌(Content Brain)'라고 부르며, 무엇이 고양이를 고양이답게 만드는지(뾰족한 귀, 수염 등)를 배웁니다. 다른 부분은 '스타일 뇌(Style Brain)'라고 부르며, 이 특정 고양이를 저 고양이와 다르게 만드는 무작위하고 어지러운 세부 사항들(털이 복슬복슬한가? 검은색인가? 잠을 자고 있는가?)을 배웁니다.

목표는 로봇이 숙련된 혼합 전문가가 되는 것입니다. 당신은 고자의 '콘텐츠 뇌'와 개의 '스타일 뇌'를 가져와서, 고양이의 지시를 따르면서도 정확히 학습했던 그 개처럼 보이는 복슬복슬하고 검은 잠자는 개를 그리도록 하고 싶습니다. 만약 로봇이 완벽하게 작동한다면, '스타일 뇌'는 자신이 어떤 종류의 동물을 보고 있는지에 대해 완전히 눈이 멀어야 합니다. 즉, 오직 "무작위성"만을 보아야 합니다.

수년 동안 과학자들은 로봇의 '스타일 뇌'가 제 역할을 하고 있는지 확인하기 위해 영리한 속임수를 사용해 왔습니다. 그들은 로봇이 본 모든 스타일의 평균이 완벽하고 무작적인 점들의 구름(가우시안 분포)처럼 보이는지 확인합니다. 만약 평균이 무작위로 보인다면, 그들은 로봇이 어떤 동물을 보고 있었는지 성공적으로 잊어버렸다고 가정합니다. 이는 마치 뒤섞인 양말 주머니가 겉에서 보기에 무작위적인 더미처럼 보이면, 그 더미가 어떤 양말인지 구분할 수 없다고 가정하는 것과 같습니다.

하지만 여기서 반전이 있습니다. 만약 양말 주머니가 겉으로는 무작위적인 더미처럼 보이지만, 내부적으로는 완벽하게 정리되어 있다면 어떻게 될까요? 만약 왼쪽 발 양말은 주머니의 한쪽 구석에 숨겨져 있고 오른쪽 발 양말은 다른 쪽에 숨겨져 있는데, 너무 잘 섞여 있어서 전체 더미는 여전히 무작위적인 덩어리로 보인다면 어떨까요? 만약 당신이 손을 넣어 양말 하나를 집는다면, 실수로 왼쪽 발 양말을 잡을 수도 있고, 갑자기 당신의 로봇은 "오, 나는 반드시 왼쪽 발을 가진 생명체를 그리고 있나 보구나!"라고 생각하게 될 것입니다.

이것이 바로 베트남 빈대학교(VinUniversity) 연구진의 새로운 논문이 폭로하고 있는 문제입니다. 그들은 로봇의 '스타일 뇌'가 제 역할을 하고 있는지 검증하기 위해 똑똑한 트릭을 사용해 왔습니다. 그들은 '평균적인 더미'(한계 통계량)를 보는 대신, 각 동물별 스타일을 살펴보았습니다. 그들은 이렇게 물었습니다. "만약 내가 고양이의 스타일만 본다면, 그것이 개의 스타일과 다르게 보일까?"

그 대답은 단호한 "예"였습니다. 사실, 정보 유출은 엄청났습니다.

그들은 자신들이 만든 모델(F-CS-WAE라고 불림)과 다른 네 가지 인기 있는 로봇 화가를 테스트했습니다. 이 모델들은 모두 "무작위 더미" 테스트를 아주 훌륭하게 통과했지만(글로벌 통계량은 거의 완벽했습니다), 연구진은 단순한 컴퓨터 프로그램이 '스타일 뇌'를 보고 어떤 동물이 그려지고 있는지 무서울 정도로 정확하게 맞출 수 있다는 것을 발견했습니다. 한 데이터셋에서 로봇의 스타일 뇌는 동물의 라벨을 맞추는 데 100%의 정확도를 보였습니다. 또 다른 데이터셋에서는 99.15%의 정확도를 보였습니다.

이는 마치 국가의 모든 비밀 코드를 암기한 스파이와 같습니다. 스파이의 메모가 섞이고 평균화되었을 때 무작위적인 낙서처럼 보일지라도, 스파이가 어느 페이지를 보고 있는지 안다면 메시지를 완벽하게 해독할 수 있는 것과 같습니다. 연구진은 '스타일 뇌'가 단순히 무작위 노이즈를 운반하는 것이 아니라, 동물의 정확한 정체성을 숨긴 채 품고 있었다는 것을 보여주었습니다.

거대한 스타일 유출 (The Great Style Leak)

그렇다면 왜 로봇은 섞고 맞추려고 할 때 실패하는 걸까요?

당신이 로봇이라고 상상해 보세요. 당신은 고양이를 그리도록 훈련받았습니다. 고양이를 볼 때, 당신의 '콘텐츠 뇌'는 "고양이!"라고 말하고, '스타일 뇌'는 "복슬복슬하고, 검고, 잠을 자는 상태"라고 말합니다. 당신은 이 두 가지가 항상 함께 간다는 것을 배웁니다. 당신은 "복슬복슬하고, 검고, 잠을 자는" 스타일이 "개"라는 지시와 함께 나타나는 것을 결코 본 적이 없습니다.

이제 당신은 "개"를 그리라는 요청을 받습니다. 당신의 '콘텐츠 뇌'에는 "개"라는 지시가 들어옵니다. 하지만 '스타일 뇌'에 대해서는, 모든 스타일이 담긴 커다란 주머니에서 무작위 스타일을 하나 집으라는 명령을 받습니다. 그런데 주머니가 비밀스럽게 조직되어 있기 때문에, 당신은 실수로 고양이에게 속해 있는 "복슬복슬하고, 검고, 잠을 자는" 스타일을 집을 수도 있습니다.

여기서 재앙이 발생합니다. 당신의 로봇 뇌는 "복슬복슬하고, 검고, 잠을 자는" 스타일이 오직 "고양이"와만 어울린다고 배웠습니다. 당신은 이 스타일이 "개"와 함께 있는 것을 본 적이 없습니다. 그래서 당신이 개의 스타일을 가진 고양이를 그리려고 할 때, 로봇은 혼란에 빠집니다. 로봇은 지시사항보다 스타일을 더 신뢰합니다. 로봇은 "개"라는 명령을 무시하고 대신 고양이를 그려버립니다.

연구진은 이런 일이 항상 일어난다는 것을 발견했습니다. 그들이 특정 클래스(예: MNIST 숫자 데이터셋의 숫자 "3")의 새로운 이미지를 무작위 스타일로 생성하려고 했을 때, 로봇은 단 16%의 확률로만 정답을 맞혔습니다. 로봇은 계속해서 틀린 숫자를 그렸는데, 주로 자신의 '스타일 뇌'에서 가장 인기가 많았던 숫자들을 그렸습니다. 로봇은 스타일의 단서에 너무 중독된 나머지 지시사항을 완전히 잊어버렸습니다.

4부작의 미스터리

이 논문은 단순히 "고장 났다"라고 말하는 데 그치지 않고, 마치 범죄 현장을 해결하는 탐정처럼 왜 고장 났는지를 네 가지 뚜로 명확하게 분석합니다.

1. 스타일 사전 불일치 (The Style Prior Mismatch): '스타일 뇌'는 과학자들이 원했던 것과 똑같은 무작위 구름의 형태를 띠지 않습니다.
2. 스타일 유출 (The Style Leakage - 결정적 원인): '스타일 뇌'는 라벨을 알고 있습니다. 그것은 고양이인지 개인지 알고 있습니다. 이것이 주요 문제입니다.
3. 의미론적 사전 불일치 (The Semantic Prior Mismatch): '콘텐츠 뇌' 역시 지시사항과 완벽하게 정렬되어 있지 않습니다.
4. 클래스 내 의존성 (The Within-Class Dependence): "고양이" 그룹 내부에서도 '콘텐츠 뇌'와 '스타일 뇌'는 서로 손을 잡고 비밀을 속삭이고 있습니다.

연구진은 이 로봇이 완벽하게 작동하려면 이 네 가지 문제가 모두 해결되어야 한다는 것을 수학적으로 증명했습니다. 단순히 유출(문제 2)만 해결하고 끝내서는 안 됩니다. 설령 '스타일 뇌'가 라벨을 잊도록 강제하더라도, 다른 세 가지 문제가 남아 있다면 로봇은 여전히 실패할 것입니다.

유출을 막으려는 시도들

연구팀은 구멍을 메우기 위해 여러 방법을 시도했습니다. 학습하는 동안 로봇이 라벨에 주의를 기울이게 하여 '스타일 뇌'가 모든 동물에 대해 동일하게 보이도록 강제하는 방법을 시도했습니다. 또한 "그래디언트 역전(gradient reversal)"(이는 로봇에게 "만 if 동물을 맞히면 벌점을 준다!"라고 말하는 것과 같습니다)과 같은 다양한 수학적 트릭을 시도했습니다.

어떤 방법은 다른 방법보다 더 효과적이었습니다. "그래디언트 역전"이라는 방법은 '스타일 뇌'가 라벨을 잊게 만드는 데 매우 효과적이어서, 추측 정확도를 21%까지 떨어뜨렸습니다(이는 훨씬 나아진 수치지만 완벽하지는 않습니다). "Per-Class Style MMD"를 사용한 또 다른 방법은 정확도를 42.6%로 떨어뜨렸습니다.

하지만 함정이 있습니다. 유출을 해결했음에도 불구하고 로봇은 여전히 완벽하게 작동하지 않았습니다. 왜일까요? 유출을 해결했어도 '콘텐츠'와 '스타일' 뇌가 서로 손을 잡고 있는 것과 같은 다른 문제들이 여전히 남아 있었기 때문입니다. 연구진은 유출을 해결하는 것이 필요조건이지만, 충분조건은 아니라는 것을 보여주었습니다. 이는 마치 배의 구멍을 고쳤지만, 배 밑바닥에 구멍이 있고 키가 고장 난 것을 잊어버린 것과 같습니다. 당신은 결국 가라앉게 됩니다.

데이터셋의 놀라움

연구진은 또한 이 문제가 얼마나 어려운지에 대해 흥미로운 발견을 했습니다. 그들은 두 가지 다른 이미지 세트, 즉 MNIST(단순한 흑백 숫자)와 CIFAR-10(동물과 사물의 다채롭고 복잡한 사진)을 테스트했습니다.

단순한 숫자(MNIST)에서 로봇은 숙련된 도둑이었습니다. 스타일로부터 라벨을 거의 완벽하게 추측할 수 있었습니다. 복잡한 사진(CIFAR-10)에서 로봇은 조금 더 서툴렀지만, 여전히 많은 정보를 유출했습니다. 연구진은 이미지가 더 복잡하고 다양할수록 로봇이 라벨을 추측하기 위해 스타일에 의존하는 정도가 낮아진다는 것을 발견했습니다. 이는 타당합니다. 모든 고양이가 완전히 다르게 생겼다면, 스타일 안에 비밀 코드를 숨기기가 더 어렵기 때문입니다. 하지만 복잡한 데이터셋에서도 로봇은 여전히 위험할 정도로 정보를 유출했습니다.

최종 교훈

이 논문의 가장 중요한 교훈은 이러한 로봇 화가를 만드는 모든 이들에게 주는 경고입니다. 당신은 단순히 '스타일 뇌'가 평균적으로 무작위로 보이는지만 확인해서는 안 됩니다. 그 테스트는 함정입니다. 당신은 스타일이 모든 개별 클래스에 대해 진정으로 라벨로부터 독립적인지 확인해야 합니다.

연구진은 모델이 모든 표준 테스트를 통과하고 서류상으로 훌륭해 보일지라도, 정작 제작 목적이었던 '스타일 섞기 및 맞추기'에는 완전히 무용지물일 수 있다는 것을 보여주었습니다. 그들은 모델이 고양이를 인식하는 데 99% 정확할 수 있지만, "개의 스타일을 가진 고양이"를 그려달라고 요청하면 84%의 확률로 실패한다는 것을 발견했습니다.

결국, 이 논문은 우리의 로봇들에게 새로운 테스트 방식이 필요하다고 제안합니다. 우리는 보닛(hood)만 보는 것이 아니라, 보닛 아래를 들여다봐야 합니다. 우리는 '스타일 뇌'가 단순히 그런 척하는 것이 아니라, 진정으로 독립적인지 확인해야 합니다. 그렇게 하지 않는 한, 우리의 로봇 화가들은 숨겨둔 비밀 코드 때문에 혼란에 빠져 계속해서 잘못된 그림을 그리게 될 것입니다.