Disentanglement of Variations with Multimodal Generative Modeling

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 단순히 고양이 사진을 보여주는 것이 아니라, 고양이의 울음소리를 듣고, 캡션을 읽고, 털의 촉감을 동시에 느끼게 하고 싶은 것입니다. 이것이 바로 컴퓨터가 시각, 청각, 텍축과 같이 서로 다른 형태의 데이터(flavor)를 이해하려고 노력하는 **멀티모달 학습(multimodal learning)**의 세계입니다. 여기서 큰 과제는 이러한 서로 다른 관점들에서 어떤 부분이 동일한지(예: 그것이 고양이라는 사실과 같은 "공유된" 진실), 그리고 어떤 부분이 각 관점마다 고유한지(예: 사진의 특정 배경이나 목소리의 톤과 같은 "개별적인" 세부 사항)를 파악하는 것입니다.

이를 위해 과학자들은 흔히 **변이형 오토인코더(Variational Autoencoder, VAE)**라는 도구를 사용합니다. VAE를 아주 똑똑한 압축 기계라고 생각해보세요. VAE는 복잡한 입력을 받아 아주 작고 효율적인 요약본("잠재 코드", latent code)으로 압축한 다음, 다시 그 요약본을 원래의 이미지나 소리로 되돌리려고 시도합니다. 목표는 이 요약본을 매우 깔끔하게 만들어 "공유된" 사실과 "개별적인" 세부 사항이 서로 다른 서랍에 깔끔하게 분리되도록 하는 것입니다. 만약 서랍들이 뒤섞이면 로봇은 혼란에 빠집니다. 예를 들어, 배경 색상이 고양이의 정체성의 일부라고 생각하거나, 배경을 기억하느라 고양이의 형태를 잊어버릴 수도 있습니다.

이 논문은 이러한 서랍들을 정리하는 더 똑똑한 방법을 소개합니다. 아이오와 대학교의 Yijie Zhang, Yiyang Shen, Weiran Wang 연구진은 IDMVAE(Information-disentangled Multimodal VAE)라고 불리는 시스템을 제안합니다. 그들은 기존 방식들이 서랍을 지저aff하게 만들어 공유된 정보와 개별적인 정보를 뒤섞어 놓았으며, 이로 인해 로봇이 새로운 데이터를 생성할 때 흐릿하거나 터무니없는 결과를 낳는다는 것을 발견했습니다. 그들의 해결책은 정보를 분리하고 깔끔하게 유지하기 위한 세 가지 영리한 기술을 포함합니다.

문제점: 지저분한 배낭

당신에게 배낭(컴퓨터 모델)이 있고, 그 안에 두 종류의 물건을 보관해야 한다고 상상해 봅시다. 바로 보편적 사실(예: "이것은 새이다")과 개인적 특성(예: "이 새는 왼쪽을 향하고 있다")입니다. 기존 모델에서는 이러한 항목들이 서로 뒤섞였습니다. 만약 당신이 단지 "새"라는 사실만을 추출하여 다른 새에게 보여주려 한다면, 실수로 "왼쪽을 향함"이라는 특성까지 함께 끌고 와서 새로운 새를 이상하게 만들 수 있습니다. 또는 방향을 바꾸려고 할 때, 의도치 않게 종(species)까지 바꿔버릴 수도 있습니다.

저자들은 단순히 이미지를 재구성(원래의 이미지와 똑같이 만드는 것)하는 것만으로는 이 항목들을 분리하기에 충분하지 않다고 주장합니다. 컴퓨터는 공유된 사실을 추측하기 위해 개별적인 세부 사항을 이용하는 "지름길"을 찾을 수 있으며, 이는 분리를 망가뜨립니다.

해결책: IDM-VAE의 세 가지 마법 기술

1. "교차 관점" 탐정 (Cross-View Mutual Information)
첫 번째 기술은 두 명의 목격자에게 동일한 사건을 설명하도록 요청하는 데티텍티브(탐정)와 같습니다. 만약 목격자 A(이미지)와 목격자 B(텍스트)가 모두 같은 새에 대해 이야기하고 있다면, 그들은 공유된 사실에 대해 일치해야 합니다. 저자들은 컴퓨터가 서로 다른 관점의 "공유된" 요약본 사이의 일치성을 극대화하도록 강제합니다. 만약 이미지의 요약본이 텍스트의 요약본과 일치하지 않으면 시스템은 벌점을 받습니다. 이를 통해 "공유된" 서랍에는 오직 모든 관점에 공통적으로 존재하는 정보만이 담기게 되어 노이즈를 걸러낼 수 있습니다.

2. "섞고 맞추기" 게임 (Generative Augmentation)
이 부분은 가장 유희적인 부분입니다. 왼쪽을 향하고 있는 빨간 새의 사진과 오른쪽을 향하고 있는 파란 새의 사진이 있다고 상상해 보세요. 저자들은 컴퓨터에게 다음과 같은 게임을 가르칩니다. "빨간 새의 공유된 부분(새라는 사실)을 가져오되, 파란 새의 개별적인 부분(오른쪽을 향함)을 가져와라. 이제 새로운 그림을 그려라."

만약 컴퓨터가 자신의 일을 제대로 수행하여 서랍을 올바르게 분리했다면, 컴퓨터는 빨간색이면서 오른쪽을 향하고 있는 새로운 이미지를 만들어낼 수 있을 것입니다. 그런 다음 컴퓨터는 스스로 검증합니다. "내가 이 새로운 이미지를 다시 기계에 넣었을 때, 처음에 시작했던 '오른히 향함' 코드를 얻을 수 있는가?" 만약 답이 "아니오"라면, 서랍은 여전히 지저분한 상태입니다. 이 "순환 일관성(cycle-consistency)" 체크는 사람이 무엇이 무엇인지 알려주지 않아도 컴퓨터가 공유된 정보와 개별적인 정보를 엄격하게 분리하도록 강제합니다.

3. "모양을 바꾸는" 배낭 (Diffusion Priors)
마지막으로, 저자들은 "배낭" 자체(코드가 존재하는 수학적 공간)가 너무 단순하다는 것을 깨달았습니다. 대부분의 모델은 코드가 상자 안의 구슬처럼 무작위로 흩어져 있다고 가정합니다(가우시안 분포). 하지만 실제 세계의 데이터는 훨씬 더 복잡하며 클러스터와 형태를 가지고 있습니다. 이를 해결하기 위해 그들은 **확산 모델(Diffusion Models)**을 사용했습니다. 이것은 배낭을 딱딱한 상자에서 유연하고 모양이 변하는 젤리 형태로 업그레이드하는 것과 같습니다. 이를 통해 컴퓨터는 "공유된" 서랍에 훨씬 더 풍부하고 복잡한 구조를 담을 수 있게 되어, 생성 품질이 크게 향상되었습니다.

연구 결과

연구팀은 다음과 같은 몇 가지 도전적인 데이터셋을 통해 IDMVAE를 테스트했습니다:

• PolyMNIST-Quadrant: 숫자가 서로 다른 배경과 함께 이미지의 각 모서리에 배치된 데이터셋입니다. 목표는 숫자(공유된 것)와 모서리 위치(개별적인 것)를 분리하는 것입니다.
• CUB: 새 이미지와 텍스트 설명이 포함된 데이터셋입니다. 이들은 새의 종(공유된 것)과 새가 향하는 방향(텍료에는 언급되지 않는 개별적인 것)을 분리하고자 했습니다.
• TCGA: 환자의 생존율을 예측하기 위한 다양한 유형의 생물학적 데이터를 포함하는 복잡한 의료 데이터셋입니다.

Poly-MNIST 테스트에서, 그들의 방식은 공유된 코드로부터 숫자를 식별하는 데 있어 **98.3%**의 정확도를 달-성했으며, 이는 다른 방식들의 훨씬 낮은 점수와 대조됩니다. 또한 "개별적" 코드로 숫자를 식별하도록 시스템을 속이려 했을 때 정확도가 16.2%(무작위 추측에 가까운 수치)로 떨어졌는데, 이는 분리가 매우 깔끔하게 이루어졌음을 증명합니다.

CUB 데이터셋에서, 그들의 모델은 입력 조건과 일치하는 일관된 이미지와 텍스트를 생성하는 데 더 뛰어난 성능을 보였습니다. 예를 들어, 텍스트를 바탕으로 "파란 새"의 이미지를 생성하라고 요청했을 때, 그들의 모델은 이전 모델들보다 색상의 일관성을 훨씬 더 잘 유지했습니다.

TCGA 의료 데이터에서, 공유된 코드와 개별적인 코드를 결합했을 때 환자 생존율 예측 정확도가 가장 높았으며, **71.8%**에 도달하여 모든 다른 베이스라인 방법들을 능가했습니다.

결론

저자들은 이 세 가지 기술을 함께 사용함으로써—관점 간의 일치를 강제하고, 섞고 맞추기 생성 게임을 수행하며, 더 유연한 "배낭"을 사용함으로써—컴퓨터가 무엇이 보편적이고 무엇이 고유한지를 진정으로 이해할 수 있게 된다는 것을 보여주었습니다. 비록 새 데이터셋에서 초고해상도 이미지를 생성하는 것은 여전히 다소 까다롭다는 점을 언급했지만(데이터 양의 문제로 보임), 이 방법은 기존의 어떤 접근 방식보다 정보를 성공적으로 분리해 냈습니다. 그들은 향로에 이러한 깔끔한 분리가 로봇이 누락된 데이터(예: 새를 보지만 소리는 듣지 못하는 상황)를 더 잘 처리하는 데 도움을 줄 수 있다고 제안합니다. 하지만 현재로서 가장 큰 성과는, 컴퓨터가 이 복잡하고 멀티모달적인 세상을 학습할 수 있는 훨씬 더 명확하고 조직적인 방법을 찾아냈다는 점입니다.