🤖 machine learning

MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

이 논문은 새로운 라우티드 목적 함수(routed objective)를 통해 학습된 공유 확률적 잠재 공간을 통해 서브셋 조건부 생성과 무조건부 결합 샘플링을 통합함으로써, 기존의 LLM 기반 또는 텍스트 정렬 모델의 한계를 극복하고 모든 유형 간 생성(any-to-any generation)에서 탁월한 일관성을 달성하는 엔드 투 엔드 멀티모달 잠재 확산 프레임워크인 MUNI를 소개한다.

원저자: Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 화가, 음악가, 시인으로 구성된 예술가 팀이 있다고 상상해 보세요. 과거에는 이들이 함께 이야기를 만들고 싶다면, 서로를 이해하기 위해 반드시 하나의 공통된 언어(텍스트)로 말하도록 강요해야 했습니다. 만약 화가가 그림을 보여주고 싶다면 먼저 글로 묘사해야 했고, 음악가는 그 글을 다시 소리로 바꾸어야 했습니다. 이 과정에서 종종 원래 그림의 독특한 "풍미"나 소리의 특정한 감정이 손실되곤 했습니다.

MUNI는 이 예술가들이 서로를 위해 무언가를 텍스트로 번역하는 과정 없이도 협업할 수 있게 해주는 새로운 시스템입니다. 대신, 이들에게 모두가 만나 서로의 "바이브(vibe)"를 이해하고 새로운 것을 창조할 수 있는 공유된 "꿈의 공간"을 제공합니다.

MUNI가 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다:

1. 문제점: "번역가"라는 병목 현상

대부분의 기존 AI 시스템은 엄격한 번역가처럼 행동합니다. 만약 당신이 그림을 주고 음악을 요청한다면, AI는 먼저 그림을 설명(텍스트)으로 바꾼 다음, 그 텍스트를 다시 음악으로 바꿔야 합니다.

결함: 이것은 복잡한 그림을 단지 "파란색"이라는 단어 하나로 설명하려는 것과 같습니다. 모든 세부 사항을 잃게 됩니다. 또한, 텍스트 설명이 없으면 시스템은 멈춰버리는데, 이는 시스템이 항상 텍스트 설명을 기대하도록 훈련되었기 때문입니다.

2. 해결책: 공유된 "꿈의 공간"

MUNI는 공유된 **잠재 공간(latent space)**을 만듭니다. 이것을 화가, 음악가, 시인이 모두 자리를 잡고 앉아 있는 중앙 회의실이라고 생각하세요.

번역 불필요: 화가는 스케치를 가지고 들어올 수 있고, 음악가는 멜로디를, 시인은 시를 가지고 들어올 수 있습니다. 그들은 자신의 작업을 공통된 언어로 번역할 필요가 없습니다. 그저 자신의 "바이브"를 방 안에 떨어뜨리기만 하면 됩니다.
Any-to-Any (어떤 형식이든 가능): 당신은 어떤 조합의 입력값(그림만, 소리만, 혹은 둘 다)을 주더라도 누락된 부분을 생성하도록 요청할 수 있습니다. 이는 마치 "여기 고양이 사진이 있으니, 이것이 어떤 소리가 날지 상상해 봐" 또는 "여기 빗소리가 있으니, 이것이 어떤 모습일지 상상해 봐"라고 말하는 것과 같습니다.

3. 학습 방법: "그룹 프로젝트" 비유

이 논문은 M-UNI가 이전의 시도들보다 더 잘 작동하게 만드는 두 가지 주요 기술을 소개합니다.

기술 A: "하나의 큰 팀" 접근 방식
기존 방식은 종종 예술가들을 먼저 각각 따로 훈련시킨 다음, 나중에 억지로 의견을 일치시키려 노력했습니다. MUNI는 이들을 처음부터 하나의 큰 팀으로서 동시에 훈련시킵니다.

비유: 밴드가 첫날부터 함께 연습하는 것을 상애해 보세요. 그들은 악기를 배우는 동안 서로의 소리를 듣는 법을 함께 배웁니다. 이는 그들이 만들어내는 "공유 공간"이 서투른 타협안이 아니라, 실제 연주 방식에 완벽하게 조율되도록 만듭니다.

기술 B: "엄격한 선생님" (훈련 목적 함수)
이 부분이 가장 중요합니다. 논문은 단순히 예술가들을 한 방에 모아두기만 하면, 그들이 너무 많이 공유하거나 너무 적게 공유하는 문제가 발생할 수 있다는 점을 깨달았습니다.

문제: 만약 화가가 자신의 스케치에 담긴 아주 작은 디테일(예: 붓 터치 하나에 담긴 특정 붉은 색조)까지 음악가와 공유한다면, 음악가는 혼란에 빠질 것입니다. 그 디테일은 화가 개인의 것이며 공유된 방에 속하지 않습니다.
해결책: MUNI는 "라우티드 목적 함수(routed objective)"라는 특별한 훈련 규칙을 사용하여 엄격한 선생님 역할을 합니다. 이 선생님은 예술가들에게 이렇게 말합니다: "모두가 핵심적인 아이디어를 이해하는 데 도움이 되는 것들만 공유하세요. 개인적인 디테일은 스스로 간직하세요."
- 일관성(Coherence): 그림, 소리, 텍스트를 함께 생성할 때 모두가 완벽하게 일치하도록 보장합니다 (예: 텍스트에 "짖는 개"라고 되어 있다면, 소리는 짖는 소리여야 하고 그림은 개를 보여줘야 합니다).
- 최소성(Minimality): 공유된 방에는 오직 "공통 분모"만을 담도록 강제하며, 독특하고 복잡한 디테일은 나중에 개별 예술가들이 처리하도록 남겨둡니다.

4. 결과: 더 나은 조화

논문은 두 가지 수준에서 MUNI를 테스트했습니다:

단순 퍼즐 (PolyMNIST): 숫자와 도형을 매칭해야 하는 통제된 테스트입니다. M-UNI는 모든 것을 동시에 생성할 때 다른 방법들보다 훨씬 더 일관성을 잘 유지했습니다.
실제 세계 (이미지, 텍스트, 오디오): 실제 사진, 문장, 소리로 테스트했습니다.
- 조건부 생성 (Conditional Generation): 프롬프트(예: "고양이")가 주어졌을 때, MUNI는 고양이를 올바르게 보고, 듣고, 읽게 만드는 데 있어 기존의 최고 시스템들과 대등한 성능을 보였습니다.
- 무조건부 생성 (Unconditional Generation): 여기서 MUNI가 빛을 발했습니다. 아무런 프롬프트 없이 그냥 "랜덤한 장면을 만들어라"라고 요청했을 때, 다른 시스템들은 종종 서로 맞지 않는 결과(예: 해변 사진인데 도시 소리가 들림)를 냈습니다. 반면 MUNI는 이미지, 텍스트, 소리가 모두 자연스럽게 어우러지는 장면을 만들어냈습니다.

요 요약

MUNI를 단어를 사용하지 않는 유니버설 번역기라고 생각하세요. 이는 서로 다른 유형의 데이터(이미지, 소리, 텍스트)가 자유롭게 섞이고 조합될 수 있는 공유된 "바이브" 공간을 구축합니다. 시스템이 필수적인 "공통 분모"만을 공유하고 개인적인 디테일은 별도로 분리하도록 가르침으로써, MUNI는 이전의 AI 모델들보다 훨씬 더 일관되고 조화로운 다감각적 경험을 만들어냅니다.

기술 요약: MUNI: 일관된 Any-to-Any 생성을 위한 다중 모달 통합 잠재 확산 모델 (Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation)

문제 정의

현재의 다중 모달 생성 모델은 "any-to-any" 생성, 즉 모델이 임의의 다른 부분 집합(무조건적 결합 샘플링 포함)에 조건화되어 임의의 부분 집합을 생성해야 하는 작업에서 상당한 한계에 직면해 있습니다. 기존의 접근 방식은 일반적으로 다음과 같은 뚜렷한 단점을 가진 두 가지 범주로 나뉩니다:

LLM 기반 파운데이션 모델: 모든 모달리티를 통일된 시퀀스의 이산 토큰으로 표현합니다. 유연하지만, 모달리티별 연속 생성기(예: 이미지용 잠재 확산, 오디오용 플로우 매칭)를 활용하는 데 어려움이 있으며, 텍스트 쌍 데이터가 필요하여 충실도(fidelity)가 낮고 언어를 매개로 하지 않는 직접적인 교차 모달 상관관계를 포착하는 능력이 제한됩니다.
확산/플로우 기반 확장 모델: 최근 연구들은 연속적인 생성 모델링을 다중 모달 설정으로 확장하려고 시도하지만, 대개 텍스트 정렬된 임베딩에 의존하거나, 모든 부분 집합 구성에 대해 조건부 경로를 학습해야 하며(완전하게 쌍을 이룬 데이터를 요구함), 결정론적 매핑과 일치된 차원성을 강제합니다.

핵리 과제는 텍스트 정렬된 임베딩, 완전하게 쌍을 이룬 훈련 데이터, 또는 사전 계산된 잠재 공간에 의존하지 않고, 부분 집합 조건부 교차 모달 생성과 무조건적 결합 샘플링을 통합하는 프레임워크를 개발하는 것입니다.

방법론: MUNI

저자들은 MUNI(Multimodal Unified Latent Diffusion)를 제안합니다. 이는 Unified Latents (UL) 개념을 임의의 부분 집합 조건부 생성으로 확장한 엔드 투 엔드 프레임워크입니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

모달리티별 인코더 및 디코더: 단일 통합 인코더 대신, MUNI는 각 모달리티에 대해 특정 인코더 $q_{\phi_m}(z | x_m)$ 와 표현력이 풍부한 모달리티별 디코더 $p_{\theta_m}(x_m | z)$ 를 사용합니다.
공유 확률적 잠재 변수 (Shared Stochastic Latent): 단일 공유 잠재 변수 $z$ 가 모든 생성 작업을 매개합니다.
학습된 플로우 기반 사전 분포 (Learned Flow-Based Prior): 고정된 잠재 공간에 적합(fit)되는 것이 아니라, 공유 사전 분포 $q_\psi(z)$ 가 인코더 및 디코더와 함께 공동으로 학습됩니다.

핵심 아키텍처 및 목적 함수 혁신

MUNI는 표현력이 풍부한 디코더 및 학습된 사전 분포와 결합될 때, 표준적인 다중 모달 변분 추론 집계 규칙(예: Product of Experts 또는 Mixture of Experts)이 갖는 불충분함을 해결합니다. 저자들은 공유 잠재 변수가 갖추어야 할 세 가지 필수 기준을 식별했습니다:

일관성 충분성 (Coherence-sufficiency): 잠재 변수는 일관된 무조건적 결합 샘플링을 가능하게 하기 위해 모달리티 간의 의존성을 설명할 수 있어야 합니다.
예측 충분성 (Predictive sufficiency): 부분 집합 잠재 변수는 누락된 모달리티를 예측하기에 충분한 정보를 보유해야 합니다.
최소성 (Minimality): 공유 잠재 변수는 표현력이 풍부한 디코더가 모델링할 수 있는 모달리티 특유의 세부 사항을 흡수해서는 안 됩니다.

이 기준들을 충족하기 위해, MUNI는 세 가지 구체적인 구조적 선택을 포함하는 **라우티드 훈련 목적 함수 (routed training objective)**를 도입합니다:

비 혼합 집계 (Non-Mixture Aggregation): 관찰된 모달리티의 부분 집합 $A$ 에 대해, 사후 분포(posterior)는 전문가의 혼합(Mixture of Experts)에서 샘플링하는 대신, 모든 가용 단일 모달 전문가를 하나의 사후 분포로 집계(Product 또는 Hellinger aggregation을 통해)하여 형성됩니다. 이는 잠재 변수가 관찰된 모든 모달리티로부터 정보를 포함하도록 보장합니다.
대상 분리 자기 재구성 (Target-Detached Self-Reconstruction): 관찰된 부분 집합 $A$ 의 일부인 모달리티 $x_m$ 을 재구성할 때, $x_m$ 의 인코더는 집계 단계에서 분리(stop-gradient)됩니다. 이는 공유 잠재 변수가 자기 재구성에만 유용한 모달리티 특유의 세부 사항을 인코딩하도록 강제되는 것을 방지하여 최소성 기준을 강화합니다.
누락 하나 제외 사전 분포 학습 (Leave-One-Out Prior Learning): 사전 분포 손실은 전체 모달리티 부분 집합 또는 "하나를 제외한" 부분 집합(모든 모달리티 중 하나만 관찰된 경우)에서 추론된 잠재 변수에 대해서만 적용됩니다. 이는 사전 분포가 불충분한 증거로부터 추론된 잠재 변수에 의해 오염되는 것을 방지하고, 사전 분포가 일관성 충분한 잠재 변수에 대해 학습되도록 보장합니다.

훈련 목적 함수는 재구성 손실(보류된 예측 및 대상 분리 자기 재구성 모두에 대해)과 특정 경로에 게이트(gate)된 사전 분포 손실을 결합합니다.

주요 기여

엔드 투 엔드 다중 모달 잠재 확산: MUNI는 단일 목적 함수 아래에서 모달리티별 인코더, 표현력이 풍부한 디코더, 그리고 공유 플로우 기반 사전 분포를 공동으로 훈련함으로써 잠재 확산을 any-to-any 생성으로 확장하며, 2단계 "고정된 잠재 공간" 파이프라인의 필요성을 제거합니다.
변분 추론을 위한 새로운 훈련 목적 함수: 본 논문은 표준 집계 규칙이 학습된 사전 분포와 결합될 때 일관성, 예측성, 최소성을 동시에 만족시키지 못한다는 점을 식려했습니다. 제안된 라우티드 목적 함수는 비 혼합 집계, 대상 분리 재구성, 선택적 사전 학습을 통해 이러한 기준에 잠재 공간을 명시적으로 정렬합니다.
확장 가능한 Any-to-Any 프레임워크: MUNI는 텍스트 정렬된 임베딩이나 완전히 쌍을 이룬 삼중항(triplets) 없이도 작동하여, 부분적으로 관찰된 다중 모달 데이터(예: 이미지-텍스트 쌍, 오디오-텍스트 쌍)로 훈련할 수 있는 동시에 무조건적 공동 생성을 지원합니다.

실험 결과

저자들은 두 가지 벤치마크에서 MUNI를 평가합니다:

PolyMNIST-Quadrant-Labels: 이미지와 레이블 모달리티가 있는 제어된 벤치마크입니다. MUNI는 조건부 생성(단일/다중 레이블에서 이미지로)에서 강력한 베이스라인(MVAE, MMVAE, MoPoE, HELVAE)과 대등하거나 이를 능가하며, 무조건적 일관성에서 가장 큰 격차를 달성하여, 모달리티 전반에 걸쳐 일관된 숫자 정체성과 사분면 위치를 생성하는 데 있어 베이스라인을 크게 압도했습니다.
대규모 이미지-텍스트-오디오 벤치마크: 쌍으로 된 데이터셋(LAION-COCO, AudioCaps, VGGSound)을 사용하여 완전히 관찰된 삼중항 없이 수행되었습니다.
- 조건부 생성: MUNI는 많은 대 일(many-to-one) 정렬 작업에서 일반론적 베이스라인(CoDi, OmniFlow, FlowBind) 중 최고 수준의 성능을 달的是. 특히, 오디오-이미지 유사도(AIS)를 차순위 일반론적 모델보다 최대 +7.14 개선했습니다.
- 무조건적 공동 생성: MUNI는 무조건적 일관성에서 상당한 이득을 보여줍니다. 직접적으로 비교 가능한 유일한 일반론적 모델인 OmniFlow와 비교했을 때, MUNI는 CLIP(Text-Image)에서 +5.57, CLAP(Text-Audio)에서 +10.60, AIS(Audio-Image)에서 +31.85의 점수 향상을 달성했습니다.

의의 및 주장

본 논문은 일관된 any-to-any 생성이 모달리티 증거가 어떻게 집계되는지뿐만 아니라, 공유 잠재 변수가 어떤 정보를 담도록 훈련되는지에 달려 있다고 주장합니다.

라우티드 목적 함수를 통해 일관성, 예측성, 최소성을 명시적으로 강제함으로써, MUNI는 대규모의 실질적인 이미지-텍스트-오디오 생성을 위한 확률적 다중 모달 변분 추론 관점을 성공적으로 확장했습니다. 결과는 이 프레임워크가 경쟁력 있는 조건부 생성 능력을 유지하면서도, 기존의 확산 및 VAE 기반 베이스라인들이 종종 실패하는 작업인 무조건적 일관성을 실질적으로 개선할 수 있음을 입증합니다. 이 연구는 다중 모달 변분 추론 관점이 표현력이 풍부한 생성 구성 요소 및 학습된 사전 분포와 결합될 때, 텍스트를 매개체로 하지 않고도 통합된 다중 모달 생성을 향한 실행 가능한 경로임을 시사합니다.