Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning

이 논문은 대규모 멀티모달 데이터의 복잡성을 포착하기 위해 DAG 를 넘어선 잠재적 부분 인과 모델을 제안하고, 통계적 식별성을 통해 멀티모달 대비 학습 (MMCL) 이 잠재 변수를 학습한다는 이론적 근거를 제시하여 CLIP 과 같은 사전 훈련 모델의 표현 분리 및 도메인 일반화 능력을 입증합니다.

핵심

1. 문제: "하나의 지도로는 세상을 다 그릴 수 없다" (DAG 의 한계)

기존의 AI 연구자들은 세상을 이해할 때 **'방향성 있는 화살표 (DAG, 유방향 비순환 그래프)'**라는 지도를 사용했습니다.

• 비유: "원인 (A) → 결과 (B)"라는 단순한 인과 관계를 그리는 지도입니다. 예를 들어, "비가 온다 (A) → 땅이 젖는다 (B)"처럼요.

하지만 현실의 데이터, 특히 **이미지와 텍스트가 짝을 이룬 데이터 (예: 사진과 설명글)**는 훨씬 복잡합니다.

• 상황: 어떤 사진은 "글을 보고 그림을 그리는 (Text-to-Image)" 방식으로 만들어졌고, 어떤 사진은 "그림을 보고 글을 쓴 (Image-to-Text)" 방식으로 만들어졌습니다.
• 문제: 이 두 가지 과정은 화살표 방향이 정반대입니다. 기존의 '하나의 지도 (DAG)'로는 이 서로 다른 방향의 흐름을 한 번에 설명하기 어렵습니다. 마치 북쪽을 가리키는 나침반과 남쪽을 가리키는 나침반을 하나로 합치려다 방향을 잃는 것과 같습니다.

2. 해결책: "서로 손을 맞잡은 쌍둥이" (잠재적 부분 인과 모델)

저자들은 이 문제를 해결하기 위해 **'잠재적 부분 인과 모델 (Latent Partial Causal Model)'**이라는 새로운 개념을 제안합니다.

• 핵심 아이디어: 이미지와 텍스트는 각각 고유한 특징 (mx, mt) 을 가지고 있지만, 그 이면에는 **서로 손을 맞잡고 있는 '쌍둥이' 같은 공통된 의미 (zx, zt)**가 숨어 있습니다.
• 비유:
  • **이미지 (x)**와 **텍스트 (t)**는 겉모습이 다른 두 사람입니다.
  • **공통된 의미 (zx, zt)**는 두 사람이 공유하는 '마음'이나 '생각'입니다.
  • 기존 모델은 이 마음들이 어떻게 만들어졌는지 화살표로 설명하려 했지만, 저자들은 **"이 두 마음은 서로 연결되어 있다 (Undirected Edge)"**고 봅니다. 방향이 정해져 있지 않아도, 서로가 서로를 이해하고 있다는 사실만으로도 충분하다는 것입니다.

3. 왜 CLIP 같은 AI 는 잘 작동할까? (이론적 증명)

우리가 이미 알고 있는 CLIP 같은 AI 는 수많은 이미지와 텍스트 쌍을 비교하며 학습합니다 (대조 학습, Contrastive Learning).

• 기존 의문: "왜 이렇게 단순하게 '비슷한 것끼리 붙이고 다른 것은 떼어놓는' 학습을 시키면, AI 가 세상을 잘 이해하게 될까?"
• 이 논문의 발견: 저자들은 수학적으로 증명했습니다. **"CLIP 이 학습한 결과물은, 사실 우리가 찾고 있던 그 '숨겨진 마음 (잠재 변수)'과 거의 똑같다"**는 것입니다.
  • 비유: AI 가 학습한 결과물은 마치 '혼합된 주스'처럼 보이지만, 실제로는 '과일 (공통 의미)'과 '물 (노이즈)'이 섞여 있을 뿐입니다. 이 논리는 "CLIP 이 학습을 잘하면, 그 주스에서 진짜 과일만 골라낼 수 있다"는 것을 수학적으로 보장해 줍니다.

4. 실전: "혼합된 주스에서 과일만 골라내다" (분리, Disentanglement)

이론이 증명되었으니, 이제 실전에 적용해 봅니다. AI 가 배운 '혼합된 주스'에서 진짜 의미 (과일) 만 따로 분리해 내는 것입니다.

• 방법: FastICA라는 도구를 사용합니다.
  • 비유: 여러 가지 향이 섞인 향수를 만들어낸 뒤, 그 향수에서 '장미 향', '바다 향'처럼 각 향기를 따로 분리해 내는 작업입니다.
• 효과: 이렇게 분리된 '순수한 의미'를 사용하면 AI 는 훨씬 똑똑해집니다.
  • 소량 학습 (Few-shot Learning): 아주 적은 예시만 보여줘도 새로운 것을 잘 알아봅니다. (과일만 골라냈으니, 새로운 과일이 와도 '이건 사과구나'라고 바로 알 수 있습니다.)
  • 범용성 (Domain Generalization): 훈련된 환경과 다른 곳 (예: 그림에서 실사 사진으로) 으로 가도 잘 작동합니다.

5. 실험 결과: "이론이 현실이 되다"

저자들은 이 이론이 단순히 책상 위의 수학이 아니라, 실제 CLIP 모델에서도 통한다는 것을 증명했습니다.

• 얼굴 데이터 (CelebA): AI 가 학습한 데이터에서 '미소', '안경', '머리색' 같은 속성들을 서로 섞이지 않게 분리해 내는 데 성공했습니다.
• 이미지 인식 (ImageNet): 아주 적은 데이터로 학습했을 때, 기존 방법보다 훨씬 높은 정확도를 보여주었습니다.

요약: 이 논문이 우리에게 주는 메시지

1. 세상은 단순한 화살표가 아니다: 이미지와 텍스트는 서로 다른 방향에서 만들어질 수 있으므로, 고정된 인과 관계 (DAG) 로만 보면 안 된다.
2. AI 는 이미 알고 있다: 우리가 만든 AI (CLIP) 는 이미 이 복잡한 관계를 잘 파악하고 있으며, 그 안에 '진짜 의미'가 숨겨져 있다.
3. 분리하면 더 똑똑해진다: 이 숨겨진 의미들을 '분리 (Disentanglement)'해 내기만 하면, AI 는 적은 데이터로도 더 잘 배우고, 다양한 상황에 더 잘 적응할 수 있다.

한 줄 평: "이 논문은 AI 가 세상을 이해하는 방식이 생각보다 훨씬 유연하며, 우리가 그 '숨겨진 의미'를 잘만 꺼내면 AI 를 훨씬 더 똑똑하고 유연하게 만들 수 있음을 증명했습니다."

기술 요약

논문 요약: BEYOND DAGs: A LATENT PARTIAL CAUSAL MODEL FOR MULTIMODAL LEARNING (ICLR 2026)

이 논문은 대규모 멀티모달 데이터 (이미지 - 텍스트 쌍 등) 의 생성 과정을 설명하는 기존 Directed Acyclic Graph(DAG) 기반의 가설의 한계를 지적하고, 이를 극복하기 위한 새로운 **잠재적 부분 인과 모델 (Latent Partial Causal Model)**을 제안합니다. 또한, 이 모델을 기반으로 **멀티모달 대비 학습 (MMCL, MultiModal Contrastive Learning)**이 왜 작동하는지에 대한 이론적 근거를 제시하고, 사전 훈련된 모델 (예: CLIP) 이 가진 분리된 표현 (Disentangled Representations) 학습 능력을 실증적으로 입증합니다.

---

1. 문제 제기 (Problem)

• 기존 DAG 가설의 한계: 기존 인과 모델링 연구들은 잠재 변수들이 단일 DAG(방향성 비순환 그래프) 구조를 따른다고 가정합니다. 그러나 실제 대규모 멀티모달 데이터는 이질적인 생성 과정 (Heterogeneous Generative Processes) 에서 비롯됩니다.
  • 예시: 텍스트에서 이미지를 생성하는 과정 (Text-to-Image) 과 이미지에서 텍스트를 생성하는 과정 (Image-to-Text) 은 서로 반대되는 인과 방향을 가질 수 있습니다.
  • 이러한 상반되거나 복잡한 인과 구조를 단일 DAG 로 설명하는 것은 제한적이며, 실제 CLIP 과 같은 대규모 모델의 성공을 설명하는 데 부족합니다.
• 이론과 실전의 괴리: 기존 식별성 (Identifiability) 분석 연구들은 주로 DAG 가정을 기반으로 하며, 대부분 시뮬레이션 실험에 그쳐 실제 대규모 사전 훈련 모델 (Pre-trained Models) 에 적용하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 DAG 대신 **잠재적 부분 인과 모델 (Latent Partial Causal Model)**을 제안합니다.

• 모델 구조:
  • 잠재 결합 변수 (Latent Coupled Variables, $z_x, z_t$): 이미지와 텍스트의 공유된 의미적 요인 (예: 객체 카테고리, 주제) 을 나타냅니다. 이 두 변수는 **방향성이 없는 엣지 (Undirected Edge)**로 연결되어 있어, 모달리티 간 지식 전이 (Knowledge Transfer) 를 표현합니다.
  • 모달리티별 변수 (Modality-specific Variables, $m_x, m_t$): 이미지 특유의 배경 노이즈나 텍스트 특유의 문법 구조 등 각 모달리티만의 고유한 요인을 나타냅니다.
  • 관측 데이터 생성: 이미지 $x$는 $g_x(m_x, z_x)$로, 텍스트 $t$는 $g_t(m_t, z_t)$로 생성됩니다.
• 이론적 분석 (식별성 증명):
  • MMCL 의 손실 함수 (Contrastive Loss) 가 무한한 샘플 수로 수렴할 때, 학습된 표현이 잠재 결합 변수와 어떻게 연결되는지 분석합니다.
  • 초구면 (Hypersphere) 가정: CLIP 과 같이 L2 정규화를 사용하는 경우, 학습된 표현은 잠재 변수와 선형 변환 (Orthogonal Transformation) 관계에 있음을 증명합니다 (Corollary 1).
  • 볼록 집합 (Convex Body) 가정: 학습된 표현은 잠재 변수와 순열 및 스케일링 변환 (Permutation and Scaling) 관계에 있음을 증명합니다 (Corollary 2).
• 분리 (Disentanglement) 전략:
  • 이론적 결과에 따라, MMCL 로 학습된 표현에서 FastICA (초구면 가정) 나 PCA + FastICA (볼록 집합 가정) 를 적용하여 잠재 변수를 분리 (Unmixing) 할 수 있음을 제안합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 생성 모델 제안: DAG 가정을 버리고, 방향성 없는 엣지로 연결된 잠재 결합 변수를 도입하여 이질적인 멀티모달 데이터 생성 과정을 더 유연하게 모델링합니다.
2. MMCL 의 식별성 보장 (Identifiability Guarantee): 특정 통계적 가정 하에서 MMCL 이 학습한 표현이 실제 잠재 결합 변수를 단순 변환 (선형 또는 순열) 까지 복원할 수 있음을 이론적으로 증명합니다. 이는 MMCL 의 성공에 대한 인과적 근거를 제공합니다.
3. 분리된 표현 학습 가능성 제시: MMCL 이 본질적으로 분리된 표현 (Disentangled Representations) 을 학습할 수 있음을 이론적으로 밝히고, 이를 실제 CLIP 모델에 적용하는 방법을 제시합니다. 이는 기존 연구에서 다루지 않았던 **구성 요소별 분리 (Component-wise Disentanglement)**에 대한 최초의 보장입니다.
4. 광범위한 실증 실험:
   • 시뮬레이션: 이론적 가정이 부분적으로 위반되더라도 결과가 견고함을 확인.
   • 실제 데이터 (CelebA, ImageNet 등): 사전 훈련된 CLIP 모델에 FastICA 를 적용하여 얼굴 속성 (미소, 안경 등) 을 분리해내고, Few-shot 학습 및 도메인 일반화 성능을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

• 식별성 검증 (Synthetic Experiments):
  • 초구면과 볼록 집합 공간에서 학습된 표현과 실제 잠재 변수 간의 상관관계 ($R^2$, MCC) 가 매우 높게 나타났습니다.
  • 이론적 가정 (분포, 공간 형태 등) 이 완벽하게 충족되지 않아도 모델이 견고하게 작동함을 확인했습니다.
• CelebA 데이터 (분리된 표현):
  • CLIP 표현에 FastICA 를 적용하여 16 가지 얼굴 속성 (미소, 안경, 성별 등) 을 성공적으로 분리해냈습니다.
  • 분리된 잠재 공간에서의 탐색 (Traversals) 을 통해 각 속성이 독립적으로 제어됨을 시각적으로 입증했습니다.
• Few-shot 학습 및 도메인 일반화 (ImageNet 등):
  • Few-shot 학습: CLIP 의 표현에 FastICA 를 적용한 후 선형 분류기를 학습시켰을 때, 기존 Tip-Adapter 등 기존 방법보다 11 개 데이터셋에서 평균적으로 더 높은 정확도를 달성했습니다.
  • 도메인 일반화: ImageNet-V2, Sketch, R, A 등 다양한 도메인에서 일반화 성능이 크게 향상되었습니다. 이는 분리된 표현이 도메인 불변 특징을 잘 포착함을 의미합니다.

5. 의의 및 결론 (Significance)

• 이론적 확장: 기존 DAG 기반 인과 모델링의 한계를 넘어, 방향성 없는 결합 변수를 통한 멀티모달 학습의 새로운 이론적 틀을 제시했습니다.
• 실용적 가치: 단순히 "왜 CLIP 이 잘 작동하는가"에 대한 설명을 넘어, CLIP 과 같은 사전 훈련 모델을 어떻게 활용하면 더 강력한 분리된 표현을 얻을 수 있는지에 대한 구체적인 방법론 (FastICA 등) 을 제시했습니다.
• 미래 전망: 이 연구는 분리된 표현 학습을 통해 Few-shot 학습, 도메인 일반화, 그리고 생성 모델 (Diffusion 등) 의 제어 가능성 등을 향상시키는 새로운 연구 방향을 제시합니다.

요약하자면, 이 논문은 DAG 가정을 탈피한 새로운 인과 모델을 통해 MMCL 의 성공 원리를 이론적으로 규명하고, 이를 통해 실제 대규모 멀티모달 모델에서 분리된 표현을 추출하여 다양한 다운스트림 태스크의 성능을 극대화하는 방법을 제시한 획기적인 연구입니다.