🤖 AI

Leveraging Foundation Models for Causal Generative Modeling

원저자: Aneesh Komanduri, Xintao Wu

게시일 2026-05-25

📖 4 분 읽기☕ 가벼운 읽기

원저자: Aneesh Komanduri, Xintao Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 픽셀을 단순히 변경하는 것이 아니라 사진 뒤의 이야기를 이해하는 마법 같은 사진 편집기를 상상해 보세요. 이것이 바로 이 논문이 소개하는 것입니다: FM-CGM(Foundation Model Powered Causal Generative Modeling, 기반 모델 기반 인과 생성 모델링)이라는 새로운 시스템입니다.

일상적인 비유를 사용하여 작동 방식을 간단히 설명해 드리겠습니다.

문제: 나쁜 편집의 "도미노 효과"

보통 AI 를 사용하여 사진을 편집할 때 (예: 남성을 여성으로 변경) AI 는 혼란을 겪을 수 있습니다. 성별만 변경하고 싶었는데도 머리카락 색, 배경, 또는 조명이 변경될 수 있습니다. 마치 축구 팀의 선수를 교체하려는데 AI 가 실수로 날씨, 경기장, 그리고 심판의 유니폼까지 변경해 버리는 것과 같습니다.

저자들은 현재의 AI 도구가 그림을 그리는 데는 뛰어나지만 인과 관계를 이해하는 데는 서툴다고 말합니다. 그들은 "성별을 변경하는 것"이 "수염이 사라지는 것"을 유발한다는 것은 알지만, "하늘이 파랗게 변하는 것"을 유발해서는 안 된다는 것을 모릅니다.

해결책: 세 명의 팀원

저자들은 이를 해결하기 위해 세 명의 팀원처럼 작동하는 시스템을 구축했습니다. 그들은 강력한 사전 훈련된 AI 모델 (기반 모델) 을 작업자로 활용합니다.

1. 탐정 (개념 추출기)

하는 일: 편집하기 전에 이 AI 는 사진을 보고 ("남자", "수염", "미소"와 같은) "개념" 목록을 작성하고, 그것들이 어떻게 연결되어 있는지 보여주는 지도를 그립니다.
비유: 탐정이 범죄 현장에 들어가는 상황을 상상해 보세요. 단순히 어지러운 방을 보는 대신, 그들은 다음과 같이 기록합니다: "깨진 창문 (원인) 이 바닥에 떨어진 빗물 (결과) 로 이어졌다." 그들은 현장의 논리를 보여주는 흐름도를 작성합니다.
논문에서: 이는 이미지를 보고 "인과 그래프"(무엇이 무엇을 유발하는지에 대한 지도) 를 출력하는 대규모 비전 - 언어 모델 (Qwen3-VL 등) 입니다.

2. 감독 (개념 조작자)

하는 일: 당신은 감독에게 "성별을 남성에서 여성으로 변경해 주세요"라고 말합니다. 감독은 탐정이 그린 지도를 보고 결정합니다: "좋습니다, 성별을 변경한다면 수염은 사라져야 하지만 배경은 그대로 유지되어야 합니다."
비유: 영화 감독을 생각해 보세요. 배우가 의상을 바꾸면 감독은 조명에 약간 조정을 하라고 지시하지만, 촬영 감독에게는 "세트는 움직이지 마세요!"라고 말합니다. 그들은 정확히 무엇을 변경해야 하고 무엇을 고정해야 할지 계획합니다.
논문에서: 이는 동일한 AI 모델로, 이제 지도를 기반으로 한 변수 변경이 다른 변수에 어떻게 영향을 미치는지 예측하는 논리 엔진으로 작동합니다.

3. 화가 (반사실 생성기)

하는 일: 이 AI 는 감독의 계획을 받아 실제로 새로운 그림을 그립니다.
비유: 이는 마침내 페인트를 바르는 예술가입니다. 하지만 추측하는 일반 예술가와 달리, 이 예술가는 감독이 가리킨 캔버스의 특정 부분만 건드리는 특별한 "마법 붓"을 가지고 있습니다.
논문에서: 이는 최종 이미지를 생성하는 텍스트 - 이미지 모델 (Stable Diffusion XL) 입니다.

비밀 재료: "인과적 의미 안내" (CSG)

논문은 **인과적 의미 안내 **(Causal Semantic Guidance, CSG)라는 특별한 기법을 소개합니다. 이것이 가장 중요한 부분입니다.

작동 방식: 화가 (이미지 생성기) 가 작업할 때 "스포트라이트" 시스템을 사용합니다.
- 감독이 "수염을 제거하세요"라고 말하면, 스포트라이트는 수염 영역을 밝게 비춰서 지웁니다.
- 감독이 "비가 오기 때문에 머리카락이 젖어야 합니다"라고 말하면, 스포트라이트는 머리카락을 젖게 만들기 위해 비춥니다.
- 중요하게도: 스포트라이트는 그 외 모든 곳을 어둡게 만듭니다. 이는 AI 에게 "배경은 건드리지 마세요, 눈은 건드리지 마세요, 옷은 건드리지 마세요"라고 알려줍니다.
비유: 태블릿에서 단체 사진을 편집한다고 상상해 보세요. 당신은 "대상 선택" 도구를 사용합니다. 변경하려는 사람을 선택하면 도구가 그 사람을 빨간색으로 강조합니다. 나머지는 회색으로 변하고 편집할 수 없게 됩니다. CSG 는 바로 그 도구이지만, "날씨" 개념을 변경하면 자동으로 "우산"과 "젖은 바닥"을 강조하고 "산"은 회색으로 유지하여 안전하게 만드는 똑똑한 기능을 갖추고 있습니다.

발견한 점

저자들은 이 시스템을 얼굴과 날씨 장면이 있는 사진으로 테스트했습니다.

결과: 시스템에게 남성을 여성으로 변경하라고 요청했을 때, 새로운 사진은 자연스러웠고 수염은 사라졌지만 배경과 조명은 정확히 그대로 유지되었습니다.
비교: 기존 방법 (일반적인 "역전" 기법 등) 은 종종 전체 사진을 망쳐서 무작위 주름을 추가하거나 하늘을 변경했습니다. 새로운 시스템 (CSG) 은 "최소적이고 충실한" 편집을 수행하여 요청된 내용만 변경하고 그 이상은 변경하지 않았습니다.

요약

이 논문은 AI 이미지 편집기가 그림을 그리기 전에 "논리적 두뇌"를 갖게 함으로써 더 똑똑하게 만들 수 있는 방법을 제시합니다. 단순히 사진을 어떻게 변경할지 추측하는 대신, 시스템은 먼저 장면의 인과 규칙을 파악한 다음 변경 사항을 계획하고, 올바른 부분만 변경되도록 보장하는 특별한 안내 기법을 사용하여 나머지 부분은 완벽하게 온전하게 유지합니다.

기술 요약: 기초 모델을 활용한 인과적 생성 모델링

문제 제기
인과적 생성 모델링은 신뢰할 수 있는 반사실적 추론이 가능한 AI 시스템을 개발하는 데 필수적입니다. 기존 접근법들은 GAN, VAE, Diffusion 모델과 같은 생성 모델의 훈련에 인과적制約을 직접 통합하지만, 사전 훈련된 기초 모델의 제로샷 (zero-shot) 추론 능력을 활용하기 위한 통합된 프레임워크가 부족한 경우가 많습니다. 현재 방법론들은 재훈련이나 광범위한 도메인별 적응 없이 완전한 엔드투엔드 파이프라인으로 생성 요인을 발견하고, 개입에 대해 추론하며, 반사실적 시나리오를 생성하는 데 어려움을 겪고 있습니다.

방법론: FM-CGM 프레임워크
저자들은 FM-CGM(기초 모델 기반 인과적 생성 모델)을 제안합니다. 이는 세 가지 고유한 구성 요소로 시각적 인과 추론을 형식화하는 모듈식 프레임워크이며, 각 구성 요소는 사전 훈련된 기초 모델로 구현됩니다:

개념 추출기 (Concept Extractor): Qwen3-VL 로 구체적으로 구현된 대규모 추론 비전 - 언어 모델 (VLM) 로, 입력 이미지와 텍스트 설명을 분석하여 고수준 의미 개념 ( $C$ ) 과 그 인과 관계 ( $G$ ) 를 추론합니다. 출력은 의미적 인과 구조 모델 (SCM) 을 나타내는 방향성 비순환 그래프 (DAG) 입니다.
개념 조작기 (Concept Manipulator): 동일한 VLM 을 사용하여 구현되며, 특정 개념 변수에 대한 "do" 개입 (예: $do(\text{gender} = \text{female})$ ) 을 수행합니다. 이 구성 요소는 인과 그래프를 추론하여 후손 개념으로 효과를 전파하면서도 비후손 (불변) 개념을 보존하고, 새로운 개념 상태 집합 ( $C'$ ) 과 이에 상응하는 텍스트 프롬프트를 출력합니다.
반사실 생성기 (Counterfactual Generator): 개입된 개념 상태를 픽셀 공간으로 매핑하는 텍스트 - 이미지 확산 모델 (Stable Diffusion XL) 입니다.

주요 혁신: 인과적 의미 안내 (Causal Semantic Guidance, CSG)
확산 모델을 재훈련하지 않고 의미적 개입을 픽셀 공간 편집으로 변환하기 위해, 저자들은 **인과적 의미 안내 (CSG)**를 도입합니다. 이는 추론 시 작동하는 크로스 어텐션 기반 안내 메커니즘입니다. 이 과정은 페어 (Pearl) 의 추론 - 행동 - 예측 구조를 따릅니다:

추론 (Abduction): 사실적 이미지를 DPM-Solver++ 역변환을 사용하여 노이즈 표현 ( $z_T$ ) 으로 역전환합니다.
행동 및 안내 (Action & Guidance): 시스템은 개입 프롬프트와 후손 개념에 대한 프롬프트 집합을 구성합니다. 조건부 및 비조건부 노이즈 예측 ( $\epsilon_\theta$ ) 간의 차이를 합산하여 안내 항 $\gamma$ 를 계산합니다.
마스크 적용 (Masking): 핵심적으로 CSG 는 개입된 개념과 그 후손과 관련된 영역을 국소화하기 위해 크로스 어텐션 귀속 맵을 활용합니다. 이진 마스크의 교집합을 적용하여:
- 개입된 개념에 대한 편집을 증폭합니다.
- 후손 개념에서 일관된 변화를 장려합니다.
- 비후손 (불변) 개념에 대한 의도하지 않은 변화를 억제합니다.

실험 결과
이 프레임워크는 Stable Diffusion XL 로 생성된 이미지뿐만 아니라 MS-COCO 와 CelebA-HQ 벤치마크 데이터셋에서 평가되었습니다.

정성적 평가: 저자들은 FM-CGM 이 최소적이고 충실한 반사실적 편집을 생성함을 보여줍니다. 예를 들어, 성별을 변경할 때 모델은 수염 및 기타 인과적 후손을 올바르게 변경하는 반면 배경이나 조명과 같은 불변 특징은 보존합니다. 반면, DDIM/DDPM 과 같은 기준 역전환 방법들은 불필요한 변이를 도입하거나 인과적 효과를 전파하지 못합니다.
정량적 평가: 생성된 이미지에 올바른 반사실 개념이 포함되어 있는지 확인하는 VLM 기반 지표인 VLM-Eff와 지각적 유사성/최소성을 측정하는 LPIPS를 사용하여 평가한 결과, CSG 가 기준 방법들보다 우월함을 보여주었습니다. 평균적으로 CSG 는 0.808의 VLM-Eff 점수와 0.1865의 LPIPS 점수를 달성하여, 표준 역전환 기술에 비해 더 높은 개입 정확도와 원본 이미지 구조의 더 나은 보존을 나타냈습니다.

의의 및 주장
이 논문은 FM-CGM 이 새로운 생성 모델을 처음부터 훈련할 필요가 없는 인과적 생성 모델링을 위한 일반적이고 모듈식인 추상화를 제공한다고 주장합니다. 인과 발견 및 개입 계획에 대규모 기초 모델의 추론 능력을 활용하고, 이미지 생성을 위한 특수 안내 메커니즘 (CSG) 과 이를 결합함으로써, 이 접근법은 제로샷 인과 발견, 개입, 그리고 반사실 생성을 가능하게 합니다. 저자들은 이 프레임워크가 고수준 인과 추론과 저수준 이미지 합성 간의 간극을 성공적으로 연결하여, 시각적으로 그럴듯하고 의도된 인과 의미와 정렬된 반사실적 이미지를 생성한다고 주장합니다.