기술 요약: 분해된 분류기 없는 안내 (Factored Classifier-Free Guidance)

문제 제기

반사실적 생성 (Counterfactual generation) 은 인과적 개입 하에서 현실적인 가상의 결과를 시뮬레이션하는 것을 목표로 합니다 (예: "이 환자가 B 대신 A 치료를 받았다면 질병 진행은 어떻게 보였을까?"). DDIM 역전 (inversion) 과 분류기 없는 안내 (CFG) 를 결합한 확산 모델이 이 작업의 최첨단 (state-of-the-art) 기술로 자리 잡았지만, 저자들은 표준 CFG 에 있어 **속성 증폭 (attribute amplification)**이라는 치명적인 한계를 확인했습니다.

표준 CFG 는 전체 조건부 임베딩에 단일한 전역 안내 가중치 ($\omega$) 를 적용합니다. 반사실적 생성에서 이러한 균일한 강화는 개입된 속성뿐만 아니라 인과적 개입 하에서 불변해야 할 속성까지 부수적으로 증폭시킵니다. 이러한 "표적 이탈 (off-target)" 증폭은 의도된 인과 그래프를 위반하고, 인과 경로 외부의 속성을 수정하며, 생성 궤적이 원래 데이터 매니폴드에서 벗어나게 만들어 정체성 보존과 추론된 반사실적 결과의 공리적 건전성을 저하시킵니다.

방법론: 분해된 분류기 없는 안내 (FCFG)

저자들은 기존 확산 모델의 구조를 변경하지 않으면서도 부수적인 속성 증폭을 완화하기 위해 **분해된 분류기 없는 안내 (Factored Classifier-Free Guidance, FCFG)**를 제안합니다. 이는 인과 그래프를 따라 속성별 제어가 가능한 유연하고 모델에 구애받지 않는 추론 시 기술입니다.

1. 속성 분할 조건부 임베딩

이 방법은 조건부 메커니즘에 구조적 변화를 도입합니다. 여러 속성을 단일 벡터에 얽어매는 대신, FCFG 는 **속성 분할 임베더 (attribute-split embedder)**를 사용합니다. 각 의미적 부모 속성 $pa_i$는 전용 다층 퍼셉트론 (MLP) 인 $E_i$를 통해 독립적으로 임베딩됩니다. 최종 조건부 벡터 $c$는 이러한 독립적인 임베딩들을 연결하여 형성됩니다:
$$c = \text{concat}(E_1(pa_1), E_2(pa_2), \dots, E_K(pa_K))$$
이 아키텍처는 임베딩 공간에서 각 속성의 정체성을 보존하여, 추론 시 개별 속성에 대해 선택적으로 널 토큰화 (null-tokenization) 나 변조를 가능하게 합니다.

2. 그룹별 안내 공식화

FCFG 는 의미적 속성을 $M$개의 서로소 그룹으로 분할합니다 (예: 개입된 속성과 그 자손을 포함하는 "영향 받은" 그룹과 변경되지 않을 것으로 예상되는 속성을 포함하는 "불변" 그룹). 잠재 변수 $x_t$가 주어졌을 때 이러한 그룹들이 조건부 독립이라는 가정 하에, 저자들은 다음과 같이 분해된 근사 사후 확률을 유도합니다:
$$p_\omega(x_t | pa) \propto p(x_t) \prod_{m=1}^M p(pa^{(m)} | x_t)^{\omega_m}$$
여기서 $\omega_m$은 그룹 $m$에 대한 고유한 안내 가중치입니다.

안내된 노이즈 예측 $\epsilon_{\text{FCFG}}$는 무조건부 예측에 각 그룹에 대한 가중치 차이를 합산하여 계산됩니다:
$$\epsilon_{\text{FCFG}}(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + \sum_{m=1}^M \omega_m \left( \epsilon_\theta(x_t, t, c^{(m)}) - \epsilon_\theta(x_t, t, \emptyset) \right)$$
여기서 $c^{(m)}$은 그룹 $m$에 속하는 속성만 유지하고 나머지는 널 토큰으로 대체한 마스킹된 임베딩입니다.

3. 반사실적 추론과의 통합

FCFG 는 표준 3 단계 반사실적 추론 파이프라인 (귀납, 행동, 예측) 에 통합됩니다:

• 귀납 (Abduction): 관찰된 이미지와 사실적 속성으로부터 외생 노이즈 $u$를 추정하기 위해 DDIM 역전을 사용합니다.
• 행동 (Action): 반사실적 속성을 생성하기 위해 인과적 개입을 적용합니다.
• 예측 (Prediction): FCFG 가이드 역 DDIM 궤적을 사용합니다. 핵심적으로, 예측 단계는 개입된 속성에 대해서는 $\omega_{\text{aff}}$, 불변 속성에 대해서는 $\omega_{\text{inv}}$와 같은 서로 다른 가중치를 적용하여 생성을 개입 방향으로 유도하면서도 불변 요소를 보존합니다.

이 프레임워크는 해당 스코어 공식에 동일한 그룹별 분해를 적용함으로써 CFG++ 및 **적응형 투영 안내 (Adaptive Projected Guidance, APG)**를 포함한 고급 안내 체계와 호환되도록 설계되었습니다.

주요 기여

1. CFG 로 인한 실패 식별: 저자들은 표준 CFG 의 전역 안내 메커니즘이 속성 증폭의 주요 원인임을 분석하고 입증했습니다. 이는 인과 그래프가 알려져 있더라도 불변 속성에서 부수적인 변화를 초래합니다.
2. FCFG 제안: 저자들은 속성 그룹에 별도의 안내 가중치를 할당하는 간단한 확장인 분해된 분류기 없는 안내 (FCFG) 를 도입했습니다. 이는 모델 아키텍처 변경이나 재학습 없이 생성 과정에 대한 세밀하고 해석 가능한 제어를 가능하게 합니다.
3. 실증적 검증: 자연 이미지 (CelebA-HQ) 및 의료 이미지 (EMBED, MIMIC-CXR) 데이터셋에 대한 광범위한 실험을 통해, FCFG 가 개입 효과를 유지하거나 향상시키면서 표적 이탈 증폭을 현저히 감소시킨다는 것을 입증했습니다.

실험 결과

저자들은 세 가지 데이터셋에 걸쳐 표준 CFG 및 기타 반사실적 생성 방법 (HVAE, HVAE-soft, SA-DCG) 과 FCFG 를 평가했습니다:

• CelebA-HQ: "미소 짓기", "남성", "젊음"과 같은 속성을 대상으로 한 개입에서, 높은 안내 가중치 ($\omega \ge 2.0$) 를 사용한 전역 CFG 는 개입되지 않은 속성 (예: 미소만 대상으로 했을 때 나이 또는 정체성 변경) 에서 상당한 의도치 않은 변화를 초래했습니다. 반면, 불변 속성에는 낮은 가중치 ($\omega_{\text{inv}} \approx 1.0-1.2$) 를, 영향 받은 속성에는 높은 가중치 ($\omega_{\text{aff}} \ge 2.0$) 를 적용한 FCFG 는 불변 속성을 안정적으로 유지하면서 목표 속성 변화를 동등하게 달성했습니다. 이는 가역성에 대한 평균 절대 오차 (MAE) 와 LPIPS 점수를 낮춰 더 나은 정체성 보존을 나타냈습니다.
• EMBED (유방 유방촬영): 유방 밀도에 개입할 때, 전역 CFG 는 원형 피부 마커의 존재를 부수적으로 증폭시켰습니다. FCFG 는 이러한 부수적 이동을 억제하여 개입되지 않은 속성에서 안정적인 성능을 유지했습니다.
• MIMIC-CXR (흉부 X-ray): 질병 소견 ("finding") 에 대한 개입에서 전역 CFG 는 인종 및 성별 속성에서 의도치 않은 변화를 초래했습니다. FCFG 는 변화를 질병 소견으로 성공적으로 국한시켜, 표적 이탈 AUC 변화를 큰 양의 값 (증폭을 나타냄) 에서 거의 0 또는 음의 값으로 감소시켰습니다.

모든 경우에서 FCFG 는 개입 효과와 표적 이탈 증폭 사이의 균형을 개선했습니다. 또한 FCFG 는 CFG++ 및 APG 와의 호환성을 입증하여, 이러한 고급 방법 내재된 속성 증폭 문제도 완화했습니다.

중요성 및 주장

이 논문은 FCFG 가 인과적 추론을 위한 안내 확산 모델의 근본적인 한계를 해결한다고 주장합니다. 의미적 또는 인과적으로 정의된 그룹 간 안내 신호를 분리함으로써, FCFG 는 인과 그래프를 준수하는 공리적으로 더 건전한 (axiomatically sounder) 반사실적 생성과 정체성을 충실히 보존하는 더 가역적인 (more reversible) 생성을 가능하게 합니다.

저자들은 FCFG 가 다음을 요구하지 않는 간단한 추론 시 해결책임을 강조합니다:

• HVAE 변형과 같은 추가 예측자 기반 학습 목표.
• SA-DCG 와 같은 복잡한 확산 - 오토인코더 프레임워크.
• 인과적 발견 (이미 사전에 지정된 인과 그래프 또는 의미적 그룹화에 접근한다고 가정).

이 연구는 표준 CFG 의 "전역적" 성질이 신뢰할 수 있는 반사실적 추론의 병목 현상이며, 인과적 맥락에서 정밀하고 통제된 이미지 편집을 위해 안내 신호를 분해하는 것이 필수적인 단계임을 시사합니다. 저자들은 FCFG 가 구조화된 조건부 변수와 사전 지정된 그룹화에 의존하며, 현재 안내 가중치가 적응적으로가 아닌 경험적으로 선택된다는 한계를 지적합니다.