Controlla: Learning Controllability via Graph-Constrained Latent Geometry

기술 요약: 그래프 제약 잠재 기하학을 통한 제어 가능성 학습

문제 제기
현재의 제어 가능한 다중 모달 생성, 특히 확산 모델과 확산 트랜스포머에서 제어 가능성은 주로 추론 시 조건부 문제로서 공식화됩니다. 프롬프트, 가이드, 또는 보조 모듈 (예: ControlNet, DreamBooth) 을 활용하는 방법들은 사실적인 출력을 생성할 수 있지만, 종종 의미적 속성이 어떻게 진화하는지를 구조화하는 명시적 메커니즘이 부족합니다. 이로 인해 세 가지 주요 실패 모드가 발생합니다:

1. 정체성 이탈 (Identity Drift): 의미적 편집 중 대상의 정체성에 대한 의도하지 않은 변화.
2. 불일치하는 교차 모달 행동: 텍스트, 오디오, 시각적 출력 간의 불일치.
3. 의미적 이탈 (Semantic Drift): 속성 탐색 중 예측 불가능하거나 불안정한 중간 상태.

기존 접근법들은 제어 가능성을 잠재 공간 자체의 속성이 아니라 암시적 잠재 공간에 부과되는 외부 제약으로 취급합니다. 결과적으로 의미적 변화는 종종 구조화된 표현에서 도출되기보다 휴리스틱하게 부과됩니다.

방법론: Controlla
저자들은 Controlla를 제안합니다. 이는 제어 가능성을 구조화된 잠재 기하학의 속성으로 재정의하는 모듈식 분해 제어 프레임워크입니다. 오직 추론 시 조건부 설정에만 의존하는 대신, Controlla 는 참조 기반 정체성을 보존하면서 의미적 속성이 그래프 일관성 궤적을 따라 진화하는 그래프 구조 잠재 공간을 학습합니다.

이 프레임워크는 다음과 같은 구성 요소를 통해 작동합니다:

1. 다중 모달 분해: 입력 (목표 이미지, 참조 이미지, 텍스트, 오디오) 이 주어지면 공유 표현 $z$가 학습되어 두 가지 구별된 구성 요소로 분해됩니다:

   • 속성 인자 ($z_{attr}$): 의미적 변이 (예: 감정) 를 포착합니다.
   • 정체성 인자 ($z_{id}$): 참조 이미지로부터의 참조 기반 정체성을 인코딩합니다.
   • 분리는 직교성 제약 ($L_\perp$) 과 Lipschitz 정규화 ($L_L$) 를 통해 강제되어 매끄러운 변환을 보장합니다.

2. 그래프 사전 지식: 두 개의 오프라인 구축된 그래프가 관계 구조를 정의합니다:

   • 감정 그래프 ($G_e$): 통합된 가치 - 각성 공간에서 정서적 상태 간의 의미적 관계를 포착합니다.
   • 정체성 그래프 ($G_i$): 참조 정체성 간의 관계를 인코딩하여 조밀한 내부 정체성 구조를 장려합니다.

3. 그래프 제약 최적 수송 (Graph-OT): 핵심 정렬 메커니즘은 최적 수송을 사용하여 학습된 잠재 인자들을 그래프 사전 지식과 정렬합니다:

   • 퓨즈드 그로모프 - 워터스타인 (FGW): 속성 공간을 감정 그래프와 정렬하여 잠재 속성 임베딩 간의 상대적 거리가 $G_e$의 의미적 거리와 일치하도록 보장합니다.
   • 그로모프 - 워터스타인 (GW): 일관된 관계 구조를 유지하고 정체성 이탈을 방지하기 위해 정체성 공간을 정체성 그래프 $G_i$와 정렬합니다.

4. 제어 메커니즘: 생성 동안 정체성 인자 $z_{id}$는 고정된 채로 유지되는 반면, 속성 인자 $z_{attr}$은 감정 그래프와 일관된 경로를 따라 탐색됩니다. 이는 외부 휴리스틱 조건부 설정 없이 구조화되고 예측 가능한 의미적 변화를 유도합니다.

주요 기여

1. 공식화 전환: 이 논문은 제어 가능성을 추론 시 조건부 설정 단독이 아닌 그래프 일관성 잠재 변환에 의해 장려되는 공식화를 제안합니다.
2. Controlla 프레임워크: 다중 모달 분해 인코더, 그래프-OT 정렬 모듈, 그리고 분해된 생성기 조건부 어댑터로 구성된 모듈식 아키텍처.
3. AffectHuman-43K 벤치마크: 참조 기반 정서적 제어를 위해 설계된 새로운 누출 인식 다중 모달 벤치마크 구축. 자연적으로 동시 녹음된 데이터셋과 달리, 이는 시각적 정체성 (참조 이미지로 지정됨) 을 정서적 제어 신호 (텍스트 및 오디오) 에서 명시적으로 분리합니다. 이는 0% 의 교차 분할 참조 정체성 누출을 가진 정체성 불교합 분할을 특징으로 합니다.
4. 기하학 인식 지표: 단순한 종점 정확도를 넘어 궤적 일관성 (측지선 일관성), 잠재 분리 (잠재 분리 점수), 그리고 궤적 매끄러움을 평가하기 위한 지표 도입.

결과
AffectHuman-43K 및 교차 데이터셋 평가 (AffectNet, CelebA-HQ) 에 대한 실험은 Controlla 가 StyleCLIP, ControlNet++, ICEdit, FLUX.1 Kontext, DreamBooth 하이브리드를 포함한 강력한 기준선보다 일관된 개선을 달성함을 보여줍니다.

• 성능: Controlla 는 감정 정확도 (Acc), 궤적 매끄러움 (TS), 그리고 인간 선호도 (H) 에서 우수한 성능을 보입니다.
• 기하학: 이 방법은 더 높은 잠재 분리 (LDS) 와 더 낮은 측지선 불일치 (GC) 를 달성하여 학습된 탐색이 의도된 그래프 구조를 따르는 것을 확인시켜 줍니다.
• 정체성 보존: 이 프레임워크는 큰 의미적 변환 하에서도 경쟁력 있거나 우수한 정체성 유사성 (ID-Sim) 및 검증 AUC 를 유지합니다.
• 결손 연구: 그래프 제약 또는 다중 모달 기반을 제거하면 제어 가능성과 정체성 일관성이 크게 저하되어, 성취가 추가적인 조건부 설정 단독이 아닌 구조화된 잠재 기하학에서 비롯됨을 검증합니다.

의의 및 주장
이 논문은 휴리스틱, 프롬프트 기반 제어에서 기하학 주도 표현 학습으로의 전환을 주장합니다. 제어 가능성을 전역 잠재 기하학의 속성으로 모델링함으로써 Controlla 는 그래프 일관성 궤적을 따라 매끄럽고 정체성을 보존하는 변환을 가능하게 합니다. 저자들은 그들의 접근 방식이 잠재 공간을 명시적으로 구조화함으로써 현재 다중 모달 편집의 근본적인 과소 제약 성격을 해결한다고 주장합니다.

이 작업은 조건부, 표현 수준의 정당성으로 제시됩니다: 그래프 정렬, 정체성 안정성, 인자 분리, 그리고 지역적 매끄러움이 최적화되면 의미적 탐색은 유계된 출력 변이를 생성합니다. 이 논문은 모든 생성적 과제를 해결하거나 전역 최적성을 보장한다고 주장하지는 않지만, 잠재 방향에 그래프 구조를 부과함으로써 제어 가능성, 정체성 보존, 그리고 교차 모달 정렬을 측정 가능하고 재현 가능한 방식으로 개선함을 보여줍니다. 향후 작업은 이 프레임워크를 비디오와 더 넓은 그래프 정의 제어 인자로 확장하는 것으로 언급됩니다.