Controlla: Learning Controllability via Graph-Constrained Latent Geometry

Resumo Técnico: Aprendizado de Controlabilidade via Geometria Latente Constrainda por Grafos

Declaração do Problema
A geração multimodal controlável atual, particularmente em modelos de difusão e transformadores de difusão, é predominantemente formulada como um problema de condicionamento no momento da inferência. Embora métodos que utilizam prompts, orientação ou módulos auxiliares (por exemplo, ControlNet, DreamBooth) possam gerar saídas realistas, eles frequentemente carecem de um mecanismo explícito para estruturar como os atributos semânticos evoluem. Isso leva a três modos de falha primários:

1. Deriva de Identidade: Mudanças não intencionais na identidade do sujeito durante edições semânticas.
2. Comportamento Cruzado Multimodal Inconsistente: Desalinhamento entre saídas de texto, áudio e visual.
3. Deriva Semântica: Estados intermediários imprevisíveis ou instáveis durante a travessia de atributos.

Abordagens existentes tratam a controlabilidade como uma restrição externa imposta a espaços latentes implícitos, em vez de uma propriedade da própria geometria latente. Consequentemente, mudanças semânticas são frequentemente impostas heuristicamente em vez de emergirem de representações estruturadas.

Metodologia: Controlla
Os autores propõem o Controlla, um framework modular de controle fatorizado que redefine a controlabilidade como uma propriedade da geometria latente estruturada. Em vez de depender exclusivamente do condicionamento no momento da inferência, o Controlla aprende um espaço latente estruturado por grafos onde os atributos semânticos evoluem ao longo de trajetórias consistentes com o grafo, preservando a identidade fundamentada em referência.

O framework opera através dos seguintes componentes:

1. Fatoração Multimodal: Dadas as entradas (imagem alvo, imagem de referência, texto, áudio), uma representação compartilhada $z$ é aprendida e fatorizada em dois componentes distintos:

   • Fator de Atributo ($z_{attr}$): Captura variações semânticas (por exemplo, emoção).
   • Fator de Identidade ($z_{id}$): Codifica a identidade fundamentada em referência a partir da imagem de referência.
   • O desentrelaçamento é imposto via restrições de ortogonalidade ($L_\perp$) e regularização de Lipschitz ($L_L$) para garantir transformações suaves.

2. Priors de Grafo: Dois grafos construídos offline definem a estrutura relacional:

   • Grafo de Emoção ($G_e$): Captura relações semânticas entre estados afetivos em um espaço unificado de valência–ativação.
   • Grafo de Identidade ($G_i$): Codifica relações entre identidades de referência para incentivar uma estrutura intra-identidade compacta.

3. Transporte Ótimo Constraindo por Grafo (Graph-OT): O mecanismo central de alinhamento utiliza Transporte Ótimo para alinhar os fatores latentes aprendidos com os priors de grafo:

   • Gromov–Wasserstein Fundido (FGW): Alinha o espaço de atributos com o grafo de emoção, garantindo que as distâncias relativas entre incorporações latentes de atributos correspondam às distâncias semânticas em $G_e$.
   • Gromov–Wasserstein (GW): Alinha o espaço de identidade com o grafo de identidade $G_i$ para manter uma estrutura relacional consistente e prevenir a deriva de identidade.

4. Mecanismo de Controle: Durante a geração, o fator de identidade $z_{id}$ é mantido fixo, enquanto o fator de atributo $z_{attr}$ é percorrido ao longo de caminhos consistentes com o grafo de emoção. Isso induz mudanças semânticas estruturadas e previsíveis sem condicionamento heurístico externo.

Contribuições Principais

1. Mudança de Formulação: O artigo propõe uma formulação onde a controlabilidade é incentivada por transformações latentes consistentes com o grafo, em vez de apenas condicionamento no momento da inferência.
2. Framework Controlla: Uma arquitetura modular composta por um codificador de fatoração multimodal, um módulo de alinhamento Graph-OT e adaptadores de condicionamento do gerador fatorizado.
3. Benchmark AffectHuman-43K: A construção de um novo benchmark multimodal consciente de vazamento, projetado para controle afetivo fundamentado em referência. Diferentemente de conjuntos de dados co-gravados naturalmente, ele desacopla explicitamente a identidade visual (especificada por uma imagem de referência) dos sinais de controle afetivo (texto e áudio). Apresenta divisões disjuntas de identidade com 0% de vazamento de identidade de referência entre divisões.
4. Métricas Conscientes de Geometria: Introdução de métricas para avaliar consistência de trajetória (Consistência Geodésica), desentrelaçamento latente (Pontuação de Desentrelaçamento Latente) e suavidade de trajetória, indo além da simples precisão de ponto final.

Resultados
Experimentos no AffectHuman-43K e avaliações entre conjuntos de dados (AffectNet, CelebA-HQ) demonstram que o Controlla alcança melhorias consistentes sobre bases fortes, incluindo StyleCLIP, ControlNet++, ICEdit, FLUX.1 Kontext e híbridos DreamBooth.

• Desempenho: O Controlla mostra desempenho superior em precisão de emoção (Acc), suavidade de trajetória (TS) e preferência humana (H).
• Geometria: O método alcança maior desentrelaçamento latente (LDS) e menor inconsistência geodésica (GC), confirmando que a travessia aprendida segue a estrutura de grafo pretendida.
• Preservação de Identidade: O framework mantém similaridade de identidade (ID-Sim) e AUC de verificação competitivas ou superiores, mesmo sob grandes transformações semânticas.
• Estudos de Ablação: A remoção de restrições de grafo ou fundamentação multimodal leva a degradação significativa na controlabilidade e consistência de identidade, validando que os ganhos provêm da geometria latente estruturada em vez de apenas condicionamento adicional.

Significado e Alegações
O artigo alega uma mudança do controle heurístico, impulsionado por prompts, para aprendizado de representação impulsionado por geometria. Ao modelar a controlabilidade como uma propriedade da geometria latente global, o Controlla permite transformações suaves e que preservam a identidade ao longo de trajetórias consistentes com o grafo. Os autores afirmam que sua abordagem aborda a natureza fundamentalmente subconstrita da edição multimodal atual ao estruturar explicitamente o espaço latente.

O trabalho é apresentado como uma justificação condicional ao nível de representação: se o alinhamento de grafo, a estabilidade de identidade, a separação de fatores e a suavidade local forem otimizados, a travessia semântica produz variação de saída limitada. O artigo não alega resolver todos os desafios generativos ou garantir optimalidade global, mas demonstra que impor estrutura de grafo em direções latentes melhora a controlabilidade, a preservação de identidade e o alinhamento cruzado multimodal de maneira mensurável e reproduzível. Trabalhos futuros são notados como potencialmente estendendo este framework para vídeo e fatores de controle definidos por grafos mais amplos.