Controlla: Learning Controllability via Graph-Constrained Latent Geometry

Resumen Técnico: Aprendizaje de Controlabilidad mediante Geometría Latente Restringida por Grafos

Enunciado del Problema
La generación multimodal controlable actual, particularmente en modelos de difusión y transformadores de difusión, se formula predominantemente como un problema de condicionamiento en tiempo de inferencia. Si bien los métodos que utilizan prompts, guías o módulos auxiliares (por ejemplo, ControlNet, DreamBooth) pueden generar resultados realistas, a menudo carecen de un mecanismo explícito para estructurar cómo evolucionan los atributos semánticos. Esto conduce a tres modos de fallo principales:

1. Deriva de Identidad: Cambios no deseados en la identidad del sujeto durante las ediciones semánticas.
2. Comportamiento Cruzado Multimodal Inconsistente: Desalineación entre las salidas de texto, audio y visual.
3. Deriva Semántica: Estados intermedios impredecibles o inestables durante la traversía de atributos.

Los enfoques existentes tratan la controlabilidad como una restricción externa impuesta sobre espacios latentes implícitos en lugar de una propiedad de la propia geometría latente. En consecuencia, los cambios semánticos a menudo se imponen heurísticamente en lugar de emerger de representaciones estructuradas.

Metodología: Controlla
Los autores proponen Controlla, un marco modular de control factorizado que redefine la controlabilidad como una propiedad de la geometría latente estructurada. En lugar de depender exclusivamente del condicionamiento en tiempo de inferencia, Controlla aprende un espacio latente con estructura de grafos donde los atributos semánticos evolucionan a lo largo de trayectorias consistentes con el grafo, preservando la identidad fundamentada en la referencia.

El marco opera a través de los siguientes componentes:

1. Factorización Multimodal: Dadas las entradas (imagen objetivo, imagen de referencia, texto, audio), se aprende una representación compartida $z$ y se factoriza en dos componentes distintos:

   • Factor de Atributo ($z_{attr}$): Captura variaciones semánticas (por ejemplo, emoción).
   • Factor de Identidad ($z_{id}$): Codifica la identidad fundamentada en la referencia a partir de la imagen de referencia.
   • La desentrelazación se impone mediante restricciones de ortogonalidad ($L_\perp$) y regularización de Lipschitz ($L_L$) para garantizar transformaciones suaves.

2. Priors de Grafo: Dos grafos construidos fuera de línea definen la estructura relacional:

   • Grafo de Emoción ($G_e$): Captura las relaciones semánticas entre estados afectivos en un espacio unificado de valencia–activación.
   • Grafo de Identidad ($G_i$): Codifica las relaciones entre identidades de referencia para fomentar una estructura intra-identidad compacta.

3. Transporte Óptimo Restringido por Grafo (Graph-OT): El mecanismo de alineación central utiliza Transporte Óptimo para alinear los factores latentes aprendidos con los priores del grafo:

   • Gromov–Wasserstein Fusionado (FGW): Alinea el espacio de atributos con el grafo de emoción, asegurando que las distancias relativas entre las incrustaciones de atributos latentes coincidan con las distancias semánticas en $G_e$.
   • Gromov–Wasserstein (GW): Alinea el espacio de identidad con el grafo de identidad $G_i$ para mantener una estructura relacional consistente y prevenir la deriva de identidad.

4. Mecanismo de Control: Durante la generación, el factor de identidad $z_{id}$ se mantiene fijo, mientras que el factor de atributo $z_{attr}$ se recorre a lo largo de caminos consistentes con el grafo de emoción. Esto induce cambios semánticos estructurados y predecibles sin condicionamiento heurístico externo.

Contribuciones Clave

1. Cambio de Formulación: El artículo propone una formulación donde la controlabilidad se fomenta mediante transformaciones latentes consistentes con el grafo en lugar de solo el condicionamiento en tiempo de inferencia.
2. Marco Controlla: Una arquitectura modular que comprende un codificador de factorización multimodal, un módulo de alineación Graph-OT y adaptadores de condicionamiento del generador factorizados.
3. Benchmark AffectHuman-43K: La construcción de un nuevo benchmark multimodal consciente de la fuga, diseñado para el control afectivo fundamentado en referencias. A diferencia de los conjuntos de datos co-grabados naturalmente, desacopla explícitamente la identidad visual (especificada por una imagen de referencia) de las señales de control afectivo (texto y audio). Presenta divisiones disjuntas de identidad con 0% de fuga de identidad de referencia entre divisiones cruzadas.
4. Métricas Conscientes de la Geometría: Introducción de métricas para evaluar la consistencia de la trayectoria (Consistencia Geodésica), la desentrelazación latente (Puntuación de Desentrelazación Latente) y la suavidad de la trayectoria, avanzando más allá de la simple precisión del punto final.

Resultados
Los experimentos en AffectHuman-43K y las evaluaciones entre conjuntos de datos (AffectNet, CelebA-HQ) demuestran que Controlla logra mejoras consistentes sobre líneas base sólidas, incluyendo StyleCLIP, ControlNet++, ICEdit, FLUX.1 Kontext e híbridos de DreamBooth.

• Rendimiento: Controlla muestra un rendimiento superior en precisión de emoción (Acc), suavidad de trayectoria (TS) y preferencia humana (H).
• Geometría: El método logra una mayor desentrelazación latente (LDS) y una menor inconsistencia geodésica (GC), confirmando que la traversía aprendida sigue la estructura del grafo pretendida.
• Preservación de Identidad: El marco mantiene una similitud de identidad (ID-Sim) y un AUC de verificación competitivos o superiores, incluso bajo transformaciones semánticas grandes.
• Estudios de Ablación: La eliminación de las restricciones del grafo o del fundamento multimodal conduce a una degradación significativa en la controlabilidad y la consistencia de la identidad, validando que las ganancias provienen de la geometría latente estructurada en lugar de solo del condicionamiento adicional.

Significado y Afirmaciones
El artículo afirma un cambio desde el control heurístico impulsado por prompts hacia el aprendizaje de representaciones impulsado por la geometría. Al modelar la controlabilidad como una propiedad de la geometría latente global, Controlla permite transformaciones suaves y que preservan la identidad a lo largo de trayectorias consistentes con el grafo. Los autores afirman que su enfoque aborda la naturaleza fundamentalmente subconstruida de la edición multimodal actual al estructurar explícitamente el espacio latente.

El trabajo se presenta como una justificación condicional a nivel de representación: si la alineación del grafo, la estabilidad de la identidad, la separación de factores y la suavidad local se optimizan, la traversía semántica produce variación de salida acotada. El artículo no afirma resolver todos los desafíos generativos ni garantizar optimalidad global, sino que demuestra que imponer una estructura de grafo en las direcciones latentes mejora la controlabilidad, la preservación de la identidad y la alineación cruzada multimodal de una manera medible y reproducible. Se señala que el trabajo futuro podría extender este marco a video y a factores de control definidos por grafos más amplios.