Resumen Técnico: InstructMoLE

Enunciado del Problema

El Ajuste Fino Eficiente en Parámetros (PEFT) de Transformadores de Difusión (DiTs) para la generación de imágenes multi-condicionales (por ejemplo, composición multi-sujeto, edición de imágenes) enfrenta desafíos significativos al utilizar adaptadores monolíticos como LoRA, principalmente debido a la interferencia de tareas y el olvido catastrófico. Si bien las arquitecturas de Mezcla de Expertos (MoE) ofrecen una solución modular al diversificar expertos para diferentes tareas, su aplicación a modelos de difusión ha estado limitada por políticas de enrutamiento heredadas de los modelos de lenguaje.

Los enfoques actuales suelen emplear enrutamiento a nivel de token, donde cada parche de imagen selecciona independientemente un experto basado en estados ocultos locales. El artículo argumenta que este proceso de toma de decisiones local está fundamentalmente desalineado con la naturaleza global de las instrucciones del usuario. En tareas de generación complejas (por ejemplo, "un bebé gateando sobre la hierba, un caballo blanco cerca y un casco de fútbol americano"), las instrucciones establecen relaciones semánticas globales. El enrutamiento a nivel de token falla al mantener estas relaciones, lo que conduce a:

1. Fragmentación Espacial: Discontinuidades regionales en estilo y tono.
2. Temblor de Enrutamiento: Amplificación del ruido de alta frecuencia.
3. Deriva Semántica: Incapacidad de adherirse a la intención holística de la instrucción, resultando en sujetos incoherentes o atributos ignorados.

Metodología

Los autores proponen InstructMoLE, un marco que reemplaza el enrutamiento a nivel de token con una política globalmente consistente y guiada por instrucciones. La arquitectura se basa en el núcleo Flux.1 Kontext y utiliza expertos de Adaptación de Bajo Rango (LoRA).

1. Enrutamiento Guiado por Instrucciones (IGR)

En lugar de seleccionar expertos por token, InstructMoLE emplea una política de enrutamiento a nivel de instancia.

• Destilación de Señal Global ($Z_{global}$): Una señal de enrutamiento global se destila a partir de la instrucción textual del usuario ($I_c$). Esta señal fusiona dos representaciones:
  • Incrustación CLIP: Proporciona un ancla semántica holística y robusta.
  • Destilación al estilo Perceiver: Una consulta latente aprendible atiende iterativamente a las características a nivel de token de un codificador T5. Esto captura detalles composicionales finos (por ejemplo, asociaciones específicas color-sujeto) que una incrustación CLIP agrupada simple podría promediar.
• Consejo Unificado de Expertos: En cada capa del modelo, el enrutador calcula un único conjunto de pesos de activación basado en $Z_{global}$. Este "consejo de expertos" (un conjunto Top-$k$ de expertos) se transmite idénticamente a todos los tokens espaciales dentro de esa capa. Esto asegura que todo el proceso de generación de imágenes en un nivel de abstracción específico esté gobernado por un conjunto coherente de expertos alineados con la intención del usuario.

2. Pérdida de Ortogonalidad en el Espacio de Salida

Para prevenir el colapso de expertos (donde expertos distintos aprenden funciones redundantes), los autores introducen un regularizador novedoso.

• Las pérdidas estándar de equilibrio de carga solo aseguran una frecuencia de utilización uniforme, pero no garantizan la diversidad funcional.
• La Pérdida de Ortogonalidad ($L_{ortho}$) opera sobre las salidas previas a la activación de todos los expertos. Calcula la similitud del coseno al cuadrado entre los vectores de salida aplanados de cada par de expertos.
• Al minimizar esta pérdida, el modelo se ve obligado a aprender roles funcionales mutuamente ortogonales para cada experto, asegurando que el consejo seleccionado ofrezca un conjunto diverso de capacidades en lugar de soluciones redundantes.

3. Objetivos de Entrenamiento

La función de pérdida total combina tres componentes:
$$L_{total} = L_{flow} + \lambda_{aux}L_{aux} + \lambda_{ortho}L_{ortho}$$

• $L_{flow}$: Pérdida estándar de ajuste de flujo/difusión para la precisión de la generación.
• $L_{aux}$: Pérdida auxiliar de equilibrio de carga para prevenir la dependencia excesiva de unos pocos expertos.
• $L_{ortho}$: La pérdida de ortogonalidad propuesta para la diversidad funcional.

Contribuciones Clave

1. Identificación de la Desalineación de Enrutamiento: El artículo identifica la discrepancia crítica entre el enrutamiento local a nivel de token y la semántica de instrucciones globales en la generación de imágenes multi-condicionales.
2. Enrutamiento Guiado por Instrucciones (IGR): Un marco novedoso que condiciona la selección de expertos enteramente sobre una señal global derivada de la instrucción del usuario, asegurando consistencia estructural y semántica a través de la imagen.
3. Regularización de Ortogonalidad: Una nueva función de pérdida que promueve explícitamente la diversidad funcional entre expertos, mitigando el colapso representacional de manera más efectiva que el equilibrio de carga por sí solo.
4. Validación Empírica: Extensos experimentos que demuestran que InstructMoLE supera a los adaptadores LoRA existentes y a variantes MoE (incluidas las líneas base de enrutamiento a nivel de token) en benchmarks multi-condicionales desafiantes.

Resultados Experimentales

El modelo fue ajustado fino sobre el núcleo Flux.1 Kontext utilizando un conjunto de datos diverso de datos sintetizados y públicos (incluyendo intercambio de rostros, transferencia de estilo, composición multi-sujeto y control espacial).

• Generación Multi-Sujeto (XVerseBench): InstructMoLE logró la puntuación promedio más alta (71.07), superando la sólida línea base Flux.1 Kontext (68.04) y DreamO-v1.1 (69.57). Mostró una fuerza particular en la preservación de identidad (ID-Sim) y la fidelidad del objeto (IP-Sim).
• Edición de Imagen Única (GEdit-EN-full): El método logró la puntuación promedio más alta (6.17) entre los modelos comparados, superando a OmniGen2 (5.45) en más del 13% y a la línea base Flux.1 Kontext (6.06). Destacó en tareas que requerían manipulaciones tanto globales como locales.
• Generación en Contexto (OmniContext): InstructMoLE logró la puntuación promedio ID-Sim más alta (38.85) entre los modelos lanzados, equilibrando mejor la adherencia a la instrucción y la preservación de la identidad que OmniGen2 (que tenía un seguimiento de prompt alto pero una preservación de identidad pobre).
• Estudios de Ablación:
  • Política de Enrutamiento: IGR superó significativamente al enrutamiento a nivel de token (Estándar, Selección de Experto, Carrera de Expertos) en tareas de alineación espacial (RMSE de Profundidad, F1 de Canny, F1 de Pose), confirmando que la consistencia global es crucial para la integridad estructural.
  • Componentes: La eliminación de la pérdida de ortogonalidad o de la destilación de señal al estilo Perceiver resultó en caídas medibles de rendimiento, validando la necesidad de tanto la diversidad funcional como la codificación de instrucciones de grano fino.

Significado y Afirmaciones

El artículo afirma que el Enrutamiento Guiado por Instrucciones (IGR) representa un paradigma más efectivo que el enrutamiento tradicional a nivel de token para el ajuste fino guiado por instrucciones de modelos generativos. Al alinear la selección de expertos con la intención holística del usuario, InstructMoLE permite:

• Control Composicional Superior: La capacidad de renderizar escenas complejas con múltiples sujetos y relaciones espaciales específicas sin fragmentación.
• Fidelidad a la Intención del Usuario: Mejor adherencia a instrucciones complejas de cadena de pensamiento y preservación de identidad en tareas de edición.
• Robustez: El marco mantiene alta fidelidad incluso al procesar instrucciones complejas, aunque los autores notan limitaciones bajo corrupción textual severa o cargas de referencia extremas (vinculación de >3 entidades).

El trabajo establece un marco robusto y generalizable para la adaptación eficiente en parámetros de transformadores de difusión, abordando los desafíos específicos de la generación multi-condicional que los adaptadores monolíticos y los modelos MoE de enrutamiento local no logran resolver.