Resumo Técnico: InstructMoLE

Declaração do Problema

O Ajuste Fino Eficiente em Parâmetros (PEFT) de Transformadores de Difusão (DiTs) para geração de imagens multi-condicionais (por exemplo, composição multi-assunto, edição de imagem) enfrenta desafios significativos ao utilizar adaptadores monolíticos como LoRA, principalmente devido à interferência de tarefas e ao esquecimento catastrófico. Embora arquiteturas de Mistura de Especialistas (MoE) ofereçam uma solução modular ao diversificar especialistas para diferentes tarefas, sua aplicação a modelos de difusão tem sido limitada por políticas de roteamento herdadas de modelos de linguagem.

As abordagens atuais empregam tipicamente roteamento ao nível de token, onde cada patch de imagem seleciona independentemente um especialista com base em estados ocultos locais. O artigo argumenta que esse processo de tomada de decisão local está fundamentalmente desalinhado com a natureza global das instruções do usuário. Em tarefas complexas de geração (por exemplo, "um bebê rastejando na grama, um cavalo branco próximo e um capacete de futebol americano"), as instruções estabelecem relações semânticas globais. O roteamento ao nível de token falha em manter essas relações, levando a:

1. Fragmentação Espacial: Descontinuidades regionais em estilo e matiz.
2. Jitter de Roteamento: Amplificação de ruído de alta frequência.
3. Deriva Semântica: Falha em aderir à intenção holística da instrução, resultando em sujeitos incoerentes ou atributos ignorados.

Metodologia

Os autores propõem o InstructMoLE, um framework que substitui o roteamento ao nível de token por uma política globalmente consistente e guiada por instrução. A arquitetura é construída sobre o backbone Flux.1 Kontext e utiliza especialistas de Adaptação de Baixo Rank (LoRA).

1. Roteamento Guiado por Instrução (IGR)

Em vez de selecionar especialistas por token, o InstructMoLE emprega uma política de roteamento ao nível de instância.

• Destilação de Sinal Global ($Z_{global}$): Um sinal de roteamento global é destilado a partir da instrução textual do usuário ($I_c$). Este sinal funde duas representações:
  • Embedding CLIP: Fornece uma âncora semântica holística e robusta.
  • Destilação no Estilo Perceiver: Uma consulta latente aprendível atende iterativamente a características ao nível de token de um codificador T5. Isso captura detalhes composicionais finos (por exemplo, associações específicas de cor-assunto) que um embedding CLIP agrupado simples poderia diluir.
• Conselho Unificado de Especialistas: Em cada camada do modelo, o roteador calcula um único conjunto de pesos de portão com base em $Z_{global}$. Este "conselho de especialistas" (um conjunto Top-$k$ de especialistas) é então transmitido identicamente a todos os tokens espaciais dentro daquela camada. Isso garante que todo o processo de geração de imagem em um nível específico de abstração seja governado por um conjunto coerente de especialistas alinhados com a intenção do usuário.

2. Perda de Ortogonalidade no Espaço de Saída

Para prevenir o colapso de especialistas (onde especialistas distintos aprendem funções redundantes), os autores introduzem um regularizador novel.

• Perdas padrão de balanceamento de carga garantem apenas frequência uniforme de utilização, mas não garantem diversidade funcional.
• A Perda de Ortogonalidade ($L_{ortho}$) opera nas saídas pré-portão de todos os especialistas. Ela calcula a similaridade do cosseno quadrada entre os vetores de saída achatados de cada par de especialistas.
• Ao minimizar essa perda, o modelo é forçado a aprender papéis funcionais mutuamente ortogonais para cada especialista, garantindo que o conselho selecionado ofereça um conjunto diversificado de capacidades em vez de soluções redundantes.

3. Objetivos de Treinamento

A função de perda total combina três componentes:
$$L_{total} = L_{flow} + \lambda_{aux}L_{aux} + \lambda_{ortho}L_{ortho}$$

• $L_{flow}$: Perda padrão de correspondência de fluxo/difusão para precisão de geração.
• $L_{aux}$: Perda auxiliar de balanceamento de carga para evitar dependência excessiva de poucos especialistas.
• $L_{ortho}$: A perda de ortogonalidade proposta para diversidade funcional.

Contribuições Principais

1. Identificação de Desalinhamento de Roteamento: O artigo identifica a incompatibilidade crítica entre o roteamento local ao nível de token e a semântica global de instruções na geração de imagens multi-condicionais.
2. Roteamento Guiado por Instrução (IGR): Um framework novel que condiciona a seleção de especialistas inteiramente a um sinal global derivado da instrução do usuário, garantindo consistência estrutural e semântica em toda a imagem.
3. Regularização de Ortogonalidade: Uma nova função de perda que promove explicitamente a diversidade funcional entre especialistas, mitigando o colapso representacional mais eficazmente do que o balanceamento de carga sozinho.
4. Validação Empírica: Experimentos extensivos demonstrando que o InstructMoLE supera adaptadores LoRA existentes e variantes MoE (incluindo baselines de roteamento ao nível de token) em benchmarks multi-condicionais desafiadores.

Resultados Experimentais

O modelo foi ajustado fino no backbone Flux.1 Kontext utilizando um conjunto de dados diversificado de dados sintetizados e públicos (incluindo troca de rostos, transferência de estilo, composição multi-assunto e controle espacial).

• Geração Multi-Assunto (XVerseBench): O InstructMoLE alcançou a pontuação média mais alta (71,07), superando a forte baseline Flux.1 Kontext (68,04) e o DreamO-v1.1 (69,57). Mostrou força particular na preservação de identidade (ID-Sim) e fidelidade do objeto (IP-Sim).
• Edição de Imagem Única (GEdit-EN-full): O método alcançou a pontuação média mais alta (6,17) entre os modelos comparados, superando o OmniGen2 (5,45) em mais de 13% e a baseline Flux.1 Kontext (6,06). Destacou-se em tarefas que exigiam manipulações globais e locais.
• Geração em Contexto (OmniContext): O InstructMoLE alcançou a pontuação média ID-Sim mais alta (38,85) entre os modelos lançados, equilibrando melhor a aderência à instrução e a preservação de identidade do que o OmniGen2 (que tinha alto seguimento de prompt, mas baixa preservação de identidade).
• Estudos de Ablação:
  • Política de Roteamento: O IGR superou significativamente o roteamento ao nível de token (Padrão, Escolha de Especialista, Corrida de Especialista) em tarefas de alinhamento espacial (RMSE de Profundidade, F1 Canny, F1 Pose), confirmando que a consistência global é crucial para a integridade estrutural.
  • Componentes: A remoção da perda de ortogonalidade ou da destilação de sinal no estilo Perceiver resultou em quedas mensuráveis de desempenho, validando a necessidade de diversidade funcional e codificação de instrução fina.

Significado e Alegações

O artigo alega que o Roteamento Guiado por Instrução (IGR) representa um paradigma mais eficaz do que o roteamento tradicional ao nível de token para o ajuste fino orientado a instruções de modelos generativos. Ao alinhar a seleção de especialistas com a intenção holística do usuário, o InstructMoLE permite:

• Controle Composicional Superior: A capacidade de renderizar cenas complexas com múltiplos sujeitos e relações espaciais específicas sem fragmentação.
• Fidelidade à Intenção do Usuário: Melhor aderência a instruções complexas de cadeia de pensamento e preservação de identidade em tarefas de edição.
• Robustez: O framework mantém alta fidelidade mesmo ao processar instruções complexas, embora os autores notem limitações sob corrupção textual severa ou cargas de referência extremas (vinculação >3 entidades).

O trabalho estabelece um framework robusto e generalizável para adaptação eficiente em parâmetros de transformadores de difusão, abordando os desafios específicos da geração multi-condicional que adaptadores monolíticos e modelos MoE de roteamento local falham em resolver.