Resumo Técnico: HyperTransport: Condicionamento Amortizado de Modelos Generativos T2I

Declaração do Problema

À medida que os modelos generativos fundamentais escalonam, a capacidade de controlar seu comportamento de forma eficiente e confiável torna-se crítica. Os métodos de controle tradicionais enfrentam limitações significativas:

• Ajuste Fino (Fine-tuning): Requer recursos computacionais substanciais e é custoso para cada novo conceito.
• Prompting: Embora prático, é frágil e altamente sensível à redação e estrutura exatas.
• Direcionamento de Ativação: Métodos existentes (por exemplo, CAA, ITI, Linear-AcT, LinEAS) oferecem controle estável ao modificar ativações internas sem alterar os pesos. No entanto, eles exigem otimização por conceito, onde uma nova intervenção deve ser ajustada ao modelo-alvo para cada conceito específico. Esse processo incorre em minutos de passagens forward/backward por conceito, tornando-o inadequado para interfaces interativas, conjuntos de conceitos em evolução ou cenários onde os conceitos são especificados apenas no momento da solicitação.

Metodologia: HyperTransport

Os autores propõem o HyperTransport (HT), um framework de hiperrede projetado para amortizar o custo da otimização por conceito. Em vez de ajustar uma nova intervenção para cada conceito, o HT aprende um mapeamento de representações de conceitos diretamente para parâmetros de intervenção.

Arquitetura Central

1. Hiperrede ($H_\psi$): Um Perceptron Multicamadas (MLP) leve que é significativamente menor (aproximadamente 1000$\times$) do que o modelo generativo-alvo ($G$).
2. Codificador ($E$): Um codificador pré-treinado congelado (CLIP na instanciação do artigo) que mapeia dados de entrada (texto ou imagens) para embeddings.
3. Previsão de Intervenção: A hiperrede recebe o codificação do conceito $e_c = E(x_c)$ e prevê os parâmetros de intervenção $\theta_c$ em uma única passagem forward.
   • A intervenção segue uma forma afim elemento a elemento: $I_{\theta_c}(a) = (1-\lambda)a + \lambda(w \odot a + b)$, onde $\theta_c = [w, b]^\top$.
   • Essa parametrização é adequada para propriedades globais de baixa frequência (estilos, paletas) em vez de edições espacialmente localizadas.

Objetivo de Treinamento

O framework é treinado end-to-end através do modelo generativo-alvo usando uma função de perda de Transporte Ótimo (OT), especificamente a distância de Wasserstein 1D ($p=1$).

• Função de Perda: O objetivo minimiza o alinhamento entre a distribuição de ativações direcionadas (geradas aplicando $H_\psi(E(x'_c))$ aos prompts de origem) e a distribuição de ativações-alvo (geradas pelos prompts-alvo $x_c$).
• Dados Não Emparelhados: O treinamento requer apenas dados não emparelhados (frases de origem e frases de conceito-alvo), que são mais baratos e escaláveis de coletar do que alternativas emparelhadas.
• Controle de Intensidade: O método herda o parâmetro de intensidade limitado $\lambda \in [0, 1]$ do direcionamento de transporte ótimo, fornecendo controle interpretável sobre a magnitude da intervenção.

Inferência e Flexibilidade

• Inferência Amortizada: Uma vez treinado, o HT produz intervenções para novos conceitos (incluindo aqueles não vistos durante o treinamento) em uma única passagem forward (0,08s no Nitro-1-PixArt, 0,26s no DMD2).
• Condicionamento Cross-Modal: Como a hiperrede opera sobre as saídas do codificador, ela suporta condicionamento cross-modal zero-shot. Como o CLIP aceita tanto texto quanto imagens, uma imagem de referência pode direcionar diretamente a geração de texto para imagem sem re-treinamento.

Contribuições Principais

1. Framework HyperTransport: Uma hiperrede que mapeia representações de conceitos para intervenções de direcionamento, treinada end-to-end com uma perda de transporte ótimo. Elimina a otimização por conceito que leva de segundos a minutos exigida por métodos padrão, reduzindo o custo de inferência para uma fração de segundo.
2. Condicionamento Cross-Modal Zero-Shot: O HT é o primeiro método de direcionamento de ativação a aceitar imagens como sinais de condicionamento, permitindo que imagens de referência direcionem a geração de texto para imagem sem re-treinamento.
3. Avaliação Abrangente: Validado em 167 conceitos retidos (held-out) entre DMD2 e Nitro-1-PixArt. O HT iguala a melhor linha de base por conceito (LinEAS) na indução de conceitos-alvo enquanto preserva a qualidade de geração original, a uma fração do custo.

Resultados Experimentais

O artigo avalia o HT contra quatro linhas de base por conceito (CAA, ITI, Linear-AcT, LinEAS) e prompting.

• Velocidade: O HT é 3.600–7.000$\times$ mais rápido do que o ajuste por conceito.
  • Tempo de treinamento LinEAS: ~936s (DMD2) e ~543s (Nitro-1-PixArt) por conceito.
  • Tempo de inferência HT: ~0,258s (DMD2) e ~0,078s (Nitro-1-PixArt) por conceito.
• Desempenho (Fidelidade do Conceito): Em 167 conceitos de teste não vistos, o HT iguala o LinEAS na indução do conceito-alvo (por exemplo, 0,280 vs. 0,278 no DMD2).
• Desempenho (Fidelidade de Entrada): O HT mantém alta fidelidade ao prompt original, com apenas um pequeno decremento em comparação ao LinEAS (dentro de 0,02).
• Avaliação por Usuários e VLM: Em comparações pareadas, tanto juízes humanos quanto VLMs (InternVL2.5-26B) preferem o HyperTransport ao prompting aproximadamente 2$\times$ mais frequentemente (por exemplo, taxa de preferência de 70,4% para HT vs. 29,7% para prompting no DMD2).
• Generalização: O HT generaliza efetivamente para conceitos não vistos durante o treinamento, desde que estejam bem representados no espaço de embeddings do CLIP.

Significado e Alegações

O artigo afirma que o HyperTransport combina com sucesso três capacidades que nenhuma abordagem existente oferece como um conjunto:

1. Direcionamento Amortizado: Permite conjuntos de conceitos abertos onde novos conceitos podem ser atendidos instantaneamente sem re-treinamento.
2. Controle Contínuo e Interpretável de Intensidade: Fornece um parâmetro de intensidade limitado e interpretável ($\lambda \in [0, 1]$) derivado do transporte ótimo.
3. Condicionamento Cross-Modal: Permite que imagens de referência direcionem diretamente a geração baseada em texto.

Os autores posicionam o HT como mais útil quando o conjunto de conceitos é grande, em evolução ou especificado no momento da solicitação. Eles reconhecem que métodos por conceito permanecem competitivos para conjuntos pequenos e fixos, e que o prompting é suficiente quando o texto sozinho elicita o alvo. O trabalho destaca uma mudança de prompting frágil e ajuste fino custoso para direcionamento de ativação eficiente e amortizado para controle escalável de modelos generativos.