FlowComposer: Composable Flows for Compositional Zero-Shot Learning

1. O Problema: Aprendizado Zero-Shot Compositivo (CZSL)

O Aprendizado Zero-Shot Compositivo (CZSL) visa reconhecer combinações de atributo-objeto nunca vistas durante o treinamento, reutilizando conceitos primitivos aprendidos de pares vistos. Por exemplo, se um modelo aprendeu "maçã vermelha" e "banana verde", ele deve ser capaz de reconhecer "maçã verde" sem ter visto essa combinação específica antes.

Apesar dos avanços recentes com Modelos de Linguagem e Visão (VLMs) como o CLIP, os métodos atuais baseados em Fine-Tuning Eficiente de Parâmetros (PEFT) sofrem de duas limitações fundamentais:

1. Construção Implícita de Composição: A composição é realizada apenas através da concatenação de tokens ou ajuste de prompts no nível do texto. Isso não garante que a representação resultante no espaço de embedding esteja próxima da representação visual real da composição, prejudicando a generalização para pares não vistos.
2. Entrelaçamento de Características Remanescente: Os "desentrelaçadores" visuais (que tentam separar atributos de objetos) não são perfeitos. Informações vazam entre os ramos de atributo e objeto, deixando as características mutuamente contaminadas. Isso enfraquece o alinhamento específico de cada ramo e torna as representações recompostas menos confiáveis.

Essas falhas levam a um viés forte em direção às composições vistas durante o treinamento, resultando em uma queda de desempenho nas composições não vistas.

---

2. Metodologia: O Framework FlowComposer

Os autores propõem o FlowComposer, um framework agnóstico ao modelo que utiliza Flow Matching (FM) para resolver os problemas acima. A ideia central é tratar a composição como um processo de transporte dinâmico no espaço de embedding, em vez de uma simples concatenação de tokens.

O sistema é composto por três partes principais:

A. Modelos de Fluxo Primitivo (Primitive Flows)

Em vez de apenas concatenar tokens, o modelo aprende dois campos de velocidade (flows) distintos:

• Um fluxo para atributos ($v_{\theta}^a$).
• Um fluxo para objetos ($v_{\theta}^o$).
  Esses fluxos aprendem a transportar as características visuais de uma imagem em direção aos seus respectivos embeddings de texto (atributo e objeto). O treinamento utiliza a regressão do campo de velocidade condicional no tempo, minimizando a diferença entre a velocidade prevista e a velocidade real do caminho linear entre a imagem e o texto.

B. O Composer (Compositor)

Para lidar com a variação na importância relativa de atributos e objetos em diferentes amostras, o FlowComposer introduz um módulo aprendível chamado Composer.

• Mecanismo: O Composer recebe as velocidades primitivas normalizadas e prevê coeficientes de combinação ($\hat{a}, \hat{b}$).
• Operação: Ele combina explicitamente os campos de velocidade primitivos para formar um campo de velocidade de composição ($\hat{v}_c = \hat{a}\hat{v}_a + \hat{b}\hat{v}_o$).
• Resultado: Isso permite uma composição explícita no espaço de embedding, aprendendo uma regra de combinação adaptativa para cada amostra, superando a limitação da concatenação de tokens.

C. Aumento Guiado por Vazamento (Leakage-Guided Augmentation)

Em vez de tratar o vazamento de informações entre os ramos (atributo para objeto e vice-versa) como um erro a ser eliminado, o FlowComposer o utiliza como um sinal de supervisão adicional.

• Estratégia: O modelo é treinado para transportar características visuais "vazadas" (ex: características do ramo de objeto que contêm pistas sobre o atributo) diretamente para o embedding de texto do ramo alvo.
• Benefício: Isso transforma o entrelaçamento imperfeito em um recurso de supervisão cruzada, enriquecendo o aprendizado do campo de velocidade e melhorando a robustez.

---

3. Contribuições Principais

1. Primeira Aplicação Sistemática de Flow Matching em CZSL: O trabalho introduz o uso de campos de velocidade para modelar a composição e decomposição de conceitos, alinhando-se naturalmente com a natureza composicional do problema.
2. Composição Explícita no Espaço de Embedding: Substitui a concatenação implícita de tokens por uma operação de composição explícita e aprendível de campos de velocidade, permitindo uma generalização superior para pares não vistos.
3. Aproveitamento do Entrelaçamento: Propõe uma estratégia inovadora de "Aumento Guiado por Vazamento", que converte a imperfeição dos desentrelaçadores visuais em sinais de supervisão construtivos.
4. Plug-and-Play e Agnóstico ao Modelo: O framework pode ser integrado a pipelines existentes de CZSL (como CSP e Troika) com modificações mínimas, funcionando puramente no espaço de representação.

---

4. Resultados Experimentais

O FlowComposer foi avaliado em três benchmarks públicos de CZSL: MIT-States, UT-Zappos e C-GQA, sob configurações de mundo fechado (closed-world) e mundo aberto (open-world).

• Desempenho Superior: Ao ser integrado às bases de CSP e Troika, o método obteve melhorias consistentes em todas as métricas (HM - Média Harmônica e AUC - Área Sob a Curva).
  • No cenário de mundo fechado, superou métodos que utilizam conhecimento adicional de Grandes Modelos de Linguagem (LLMs), alcançando o estado da arte (SOTA) em AUC em todos os três conjuntos de dados.
  • Exemplo de melhoria: No UT-Zappos, houve um aumento de +5.0% no AUC sobre o baseline Troika.
• Equilíbrio entre Visto e Não Visto: O método reduz significativamente o viés em favor das composições vistas, mantendo um desempenho estável e equilibrado entre classes vistas e não vistas durante o treinamento (como mostrado nas curvas de aprendizado).
• Análise de Componentes: Estudos de ablação confirmam que tanto os Fluxos Primitivos quanto o Composer e o Aumento Guiado por Vazamento contribuem de forma complementar para o ganho final.
• Eficiência: O custo computacional de inferência é negligenciável, utilizando um esquema de transporte de um único passo (one-step transport).

---

5. Significado e Impacto

O FlowComposer representa um avanço significativo na compreensão de como modelos de visão podem aprender a combinar conceitos. Ao mudar o paradigma de "concatenar tokens" para "transportar e combinar campos de velocidade no espaço vetorial", o trabalho oferece uma solução mais robusta e matematicamente fundamentada para o problema de generalização zero-shot.

A descoberta de que o "entrelaçamento" de características pode ser explorado em vez de suprimido abre novas direções para o design de arquiteturas de aprendizado profundo, sugerindo que imperfeições nos mecanismos de separação podem ser convertidas em recursos valiosos de aprendizado. O método demonstra que a dinâmica temporal dos flows é uma ferramenta natural e poderosa para tarefas de composição semântica.