Resumo Técnico: Gate-and-Merge para Personalização Composicional Zero-Shot de Modelos Visão-Linguagem

Definição do Problema

Os Modelos Visão-Linguagem (VLMs) possuem fortes capacidades de generalização para tarefas de mundo aberto, mas carecem da habilidade de entender conceitos personalizados definidos pelo usuário (por exemplo, rostos específicos, animais de estimação ou estilos de arte) que estão ausentes dos dados de pré-treinamento. Embora os métodos de personalização existentes possam aprender conceitos únicos, eles lutam com a personalização composicional: a capacidade de reconhecer ou descrever cenas contendo múltiplos conceitos definidos pelo usuário simultaneamente, sem treinamento prévio de co-ocorrência.

As abordagens atuais enfrentam limitações significativas:

• Métodos baseados em parâmetros (por exemplo, prompts aprendíveis ou embeddings de conceitos) frequentemente entrelaçam conceitos durante o treinamento, tornando difícil isolá-los e recombina-los em configurações novas.
• Métodos baseados em recuperação evitam atualizações de parâmetros, mas dependem de bancos de dados externos, levantando preocupações de privacidade e falhando em internalizar conceitos para tarefas de raciocínio.
• As soluções existentes geralmente carecem de um mecanismo para compor múltiplos conceitos aprendidos independentemente no momento da inferência sem degradar o desempenho devido a interferências.

Metodologia: Gate-and-Merge

O artigo propõe o Gate-and-Merge, um framework zero-shot projetado para habilitar a personalização composicional sem exigir treinamento de co-ocorrência ou bancos de dados externos. O framework opera em duas fases distintas:

1. Aprendizado de Conceito Único (Fase de Treinamento)

Cada conceito definido pelo usuário $c$ é aprendido independentemente como uma representação modular e leve consistindo de dois componentes:

• Token de Conceito ($\langle c \rangle$): Um novo token adicionado ao vocabulário do tokenizer com um vetor de embedding treinável $e_c$ e uma linha de cabeçalho de saída correspondente $w_c$. Isso serve como o identificador textual para o conceito.
• Adaptador LoRA ($\delta_c$): Um módulo de Adaptação de Baixo Rank ($\delta_c = A_c B_c$) aplicado aos pesos do modelo de linguagem. Isso permite que o modelo se adapte à aparência visual do conceito sem modificar o codificador de visão congelado.

O codificador de visão permanece congelado durante todo o treinamento para manter um espaço de características estável e compartilhado, garantindo que as características visuais permaneçam compatíveis entre diferentes conceitos. O modelo é treinado em um pequeno conjunto de suporte de imagens e texto usando um objetivo padrão de modelagem de linguagem mascarada.

2. Composição de Múltiplos Conceitos (Fase de Inferência)

Na inferência, o modelo deve lidar com entradas contendo múltiplos conceitos (por exemplo, uma imagem com o conceito $A$ e o conceito $B$) sem tê-los visto juntos durante o treinamento. O framework emprega um mecanismo Gate-and-Merge:

• Gateamento (Seleção): Um mecanismo de gateamento determina quais módulos de conceito são relevantes para a entrada atual (imagem $x$ e consulta $q$) avaliando duas pistas:

  • Relevância Textual: Verifica se o token de conceito $\langle c \rangle$ é explicitamente mencionado na consulta.
  • Relevância Visual: Calcula a similaridade cosseno entre as características de patches da imagem e as características prototípicas do conceito.
  • Um conceito é ativado se for mencionado textualmente ou visualmente suportado acima de um limiar $\tau$.

• Fusão (Merge): Uma vez identificado o conjunto relevante de conceitos $S$, suas atualizações LoRA correspondentes são mescladas diretamente no espaço de pesos. Para evitar interferência destrutiva causada pela soma ingênua de atualizações:

  • Esparsificação: Cada atualização LoRA é descartada estocasticamente (mascaramento Bernoulli) e reescalada para reter apenas sinais dominantes, reduzindo conflitos entre conceitos.
  • Média Consciente de Sinal: O método impõe consistência de sinal. Para cada coordenada de peso, atualizações com sinais conflitantes são descartadas, e apenas atualizações com sinais consistentes são médias. Isso garante que o adaptador fundido preserve a identidade de cada conceito enquanto os combina.

O modelo composto final é $M_{comp} = M \oplus \delta_{merge}$, onde $\delta_{merge}$ é o adaptador fundido. Este processo é livre de treinamento na inferência.

Contribuições Principais

1. Framework Gate-and-Merge: Um framework modular para personalização composicional zero-shot que aprende conceitos independentemente e os compõe na inferência sem supervisão de co-ocorrência.
2. Representação Modular: Um design que representa cada conceito através de um módulo LoRA leve e um token de conceito único, suportando personalização escalável e que preserva a privacidade.
3. Composição Livre de Treinamento: Um mecanismo que ativa e mescla seletivamente módulos LoRA com base em pistas textuais e visuais dependentes da entrada, utilizando esparsificação e mesclagem consciente de sinal para mitigar interferências.
4. Validação Empírica: Demonstração através de experimentos extensivos de que o método supera as abordagens existentes de personalização baseada em parâmetros em configurações de conceito único e múltiplo.

Resultados Experimentais

Os autores avaliaram o método em um benchmark construído a partir de um conjunto de dados de múltiplos conceitos, cobrindo 118 conceitos distintos (indivíduos do mundo real, objetos, personagens fictícios).

• Reconhecimento Visual: Em tarefas que exigem a identificação de um ou múltiplos conceitos em uma imagem, o Gate-and-Merge alcançou desempenho superior comparado a baselines como MyVLM e Yo'LLaVA. Notavelmente, no cenário desafiador "Múltiplo-Múltiplo" (identificar múltiplos conceitos consultados simultaneamente), o método proposto alcançou 69,9% de precisão, superando significativamente o Yo'LLaVA (29,3%) e mantendo um recall balanceado alto.
• QA de Texto e Visual: O método demonstrou robustez tanto no raciocínio apenas de texto quanto na Resposta a Perguntas Visuais Multimodais (VQA), alcançando o desempenho mais balanceado entre configurações de conceito único e múltiplo.
• Legendagem: Embora métodos baseados em recuperação (RAP-MLLM) mostrassem alto recall em configurações de conceito único, eles dependiam fortemente de "copiar e colar" de texto armazenado. O Gate-and-Merge forneceu uma ancoragem de conceito mais robusta, gerando legendas que integravam melhor a evidência visual, embora o desempenho tenha degradado naturalmente em cenários de legendagem de múltiplos conceitos comparado a tarefas de conceito único.
• Estudos de Ablação:
  • Razão de Esparsidade ($p$): O desempenho atingiu o pico em uma razão de esparsidade de 0,7–0,8, confirmando que a esparsidade moderada suprime efetivamente interferências enquanto retém sinais de adaptação.
  • Limiar de Gateamento ($\tau$): Um limiar de 0,3 produziu resultados ótimos, equilibrando a supressão de ativações irrelevantes com a retenção de conceitos válidos.

Significado e Alegações

O artigo alega que o Gate-and-Merge aborda a lacuna crítica na personalização de VLMs ao habilitar o raciocínio composicional sem a necessidade de treinamento conjunto ou armazenamento de dados externos. Ao manter os conceitos desentrelaçados durante o treinamento e fundi-los inteligentemente na inferência, o método permite que os modelos lidem com combinações novas de conceitos definidos pelo usuário.

Os autores posicionam este trabalho como um passo em direção a uma personalização modular e escalável, onde conceitos podem ser adicionados, removidos ou combinados dinamicamente. Eles reconhecem limitações, observando que conceitos altamente entrelaçados podem exigir mecanismos mais expressivos e que a esparsificação carrega o risco de perder detalhes de alta granularidade. No entanto, os resultados sugerem que esta abordagem oferece uma solução estável e eficaz para integrar conhecimento personalizado em VLMs para cenários complexos de múltiplos conceitos.