CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

1. O Problema: O Viés de "Frase Resumo" e Tokens Iniciais

O modelo CLIP (Contrastive Language-Image Pre-training) e suas variantes são fundamentais para tarefas de visão computacional e linguagem, como classificação zero-shot, recuperação de imagens por texto e geração de imagens. No entanto, o treinamento original do CLIP é dominado por pares de imagens e legendas curtas (geralmente uma frase).

Ao tentar adaptar o CLIP para legendas longas (parágrafos com múltiplas frases), trabalhos recentes como o Long-CLIP estenderam as posições de embedding para acomodar mais tokens. Contudo, os autores identificaram um viés crítico não resolvido:

• Estrutura das Legendas Longas: Conjuntos de dados de legendas longas (gerados por humanos ou LLMs) tendem a seguir um padrão: a primeira frase é um resumo global da imagem, seguido por detalhes finos e específicos nas frases subsequentes.
• O "Atalho" de Treinamento: Durante o treinamento, o modelo aprende a minimizar a perda de contraste focando quase exclusivamente na primeira frase (o resumo), pois ela contém a maior parte da informação necessária para alinhar a imagem.
• Consequências:
  1. Viés de Tokens Iniciais: O modelo ignora informações contidas nas frases finais da legenda.
  2. Fragilidade à Permutação: Se a ordem das frases for alterada (colocando o resumo no meio ou no final) ou se a frase de resumo for removida, o desempenho de recuperação cai drasticamente.
  3. Janela de Contexto Ineficaz: Embora o modelo aceite mais tokens, sua "janela de contexto efetiva" permanece curta, falhando em capturar detalhes densos que aparecem tardiamente no texto.

2. Metodologia: DeBias-CLIP

Para resolver esse viés, os autores propõem o DeBias-CLIP, uma estratégia de aumento de dados (data augmentation) a nível de legenda que atua como um "plug-and-play" (substituição direta) para o Long-CLIP, sem adicionar parâmetros treináveis ou arquiteturas complexas.

O método consiste em três etapas principais de pré-processamento das legendas durante o treinamento:

1. Remoção da Frase de Resumo (Drop Summary):

   • Em vez de usar a primeira frase da legenda longa como a "legenda curta" (para manter o desempenho em textos curtos), o DeBias-CLIP remove a primeira frase (o resumo) e usa o restante da legenda para criar a legenda curta de treinamento.
   • Isso força o modelo a aprender a alinhar a imagem com detalhes finos e específicos, em vez de depender do resumo global.

2. Amostragem Aleatória de Frases (Sentence Sub-sampling):

   • Das frases restantes (excluindo o resumo), o modelo amostra aleatoriamente um subconjunto de frases para formar a legenda curta.
   • A ordem das frases não é preservada. Isso introduz variação e impede que o modelo aprenda padrões de ordem fixa, incentivando a atenção a qualquer parte do texto.

3. Preenchimento (Padding) de Tokens:

   • Para evitar que o modelo continue focando apenas no início da sequência (devido aos embeddings posicionais treinados em textos curtos), o DeBias-CLIP adiciona tokens de preenchimento (padding) no início da legenda amostrada.
   • Isso empurra os tokens de texto para posições mais profundas no contexto, forçando o modelo a aprender a atenção em posições posteriores e distribuindo a supervisão de forma mais uniforme ao longo da sequência.

Função de Perda: O modelo é treinado com uma soma ponderada das perdas de contraste para a legenda longa completa e a legenda curta amostrada/preenchida.

3. Contribuições Principais

• Identificação Empírica do Viés: Demonstração robusta de que modelos CLIP e Long-CLIP sofrem de um forte viés para tokens iniciais e frases de resumo, resultando em degradação severa de desempenho quando a informação é movida para o final da legenda.
• Solução Simples e Eficiente: Proposta de uma estratégia de aumento de texto que não requer novos parâmetros, módulos de atenção complexos ou treinamento multi-estágio (diferente de métodos anteriores como TULIP ou SmartCLIP).
• Desempenho de Estado da Arte (SOTA): O método alcança o melhor desempenho em múltiplos benchmarks de recuperação de texto longo, superando métodos concorrentes.
• Robustez: O modelo torna-se significativamente mais robusto a permutações na ordem das frases e à ausência da frase de resumo.

4. Resultados Experimentais

Os experimentos foram realizados em modelos baseados em OpenAI CLIP, OpenCLIP e SigLIP, utilizando o conjunto de dados ShareGPT4V para treinamento e benchmarks como Urban1k, DCI, Long-DCI e DOCCI.

• Recuperação de Texto Longo:

  • O DeBias-CLIP superou consistentemente o Long-CLIP e o SmartCLIP.
  • No dataset Urban1k (T2I), houve melhorias de +5,6% e +5,1% para os modelos ViT-B e ViT-L, respectivamente, em comparação ao SmartCLIP.
  • No DOCCI, atingiu desempenho de SOTA, superando o FineLIP em modelos ViT-L.

• Recuperação de Texto Curto:

  • Ao contrário do esperado, a remoção do resumo e o uso de amostragem melhoraram o desempenho em textos curtos (COCO e Flickr30k), indicando que o modelo aprende representações mais ricas e menos dependentes de atalhos.

• Robustez à Permutação:

  • Ao inverter a primeira e a quarta frase de uma legenda, o Long-CLIP sofreu uma queda de 9,7% de desempenho. O DeBias-CLIP reduziu essa queda para apenas 3,5%.
  • Ao remover a frase de resumo, a queda do Long-CLIP foi de 17,1%, enquanto o DeBias-CLIP manteve uma robustez muito superior.

• Atenção dos Tokens:

  • Análise dos pesos de atenção (attention weights) mostrou que, enquanto o Long-CLIP tem atenção decrescente acentuada após os primeiros 10 tokens, o DeBias-CLIP mantém uma atenção consistente e plana ao longo de toda a sequência, utilizando informações mais profundas.

• Geração de Imagens (Stable Diffusion):

  • Ao substituir o encoder de texto do SDXL pelo DeBias-CLIP, as imagens geradas capturaram detalhes finos presentes no final das legendas (ex: cor de objetos, texto específico) que o CLIP original e o Long-CLIP ignoravam.

5. Significado e Conclusão

O trabalho demonstra que a simples extensão da janela de contexto (mais tokens) não é suficiente para que o CLIP entenda textos longos complexos. O verdadeiro gargalo é o viés de treinamento herdado de legendas curtas e a estrutura de "resumo primeiro" dos dados de treinamento.

O DeBias-CLIP prova que é possível corrigir esse viés através de estratégias de amostragem inteligentes que forçam o modelo a distribuir a atenção de forma uniforme. Isso não apenas melhora a recuperação de imagens por texto longo, mas também aumenta a robustez do modelo para cenários do mundo real onde a ordem do texto pode variar (como em sistemas RAG - Retrieval-Augmented Generation) e melhora a capacidade de geração de imagens detalhadas.

A principal lição é que, para modelos multimodais lidarem com contextos longos, é necessário reavaliar como os dados são apresentados durante o treinamento, garantindo que a supervisão não se concentre apenas no início da sequência.