Resumo Técnico: CAFT – Alinhando Florestas e Árvores em Imagens e Legendas Longas

Declaração do Problema

Modelos visão-linguagem (VLMs) como o CLIP demonstraram compreensão robusta de imagem-texto para propósitos gerais, mas lutam com entidades visuais de alta granularidade e relações espaciais descritas em legendas detalhadas e longas. Os modelos atuais frequentemente dependem de pistas dominantes da cena (por exemplo, um ônibus vermelho), ignorando detalhes locais discriminativos (por exemplo, um número de rota específico ou o contexto circundante). Essa limitação é crítica na recuperação imagem-texto com legendas longas, onde distinguir a imagem correta de candidatos visualmente similares exige identificar "o que aparece onde" e compor essas evidências localizadas em uma compreensão coerente da cena inteira.

As abordagens existentes tentam resolver isso por meio de:

1. Extensão do comprimento do contexto: Modelos como o Long-CLIP estendem os limites de tokens, mas frequentemente falham em capturar detalhes de alta granularidade, dependendo em vez disso da primeira frase como um atalho.
2. Alinhamento global com legendas longas: Métodos que utilizam legendas longas sintéticas ainda dependem de alinhamento global imagem-texto, fornecendo viés indutivo limitado para ancorar entidades específicas.
3. Supervisão local: Abordagens que utilizam dados privilegiados em nível de região (por exemplo, caixas delimitadoras) melhoram a ancoragem local, mas frequentemente falham em incentivar explicitamente a composição de múltiplos detalhes localizados em uma representação coerente da cena global.

Metodologia: CAFT

Os autores propõem o CAFT (Alinhamento Cross-Domínio de Florestas e Árvores), um modelo visão-linguagem baseado em um princípio de aprendizado hierárquico. Inspirado pela percepção humana, o CAFT argumenta que a compreensão da cena inteira deve ser construída a partir de semânticas de nível de parte ancoradas ("árvores") antes de formar uma representação global ("floresta").

1. Arquitetura Hierárquica

O CAFT emprega um codificador de imagem de fino para grosso e um codificador de texto parte-todo para representar explicitamente componentes de nível de parte e compostá-los progressivamente.

• Codificador de Imagem de Fino para Grosso:

  • Em vez de patches de grade uniformes, o modelo utiliza tokens de superpixels para preservar melhor as fronteiras dos objetos.
  • Implementa agrupamento progressivo de tokens via pooling de grafos intercalado com blocos ViT. Isso reduz os tokens visuais de 196 superpixels iniciais para tokens de segmento mais grosseiros (64, 32 e 16).
  • Características intermediárias (segmentos finos) capturam detalhes de nível de objeto, enquanto o token [CLS] final captura semânticas de nível de cena.

• Codificador de Texto Parte-Todo:

  • Legendas longas são divididas em sub-legendas (blocos) de 1 a 3 frases, tratando-as como "textos-parte".
  • Um Transformer de Texto-Parte codifica independentemente cada bloco.
  • Um Transformer de Texto-Todo agrega esses embeddings de texto-parte (via um adaptador leve) em uma representação holística da legenda.

2. Objetivo de Alinhamento Hierárquico

O CAFT alinha imagem e texto em granularidades correspondentes dentro de uma hierarquia de baixo para cima:

• Alinhamento de Nível de Parte (Camadas Intermediárias): Características visuais locais (segmentos finos) são alinhadas com embeddings de sub-legenda. Isso é alcançado usando pooling de atenção para gerar características visuais ancoradas no texto sem exigir anotações explícitas de caixas delimitadoras.
• Alinhamento de Nível de Todo (Camada Final): A representação global da imagem ([CLS]) é alinhada com o embedding da legenda completa.
• Função de Perda: O modelo utiliza uma combinação de perdas Sigmoid para ambos os alinhamentos de nível de parte e de todo, que são mais estáveis com tamanhos de lote pequenos e suportam múltiplos positivos.

3. Inferência

Na inferência, a pontuação de alinhamento é uma soma ponderada das similaridades de nível de todo e de nível de parte, permitindo que o modelo aproveite tanto as semânticas globais da cena quanto evidências localizadas.

Contribuições Principais

1. Princípio de Aprendizado Hierárquico: O artigo propõe um princípio onde representações globais de cena são compostas a partir de semânticas de nível de parte ancoradas, em vez de aprender objetivos globais e locais em paralelo ou no mesmo nível de representação.
2. Modelo CAFT: Uma arquitetura inovadora que implementa esse princípio por meio de um codificador de imagem de fino para grosso, um codificador de texto parte-todo e alinhamento cross-domínio hierárquico.
3. Desempenho State-of-the-Art: O CAFT alcança resultados SOTA em seis benchmarks de recuperação com legendas longas (DCI, DOCCI, ShareGPT4V, Urban-1k, IIW) sem utilizar anotações privilegiadas em nível de região (por exemplo, caixas delimitadoras).
4. Ancoragem Visual Emergente: O modelo aprende capacidades fortes de ancoragem visual naturalmente, superando métodos como GroupViT e MaskCLIP em tarefas de segmentação de imagem de referência zero-shot.

Resultados Experimentais

• Desempenho de Recuperação: Treinado em 30 milhões de pares imagem-texto, o CAFT supera métodos anteriores em todos os seis benchmarks de legendas longas. Por exemplo, ele melhora o Recall@1 (R@1) em até 5,4% sobre modelos SOTA anteriores (por exemplo, FLAIR) no conjunto de dados IIW.
• Comportamento de Escala: O CAFT exibe forte comportamento de escala de 3 milhões a 30 milhões de pares de treinamento, superando consistentemente concorrentes com inclinações de escala semelhantes, indicando alta eficiência de dados.
• Ancoragem Zero-Shot: Na segmentação de imagem de referência zero-shot (RefCOCO, RefCOCO+, GRef), o CAFT alcança o melhor mIoU entre modelos treinados sem supervisão de máscara, superando significativamente o GroupViT e o MaskCLIP.
• Retenção de Texto Curto: Apesar de ser otimizado para legendas longas, o CAFT mantém desempenho competitivo em benchmarks padrão de recuperação de texto curto (MSCOCO, Flickr30k), evitando o trade-off típico onde o treinamento com texto longo degrada o desempenho de texto curto.
• Estudos de Ablação:
  • Remover o alinhamento hierárquico (usando apenas perda de nível de todo) resulta em uma queda significativa de desempenho, confirmando que a supervisão de nível de parte deve ser colocada em camadas intermediárias para compor efetivamente a compreensão global.
  • O codificador de imagem de fino para grosso e o codificador de texto parte-todo são mutuamente benéficos quando combinados com alinhamento hierárquico.

Significado e Alegações

O artigo afirma que o alinhamento cross-domínio hierárquico é a chave para a compreensão visualmente ancorada não supervisionada a partir de legendas longas. Ao estruturar o processo de aprendizado para primeiro identificar "o que aparece onde" (árvores) e depois compor essas partes em uma "cena inteira" (floresta), o CAFT mitiga a tendência dos modelos de dependerem de pistas dominantes e ignorarem detalhes de alta granularidade.

Os autores enfatizam que essa abordagem:

• Evita modos de falha de estratégias de alinhamento apenas globais ou planas.
• Melhora tanto a recuperação imagem-para-texto quanto texto-para-imagem em escala.
• Gera segmentação de referência zero-shot precisa como um subproduto natural das representações aprendidas, sem exigir supervisão explícita de segmentação.
• É computacionalmente eficiente, exigindo menos GFLOPs do que variantes comparáveis de CLIP de texto longo devido à sua estratégia de dividir e conquistar.

O trabalho sugere que alinhar estruturas visuais e textuais através de escalas semânticas é um requisito fundamental para uma compreensão visão-linguagem robusta e de alta granularidade.