Resumo Técnico: C-REX para Contagem de Expressões de Referência

Declaração do Problema

A Contagem de Expressões de Referência (REC, do inglês Referring Expression Counting) exige que os modelos contem subconjuntos específicos de objetos dentro de uma imagem com base em descrições textuais detalhadas (ex: "pessoa andando de motocicleta" vs. "pessoa caminhando"). O desafio central reside em distinguir objetos visualmente semelhantes que diferem apenas por pistas contextuais ou de atributos sutis.

Os métodos atuais de estado da arte em REC abordam isso por meio de aprendizado contrastivo (CL, do inglês contrastive learning) imagem-texto. Essas abordagens treinam modelos para alinhar tokens visuais com prompts de texto positivos enquanto os afastam de prompts de texto negativos. No entanto, os autores identificam duas limitações críticas nesta estratégia:

1. Escassez de Negativos: O número de expressões de referência negativas disponíveis para uma única imagem é limitado (tipicamente menos de 5), enquanto o aprendizado contrastivo beneficia-se teoricamente de grandes lotes de amostras negativas diversas para aprender representações robustas.
2. Desalinhamento de Embedding: A eficácia do CL imagem-texto depende fortemente do alinhamento entre os espaços de embedding de imagem e texto. Os autores argumentam que esse alinhamento é frequentemente imperfeito, levando a embeddings visuais que emaranham objetos semanticamente distintos, mas visualmente semelhantes, dificultando a discriminação fina.

Metodologia: C-REX

Para superar essas limitações, os autores propõem o C-REX (Contrastive Learning for Referring Expression Counting), um framework que desloca o aprendizado contrastivo inteiramente para o espaço de embedding visual, eliminando a dependência de embeddings de texto para o objetivo contrastivo.

Mecanismo Central

Em vez de contrastar tokens de imagem contra tokens de texto, o C-REX contrasta tokens de imagem contra outros tokens de imagem dentro da mesma imagem.

1. Definição de Amostra: Para uma determinada imagem e expressão de referência (RE), o modelo prevê localizações de objetos. Usando Correspondência Bipartida (Bipartite Matching), os tokens previstos são correspondidos a pontos de verdade fundamental (ground-truth).
   • Positivos ($I^+$): Tokens de imagem correspondidos a objetos de verdade fundamental que pertencem à RE específica.
   • Negativos ($I^-$): Todos os outros tokens de imagem na imagem (incluindo objetos da mesma classe com atributos diferentes, classes diferentes ou tokens de fundo/background).
2. Modificação da Função de Perda: Os autores adaptam a função de Perda Contrastiva Supervisionada padrão [35]. Uma modificação fundamental é que apenas as amostras positivas são usadas como âncoras.
   • O CL supervisionado padrão muitas vezes atrai todas as amostras da mesma classe para perto umas das outras. No entanto, no C-REX, o conjunto negativo ($I^-$) é heterogêneo (contendo carros, pedestres, fundo, etc.). Agrupar esses negativos diversos seria contraproducente.
   • Portanto, a função de perda é formulada para atrair os tokens positivos para mais perto uns dos outros enquanto os afasta de todos os tokens negativos, sem forçar os negativos a se agruparem.
   • O objetivo é definido como:
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. Integração: O C-REX atua como um módulo plug-in. Ele substitui a perda de contraste imagem-texto em arquiteturas de REC existentes (GroundingREC, CAD-GD) ou é adicionado junto às perdas de contagem padrão para baselines baseados em detecção (GroundingDINO). A entrada de texto ainda é usada para condicionar o backbone visual via atenção cruzada (cross-attention), mas o sinal de supervisão para a discriminação provém exclusivamente do espaço visual.

Extensão para Contagem Agnóstica à Classe

O framework é adaptado para contagem agnóstica à classe definindo positivos com base em uma classe alvo, em vez de uma RE específica. Embora a melhoria seja menos pronunciada do que em REC (já que as distinções ao nível de classe já são mais fáceis de aprender), ela ainda produz ganhos de desempenho.

Principais Contribuições

1. Mudança para CL no Espaço de Imagem: O artigo demonstra que realizar o aprendizado contrastivo inteiramente dentro do espaço de embedding da imagem é superior ao CL imagem-texto para REC, fornecendo um sinal mais estável e evitando problemas de alinhamento.
2. Amostragem de Negativos Escalável: Ao utilizar tokens visuais não correspondidos como negativos, o C-REX aumenta o conjunto de amostras negativas de um punhado de prompts de texto para centenas de tokens visuais por imagem, aumentando significativamente a estabilidade da supervisão.
3. Framework Plug-and-Play: O C-REX é projetado para ser agnóstico à arquitetura, integrando-se perfeitamente a modelos de REC existentes sem mudanças estruturais.
4. Desempenho de Estado da Arte: O método alcança novos resultados de estado da arte no dataset REC-8K em múltiplos backbones e arquiteturas.

Resultados Experimentais

Os autores avaliaram o C-REX nos datasets REC-8K e FSC-147 usando três arquiteturas: GroundingREC, CAD-GD e GroundingDINO.

• Ganhos de Desempenho: No dataset REC-8K, o C-REX melhorou o desempenho em até 28% no Erro Médio Absoluto (MAE) (observado no conjunto de validação para o GroundingREC com backbone Swin-T) e 24,5% no Erro Quadrático Médio (RMSE) (observado no conjunto de teste para o GroundingDINO com backbone Swin-T) em comparação aos baselines.
• Consistência: Melhorias foram observadas em todas as faixas de densidade de objetos (0–20, 21–50, 51–100, 100+), com ganhos particulares em tarefas de discriminação fina (ex: distinguir um "carro azul" de um "carro preto" ou "pessoa andando de bicicleta" de "pessoa andando de motocicleta").
• Estudos de Ablação:
  • Imagem-Espaço vs. Imagem-Texto: O CL puro no espaço de imagem superou tanto o CL imagem-texto quanto a combinação de ambos, sugerindo que os sinais imagem-texto são subótimos ou redundantes quando os sinais de espaço de imagem são otimizados.
  • Seleção de Positivos: O uso de Correspondência Bipartida para selecionar positivos superou estratégias baseadas na similaridade de tokens com prompts de texto.
  • Modificação da Perda: A perda modificada (usando apenas positivos como âncoras) superou significativamente a formulação padrão da perda contrastiva supervisionada.
• Robustez: O C-REX mostrou melhor robustez a expressões de referência parafraseadas em comparação aos baselines.
• Comparação com VLMs: Modelos especializados de REC equipados com C-REX superaram significativamente os modelos de linguagem-visão de propósito geral (Molmo2-4B) em configurações zero-shot e few-shot, destacando a necessidade de treinamento específico para a tarefa.

Significância e Alegações

O artigo alega que o "espaço de embedding correto" para o aprendizado contrastivo em REC é o espaço de embedding visual, não o espaço imagem-texto. Ao desacoplar o objetivo contrastivo da modalidade de texto, o modelo aprende representações visuais finas mais ricas e estáveis. Os autores enfatizam que esta abordagem resolve a escassez de amostras negativas e a instabilidade do alinhamento cross-modal, levando a uma generalização superior em cenários de contagem de mundo aberto. O framework é apresentado como uma ferramenta versátil que pode aprimorar não apenas o REC, mas também outras tarefas de contagem que exigem discriminação fina, como a contagem agnóstica à classe.