Resumo Técnico: Sondas Foveadas Recuperam Informação de Ligação Localizada em Modelos de Fundação de Visão

Declaração do Problema

Modelos de fundação de visão (VFMs) são predominantemente avaliados usando um único embedding global de imagem (ex: um token de classe, saída de agrupamento ou média global de pooling). Embora convenientes para tarefas de alinhamento imagem-texto, essa interface introduz uma ambiguidade crítica quando os modelos falham em tarefas espaciais, relacionais ou de ligação: a informação relevante está ausente na representação do codificador congelado, ou foi descartada pelo readout global?

A literatura existente documenta falhas em correspondência composicional, ligação atributo-objeto e raciocínio espacial localizado em modelos como CLIP e SigLIP. Por outro sentido, métodos de predição densa sugerem que os tokens de patch retêm informações locais úteis. Este artigo postula uma distinção entre falha de representação (a informação está genuinamente ausente) e cegueira espacial de nível de readout (a informação existe nos tokens de patch, mas torna-se inacessível após ser colapsada em um vetor global). Os autores argumentam que o pooling global dilui evidências de mudança de rótulo localizadas enquanto expõe a sonda à variação de incômodo de objetos irrelevantes.

Metodologia

O estudo isola a interface de readout mantendo o codificador de visão congelado e variando apenas o mecanismo usado para agregar tokens de patch para uma tarefa de classificação downstream. Nenhos gradientes atualizam as torres de visão ou de texto.

Protocolos de Readout

1. Readouts Globais (Baselines):
   • Global Average Pooling (GAP): Médias uniformemente todos os tokens de patch.
   • Token de Resumo: Utiliza o embedding de resumo pré-treinado (ex: o token de classe do CLIP).
   • Apenas Pergunta (Tarefas de VLM): Utiliza apenas o embedding de texto para medir o conhecimento prévio.
2. Readout Foveado (Proposto):
   • Um pooling de atenção de consulta única leve sobre tokens de patch congelados.
   • Uma consulta $q$ (aprendida para tarefas de visão pura ou derivada do embedding da pergunta para tarefas de VLM) atribui pontuações de atenção aos tokens.
   • A saída é uma soma ponderada de tokens, selecionando evidências antes do colapso espacial.
   • Crucialmente, este readout é treinado sem qualquer supervisão de localização (sem caixas delimitadoras); ele aprende a selecionar tokens baseando-se unicamente na perda da tarefa.
3. Readout Oráculo:
   • Agrupa tokens estritamente dentro de uma região alvo anotada.
   • Serve como um diagnóstico de limite superior para confirmar se a informação está presente nos tokens.

Métrica Diagnóstica: Razão Sinal-Incômodo Contrafactual (NSR)

Para quantificar por que os readouts globais falham, os autores introduzem a NSR, computada diretamente nos embeddings:

• Sinal ($S$): A mudança média quadrática na representação quando o fator definidor do rótulo (ex: cor/forma do alvo) é editado via contrafactuais.
• Incômodo ($N$): A variância na representação quando o conteúdo irrelevante da cena (distratores) é alterado enquanto o rótulo permanece fixo.
• NSR: $N / S$. Um NSR baixo indica que a representação é sensível ao rótulo e estável contra ruído. Um NSR alto indica que a representação é dominada por variação irrelevante.

Tarefas de Avaliação

1. Ligação Cor-Forma Sintética (CSB): Uma tarefa controlada onde a conjunção cor-forma de um objeto alvo deve ser identificada em meio a distratores adversários (iscas) que correspondem a uma ou outra característica (cor ou forma).
2. Detecção de Forma Aglomerada (CSD): Uma variante da CSB livre de cores para testar a ligação de forma sem pistas de cor.
3. Ligação de Cor Localizada Derivada de GQA (GQA):* Uma tarefa de imagem natural onde perguntas pareadas solicitam as cores de duas instâncias diferentes do mesmo objeto dentro da mesma imagem.

Principais Resultados

Tarefas Sintéticas (CSB & CSD)

• Lacuna de Desempenho: Readouts globais (GAP/Resumo) apresentam desempenho próximo ao acaso em precisão contrafactual pareada (aprox. 3,5% para CSB, onde o acaso é 2,8%). Em contraste, o readout foveado atinge 93,5%, aproximando-se do oráculo de 99,3%.
• Sensibilidade ao Clutter: À medida que o número de distratores aumenta, a precisão do readout global cai monotonicamente, enquanto a precisão do readout foveado permanece próxima ao teto.
• Análise de NSR: Readouts globais exibem um NSR alto (7–15), significando que edições de incômodo movem o embedding 7 a 15 vezes mais do que edições de mudança de rótulo. O readout foveado mantém um NSR baixo (~0,3), semelhante ao oráculo.
• Iscas Adversárias: O desempenho do readout global flutua drasticamente com base na composição das iscas (ex: subindo com iscas de forma-alvo, caindo com iscas de contraparte-forma), indicando dependência de estatísticas de nível de cena. O readout foveado permanece invariante à composição das iscas.

Tarefa de Imagem Natural (GQA*)

• Precisão Pareada: Vetores globais independentes de pergunta melhoram apenas modestamente sobre os priors de apenas pergunta (aprox. 4% vs. 2,3% de acaso).
• Impacto da Foveação: A foveação condicionada à pergunta alcança 17,0% de precisão pareada, aproximadamente 4x o desempenho do readout global.
• Lacuna do Oráculo: O oráculo atinge 33,0%, indicando que, embora o readout foveado recupere um sinal significativo, a representação congelada ainda contém informações de cor específicas do objeto não totalmente recuperadas pelo seletor leve.

Contribuições

1. Formulação da Cegueira Espacial de Nível de Readout: O artigo define e distingue este fenômeno da falha de representação genuína, introduzindo o NSR contrafactual como uma ferramenta diagnóstica.
2. Protocolo de Sondagem Foveada: Introdução de um readout de pooling de atenção leve e aprendível que recupera informação de ligação localizada sem ajustar o codificador ou usar supervisão de localização.
3. Evidência Empírica: Demonstração de que o colapso global pode fazer a informação disponível parecer ausente. O estudo mostra que um seletor leve pode recuperar a maior parte do sinal acessível pelo oráculo, sugerindo que a "cegueira espacial" em modelos congelados é frequentemente um artefato da interface de embedding global, e não uma falta de informação espacial nos tokens de patch.

Significância e Alegações

O artigo conclui que a pergunta "Modelos de visão congelados são espacialmente cegos?" é mal especificada; a resposta depende inteiramente da interface usada para acessar os tokens de patch.

• Reavaliando Falhas: Falhas em tarefas espaciais e composicionais não devem ser imediatamente atribuídas a uma falta de representação no modelo de fundação. Em vez disso, podem resultar do fato de a informação estar sendo suprimida pelo pooling global.
• Princípio de Avaliação: Antes de atribuir falhas localizadas à representação aprendida, pesquisadores devem testar se a conclusão sobrevive a um readout que preserva ou acessa seletivamente os tokens espaciais.
• Limitações: Os autores observam que a sonda foveada é uma intervenção diagnóstica, não um substituto para arquiteturas com interações multimodais mais ricas. O estudo foca na ligação de atributos localizados; estender esses diagnósticos para outras tarefas relacionais e arquiteturas é um trabalho futuro.

Os resultados indicam que, embora os embeddings globais sejam resumos úteis, eles não devem ser confundidos com contas completas do que um modelo de visão congelado realmente sabe.