Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

Título: Cego à Posição, Viciado em Linguagem: Investigando o Viés Representacional de Camadas Intermediárias em Codificadores Visão-Linguagem para Entendimento Espacial Grounded Zero-Shot

1. Problema e Motivação

Os Codificadores Visão-Linguagem (VLEs) pré-treinados, como o CLIP e o SigLIP, tornaram-se a base padrão para tarefas de Segmentação de Imagem Referenciada (RIS) em cenários zero-shot (sem treinamento específico). No entanto, o artigo identifica duas falhas críticas fundamentais quando esses modelos são utilizados para entender a localização espacial precisa baseada em linguagem:

1. Cegueira Posicional (Spatial Blindness): As representações da camada final dos VLEs são otimizadas para alinhamento semântico global. Consequentemente, elas perdem a sensibilidade a detalhes espaciais finos e posições relativas. Isso leva a modelos que frequentemente selecionam o contexto de fundo em vez do objeto alvo quando a instrução envolve relações espaciais (ex: "o vaso à esquerda").
2. Viés Linguístico (Language Bias): Em cenários multilíngues, as representações de texto na camada final sofrem desvios geométricos sistemáticos dependendo do idioma. Mesmo que a semântica seja idêntica, embeddings de diferentes idiomas ocupam regiões distintas no espaço latente compartilhado, degradando o desempenho em idiomas que não são inglês.

O problema central é que as pistas espaciais precisas e as representações linguísticas estáveis ainda existem dentro das camadas intermediárias do modelo, mas são atenuadas ou distorcidas na interface de alinhamento final.

2. Metodologia: Framework B2G (Biased to Grounded)

Os autores propõem o B2G, um framework training-free (sem treinamento) que atua como um plug-in para melhorar o ranking de máscaras em pipelines de RIS existentes. O método segue um paradigma unificado de Probar → Selecionar → Groundar:

A. Probing de Viés Espacial (Visão)

• Observação: As camadas intermediárias da visão preservam estruturas sensíveis à posição, enquanto a camada final é quase invariante à posição.
• Técnica: O B2G utiliza uma sonda de permutação de tiles para identificar qual camada intermediária é mais sensível à disposição espacial.
• Geração do P-Map (Spatial Map): Extrai-se embeddings de patches da camada visual selecionada. Ocorre um fenômeno de "visualização oposta" (onde patches de foreground têm baixa similaridade coseno). Para corrigir isso, o método aplica uma inversão de sinal determinística nos embeddings de patches antes da projeção, gerando um mapa de similaridade denso e interpretable (P-Map) que destaca as regiões relevantes.

B. Probing de Viés Multilíngue (Texto)

• Observação: Camadas intermediárias do codificador de texto mantêm uma geometria mais consistente entre idiomas do que a camada final.
• Técnica: Para uma expressão de referência, o sistema gera traduções em múltiplos idiomas. Ele calcula a consistência cruzada entre os embeddings de cada camada para identificar a camada estável ao idioma ($l^*_{txt}$).
• Centróide Multilíngue: Calcula-se um centróide médio dos embeddings multilíngues na camada estável selecionada. Este centróide é injetado no estado oculto da linguagem âncora antes da contextualização final, estabilizando a representação geométrica e neutralizando o viés específico de cada idioma.

C. Grounding e Reranking

• O P-Map é convertido em uma máscara de orientação espacial ($G$).
• O sistema gera candidatos a máscaras (usando um segmentador off-the-shelf como Mask2Former ou SAM).
• O score final é uma combinação da similaridade imagem-texto global e uma pontuação de sobreposição ($IoU$) entre o candidato e a máscara de orientação $G$. Isso permite reclassificar os candidatos para selecionar o que melhor corresponde à localização espacial descrita.

3. Principais Contribuições

1. Diagnóstico de Camadas: Demonstra empiricamente que o viés espacial e linguístico não é uma falta de informação no modelo, mas sim um efeito da abstração excessiva na camada final. As camadas intermediárias contêm as pistas estruturais necessárias.
2. Framework Training-Free: O B2G não requer ajuste de pesos (fine-tuning), retropropagação de gradientes ou recriação de modelos. Funciona inteiramente sobre VLEs congelados.
3. Solução Unificada: Aborda simultaneamente a sensibilidade espacial e a robustez multilíngue, algo que métodos anteriores tratavam de forma isolada ou exigiam treinamento pesado.
4. Novo Mapa Espacial (P-Map): Introduz um mecanismo eficiente para extrair mapas de ativação espacial sem o custo computacional de recalculação de atenção (como no Grad-CAM ou CLIPSurgery).

4. Resultados Experimentais

Os testes foram realizados em benchmarks padrão (RefCOCO, RefCOCO+, RefCOCOg) e em benchmarks multilíngues traduzidos.

• RIS Zero-Shot (Inglês): O B2G superou consistentemente os baselines de estado da arte (como Global-Local e HybridGL).
  • Ganhos de 1–7 mIoU em nove benchmarks.
  • No RefCOCOg, melhorou o desempenho em +5.75 mIoU (com CLIP ViT-B/16).
  • No RefCOCO+, melhorou em +5.47 mIoU.
• RIS Multilíngue Zero-Shot:
  • Aumentou a precisão média de localização (IoU@50) de 45.13 para 53.41 em nove benchmarks traduzidos.
  • Melhorou o mIoU médio de 42.42 para 49.62.
  • Recuperou drasticamente o desempenho em idiomas que sofriam de "colapso" geométrico (ex: Alemão e Chinês), sem degradar o desempenho em inglês.
• Recuperação Imagem-Texto (Retrieval):
  • Melhorou a precisão de recuperação zero-shot multilíngue (Recall@1) em +4.22 (RefCOCO) e +6.42 (RefCOCOg), demonstrando que a estabilização geométrica beneficia tarefas além da segmentação.
• Eficiência: O método adiciona um custo de inferência modesto (aprox. 1.5x a 1.7x o tempo de inferência base), mas é significativamente mais rápido que métodos baseados em Grad-CAM iterativo.

5. Significado e Impacto

Este trabalho muda a perspectiva sobre como utilizar VLEs pré-treinados para tarefas de raciocínio espacial e multilíngue.

• Desmistificação do "Black Box": Mostra que a "cegueira" espacial e o viés linguístico são artefatos da camada final, não uma limitação intrínseca do modelo inteiro.
• Acesso a Representações Latentes: Demonstra que é possível extrair e aproveitar informações estruturais valiosas que estão ocultas nas camadas intermediárias, sem necessidade de retreinamento massivo.
• Aplicabilidade Global: Oferece uma solução viável e acessível para tornar sistemas de visão computacional mais robustos e equitativos em múltiplos idiomas e cenários espaciais complexos, com implicações para robótica, navegação autônoma e interfaces homem-máquina mais naturais.

Em resumo, o B2G revela que os modelos de IA já possuem a capacidade de entender "onde" e "como" os objetos se relacionam em diferentes idiomas; o desafio era apenas saber onde (em qual camada) e como (via centróide e mapeamento espacial) acessar essas informações.