Resumo Técnico: SaMer – Fusão de Tokens Preservadora de Evidência de Objetos para Recuperação de Visão-Linguagem

Definição do Problema

Sistemas de recuperação de visão-linguagem multi-vetor, como o ColPali e o ColQwen2, alcançam uma recuperação granular ao preservar a evidência de tokens em nível de token por meio da interação tardia de similaridade máxima (MaxSim). No entanto, essa abordagem acarreta custos significativos de armazenamento e computação porque exige o armazenamento e a comparação de centenas a milhares de embeddings de patches do lado da imagem para cada imagem.

As estratégias de compressão de tokens existentes, como a poda (pruning) ou a fusão baseada em características, tentam reduzir esses custos. Contudo, os autores identificam um modo de falha crítico nessas abordagens: o colapso de instância de objeto (object-instance collapse). Quando a compressão depende exclusivamente da similaridade de características, patches visualmente semelhantes de diferentes instâncias de objetos (por exemplo, duas pessoas ou carros diferentes) podem ser fundidos em uma única representação. Isso colapsa evidências distintas que futuros tokens de consulta poderiam precisar selecionar. Além disso, a poda descarta evidências visuais antes que a consulta seja conhecida, podendo remover os tokens específicos necessários para uma correspondência. O desafio central é comprimir os tokens do lado da imagem sem perder a evidência de nível de objeto e de região necessária para a correspondência selecionável pela consulta.

Metodologia: SaMer

Os autores propõem o SaMer (Semantic-aware Merging), um framework de fusão de tokens consciente de objetos, projetado para comprimir tokens visuais pós-projetor em $K$ centroides representativos, preservando a interface original de interação tardia.

1. Atribuição Suave Espacial-de-Características

O SaMer comprime $N$ tokens visuais pós-projetor em $K$ tokens fundidos ($K \ll N$). Ele emprega um mecanismo de atribuição suave espacial-de-características onde cada token visual $v_i$ é atribuído a um representante $k$ com base em uma métrica de distância que combina:

• Similaridade de Características: $1 - v_i^\top \mu_k$, agrupando tokens semanticamente semelhantes.
• Coerência Espacial: $\gamma \|p_i - s_k\|_2^2$, evitando que regiões visualmente semelhantes, mas espacialmente distantes, sejam fundidas de forma agressiva.

Os representantes são formados como centroides ponderados normalizados ($r_k$) em vez de tokens descartados, garantindo que a representação comprimida permaneça compatível com a pontuação MaxSim.

2. Prior de Fusão Consciente de Objeto (Apenas no Treinamento)

Para evitar a mistura de instâncias, o SaMer utiliza anotações de objetos apenas durante o treinamento como um prior de fusão, não como uma perda de ancoragem (grounding loss) auxiliar.

• Mecanismo: O sistema estima a distribuição de rótulos de caixa delimitadora (bbox) para cada representante usando uma atribuição rígida com gradiente interrompido (stop-gradient).
• Penalidade: Uma penalidade de inconsistência de instância ($P_{inst}$) é adicionada à métrica de distância. Se a atribuição de um token a um representante resultar na mistura de evidências de diferentes instâncias de objetos (ou seja, o rótulo da bbox do token difere do rótulo dominante do representante), o peso de atribuição é reduzido.
• Inferência: Durante a inferência, o SaMer não requer caixas delimitadoras de verdade fundamental ou detectores de objetos. Ele realiza a atribuição suave espacial-de-características livre de anotações, confiando na camada de projeção adaptada durante o treinamento para preservar implicitamente a estrutura do objeto.

3. Adaptação de Projeção Única Consciente de Compressão

Para alinhar a representação comprimida com o espaço de recuperação, o SaMer adapta apenas a camada de projeção compartilhada, mantendo o codificador de visão e o backbone de linguagem congelados.

• A camada de projeção é treinada usando uma perda de recuperação InfoNCE multi-positiva sobre as pontuações MaxSim comprimidas ($S_K$).
• Isso garante que os tokens fundidos permaneçam eficazes para a pontuação de interação tardia sem alterar as representações do backbone ou exigir uma nova arquitetura de recuperação.

Principais Contribuições

1. Enquadramento do Problema: Os autores redefinem a compressão de tokens visuais para recuperação de interação tardia como um problema de preservação de evidência, identificando o colapso de instância de objeto como um modo de falha primário da fusão baseada apenas em características.
2. Framework SaMer: Eles propõem um método de fusão de tokens consciente de objetos que utiliza anotações de objetos em tempo de treinamento como um prior de fusão para desencorajar a fusão entre instâncias, não exigindo anotações ou detectores durante a inferência.
3. Eficiência e Desempenho: Eles demonstram que o SaMer, com $K=64$, remove mais de 93% dos tokens do lado da imagem e reduz o armazenamento do ColPali em 16,09×, enquanto simultaneamente melhora o desempenho de recuperação (R@1) e o grounding de nível de frase em comparação com os baselines de poda e pooling.

Resultados Experimentais

Os autores avaliaram o SaMer no Flickr30K, MSCOCO, ImageCoDe e DocVQA.

• Desempenho de Recuperação:
  • No Flickr30K, o SaMer melhorou o R@1 do ColPali de 77,0 para 82,4 e o do ColQwen2 de 73,6 para 79,3.
  • No MSCOCO, o R@1 do ColPali melhorou de 47,4 para 51,6.
  • O SaMer superou consistentemente os baselines de compressão (H-Pool, HPC, SAP) sob orçamentos de tokens correspondentes ($K=64$) e configurações de adaptação.
• Qualidade de Grounding:
  • O SaMer demonstrou um superior grounding de nível de frase. Métricas como BoxMass (concentração de relevância dentro de regiões anotadas) aumentaram de 47,8 para 54,2, e o CoverageIoU melhorou de 13,1 para 16,4.
  • Isso indica que o SaMer preserva melhor a evidência de objeto selecionável pela consulta do que a poda ou o pooling simples, que frequentemente espalham a relevância para o fundo ou objetos próximos.
• Eficiência:
  • Para o ColPali, o SaMer reduziu o armazenamento em 16,09× e as operações MaxSim em 16,1×.
  • O throughput de consulta (QPS) aumentou em 4,3× no Flickr30K e 9,1× no MSCOCO.
  • Para o ColQwen2, o armazenamento foi reduzido em 3,73× (Flickr30K) e 1,99× (MSCOCO), com ganhos de throughput correspondentes.

Significância e Alegações

O artigo argumenta que a eficácia da compressão de recuperação depende não meramente da redução da contagem de tokens, mas da preservação da evidência que os futuros tokens de consulta precisam selecionar.

Os autores afirmam que:

1. A fusão consciente de objetos é superior ao pooling baseado apenas em características: Simplesmente fundir patches semelhantes pode colapsar distintas instâncias de objetos, enquanto o prior de objeto do SaMer mantém a distinção necessária para a recuperação granular.
2. Priors em tempo de treinamento permitem eficiência em tempo de inferência: Ao usar anotações de objetos apenas como um prior de fusão durante o treinamento, o SaMer alcança uma compressão consistente com objetos sem o overhead computacional de executar detectores durante a inferência.
3. A adaptação de projeção única é suficiente: Alinhar o espaço de recuperação através da camada de projeção permite que o sistema mantenha alto desempenho com backbones congelados, tornando o método "plug-and-play" para recuperadores multi-vetor existentes.

Os resultados sugerem que a recuperação multi-vetor eficiente requer um equilíbrio entre compressão e a preservação de evidência de nível de objeto, selecionável pela consulta.