Resumo Técnico: Autoaperfeiçoamento de Localização de Objetos Pequenos em LVLMs

Declaração do Problema

Modelos de Linguagem de Visão de Grande Escala (LVLMs) demonstraram capacidades notáveis em raciocínio de visão-linguagem e localização direta de objetos (gerando coordenadas de caixas delimitadoras sem cabeças de detecção especializadas). No entanto, os atuais modelos de estado da arte (SOTA) exibem uma lacuna de desempenho significativa ao localizar objetos pequenos (ex: pedestres distantes) em comparação com objetos grandes. Essa limitação impõe riscos para implantações em cenções críticas de segurança.

Abordagens existentes para melhorar a localização tipicamente dependem de:

1. Ajuste fino (fine-tuning) adicional do LVLM.
2. Integração de módulos de localização externos (ex: SAM, detectores de objetos).
3. Estratégias de decodificação heurísticas.

Esses métodos frequentemente exigem recursos computacionais substanciais, modificações arquiteturais ou supervisão externa. A questão central abordada por este trabalho é: Podem as representações internas dentro de um LVLM identificar caixas delimitadoras de objetos pequenos confiáveis sem realizar o ajuste fino do modelo ou usar detectores externos?

Metodologia: Seleção de Candidatos Baseada em Atenção (ACS)

Os autores propõem o framework de Seleção de Candidatos Baseada em Atenção (ACS), que aproveita os padrões de atenção intrínsecos dos LVLMs para estimar a qualidade da caixa delimitadora e selecionar a melhor saída de múltiplas respostas amostradas. O framework opera em três estáções:

1. Regressor de IoU de Atenção & ACS-Learned

Os autores hipotetizam que as estruturas de atenção espacial correlacionam-se fortemente com a qualidade da localização (grounding).

• Coleta de Dados: Eles realizam amostragem de múltiplas respostas (controlada por temperatura) para gerar um conjunto de caixas delimitadoras candidatas e extrair seus mapas de atenção associados de todas as camadas e cabeças do transformer.
• Treinamento do Regressor: Um Regressor de IoU leve ($f_\theta$) é treinado para prever o score de Intersecção sobre União (IoU) diretamente a partir desses mapas de atenção. O objetivo de treinamento é o Erro Quadrático Médio (MSE) entre o IoU previsto e o real.
• ACS-Learned: Na inferência, este regressor treinado pontua cada caixa candidata com base em seus padrões de atenção. O candidato com o maior IoU previsto é selecionado. Esta variante requer um componente aprendido, mas não exige o ajuste fino do LVLM.

2. Análise de Padrões Críticos para Localização

Para eliminar a necessidade de um regressor aprendido na inferência, os autores analisam o regressor treinado para entender o que ele aprendeu.

• Atribuição de Gradiente: Ao calcular os gradientes da perda do regressor em relação aos pesos de atenção, eles identificam camadas e cabeças específicas do transformer que são mais críticas para a localização. Para o Qwen2.5-VL, as camadas 14–21 foram identificadas como críticas; para o InternVL-3.5, as camadas 17–26.
• Correlação Entropia-IoU: A análise revela que, nessas camadas críticas, previsões de alta qualidade (alto IoU) correspondem a mapas de atenção concentrados (baixa entropia), enquanto previsões ruins exibem atenção difusa (alta entropia).

3. ACS-Free: Destilação Sem Treinamento

Com base na análise, os autores derivam o ACS-Free, um seletor sem parâmetros.

• Mecanismo: Ele identifica as principais cabeças de atenção discriminativas (aquelas com a maior diferença de entropia entre os grupos de alto e baixo IoU) dentro das camadas críticas.
• Regra de Seleção: Durante a inferência, ele calcula a entropia espacial média dos mapas de atenção para cada caixa candidata através dessas cabeças específicas. O candidato com a menor entropia média (indicando a atenção mais concentrada) é selecionado.
• Vantagem: O ACS-Free não requer componentes aprendidos durante a inferência, tornando-o um aprimoramento "plug-and-play".

Principais Contribuições

1. Descoberta: O artigo estabelece uma forte conexão entre os padrões de atenção interna e a qualidade da localização, demonstrando que a estrutura da atenção codifica se uma caixa prevista de um objeto pequeno é confiável.
2. Validação (ACS-Learned): Um regressor de IoU leve, treinado apenas em mapas de atenção, alcança uma forte previsão de IoU (Pearson $r > 0.67$), validando que a atenção sozinha carrega sinal suficiente para estimativa de qualidade.
3. Interpretabilidade & Destilação (ACS-Free): Através da análise de gradiente e entropia, os autores identificam camadas e cabeças específicas do transformer críticas para a localização. Eles destilam esse conhecimento em uma regra baseada em entropia sem treinamento (ACS-Free) que classifica os candidatos sem parâmetros aprendidos.
4. Desempenho: O framework alcança um autoaperfeiçoamento significativo na localização de objetos pequenos sem ajuste fino do LVLM ou detectores externos.

Resultados Experimentais

Os experimentos foram conduzidos nos datasets COCO e Objects365, focando em objetos pequenos (0,1%–1% da área da imagem), utilizando Qwen2.5-VL-7B e InternVL-3.5-8B.

• Autoaperfeiçoamento: O ACS-Learned alcança até 19% de melhoria em Acc@0.5 na localização de objetos pequenos em comparação com a decodificação gananciosa (greedy decoding) (ex: InternVL-3.5 no Objects365 melhorou de 21,9% para 25,5% Acc@0.5; Qwen2.5-VL no COCO melhorou de 61,4% para 65,3%).
• Desempenho Sem Treinamento: O ACS-Free classifica-se como o melhor entre todos os métodos sem treinamento, frequentemente superando baselines como Majority Voting (MajVote) e Token Entropy (TokEntropy). Com $\tau=0.5$, o ACS-Free melhorou a Acc@0.5 em +3,26% (Qwen) e +8,15% (InternVL) sobre a decodificação gananciosa no COCO.
• Baselines: A entropia de vocabulário ao nível de token (TokEntropy) falhou em capturar a qualidade da localização espacial, performando pior até mesmo que baselines de amostra única. Isso destaca que o sinal para localização reside na organização da atenção espacial, não na incerteza da geração de tokens.
• Eficiência: O desempenho satura com $N=3$ a $N=5$ amostras, indicando um overhead computacional mínimo em relação aos ganhos obtidos.

Significância e Alegações

O artigo afirma que uma estrutura de atenção útil melhora tanto a confiabilidade quanto a interpretabilidade da localização em LVLMs.

• Insight Mecanístico: O trabalho fornece insights interpretáveis sobre como os LVLMs processam informações espaciais, revelando que camadas específicas do transformer transitam de padrões globais para atenção focada em objetos, e que a entropia de atenção nessas camadas serve como um proxy para a confiança da previsão.
• Utilidade Prática: O framework ACS oferece um aprimoramento "plug-and-play" para LVLMs existentes. Ele permite o autoaperfeiçoamento na detecção de objetos pequenos sem o custo de ajuste fino ou a dependência de modelos de detecção externos.
• Limitações: Os autores observam que o método requer acesso de "caixa branca" aos mapas de atenção (limitando a aplicabilidade a modelos de API fechada como GPT-4V) e incorre em um custo de inferência modesto devido à amostragem, embora isso seja mitigado pela rápida saturação de desempenho com baixas contagens de amostras.