Getting to the Point: Why Pointing Improves LVLMs

Título: Getting to the Point: Por que Apontar Melhora os Modelos de Linguagem-Vision (LVLMs)

Autores: Simone Alghisi, Massimo Rizzoli, Seyed Mahed Mousavi e Giuseppe Riccardi (Universidade de Trento).

1. Problema e Motivação

Os Modelos de Linguagem-Vision (LVLMs) têm alcançado resultados impressionantes em tarefas multimodais, mas frequentemente falham em tarefas cognitivas complexas que exigem raciocínio espacial, temporal e de contagem. Além disso, muitas vezes seus resultados carecem de "grounding" (ancoragem visual), tornando difícil para humanos verificar a base visual das respostas.

Embora métodos baseados em apontar (pointing) — onde o modelo primeiro prevê as coordenadas dos objetos e depois gera a resposta — tenham mostrado melhorar a precisão, existem lacunas críticas na compreensão desse fenômeno:

1. O apontar incentiva a aprendizagem de habilidades (como contar) ou apenas a memorização de tarefas estreitas?
2. As coordenadas preditas são realmente ancoradas na imagem e servem como explicações visuais confiáveis?
3. Qual é o mecanismo exato pelo qual o apontar melhora o desempenho?

2. Metodologia

Os autores investigaram o papel do apontamento em uma tarefa cognitiva controlada: contagem zero-shot de objetos em cenas visuais.

Abordagens Comparadas

Dois métodos de fine-tuning foram comparados em quatro LVLMs de última geração (Qwen2.5-VL 3B/7B, LLaVA-OneVision 8B, InternVL3.5 8B):

• Contagem Direta (Direct Counting - DC): O modelo recebe a imagem e a pergunta e prevê diretamente o número total de objetos.
• Apontar e Contar (Point-then-Count - PtC): O modelo é treinado para primeiro gerar as coordenadas (x, y) dos objetos alvo e, em seguida, gerar a contagem baseada nessas coordenadas.

Dados e Configuração Experimental

Para evitar contaminação de dados e viéses espaciais comuns em conjuntos de dados reais, os autores utilizaram o framework CIVET para gerar conjuntos de dados sintéticos com distribuição uniforme:

• Grid: Imagens divididas em uma grade 9x9, onde objetos são colocados em células específicas.
• Variações:
  • ID (In-Distribution): Contagem de 1 a 9 objetos (mesmo intervalo do treino).
  • OOD (Out-of-Distribution): Contagem de 10 a 18 objetos (para testar generalização).
  • Noisy: Cenas com objetos distratores (até 9 distratores) para testar robustez.
• Objetos: Formas e cores variadas (ex: estrelas azuis, cruzes vermelhas) para testar generalização composicional.

3. Contribuições Principais

1. Generalização de Habilidades: Demonstração de que o fine-tuning com apontamento (PtC) permite que os LVLMs aprendam uma estratégia de contagem mais robusta, generalizando melhor para cenários com mais objetos do que os vistos durante o treinamento (OOD), em comparação com a contagem direta.
2. Análise de Grounding: Avaliação detalhada da precisão das coordenadas preditas, mostrando que, embora a maioria seja correta (>89%), existem viéses espaciais significativos dependendo do modelo e da região da imagem.
3. Análise Mecanística: Evidência de que o ganho de desempenho não vem da análise visual direta durante a contagem final, mas sim do uso das coordenadas textuais como representação estruturada. O modelo ignora quase completamente a imagem ao gerar o número final, confiando apenas na lista de coordenadas.

4. Resultados Chave

• Desempenho OOD (Generalização):

  • O método PtC superou consistentemente o DC em cenários com maior número de objetos (10-18).
  • Modelos como InternVL3.5 e Qwen2.5-VL 7B alcançaram precisão próxima de 100% no OOD usando PtC, enquanto o DC falhou drasticamente.
  • Ao contar apenas o número de coordenadas preditas (ignorando a resposta textual final), a precisão aumentou ainda mais, indicando que o modelo muitas vezes gera coordenadas corretas, mas falha ao somá-las textualmente.

• Robustez a Distratores:

  • O PtC manteve alta precisão mesmo com muitos distratores para modelos maiores (InternVL3.5, Qwen2.5-VL 7B), enquanto o DC e modelos menores degradaram mais rapidamente.

• Confiabilidade das Coordenadas (Grounding):

  • Em média, as coordenadas foram corretamente ancoradas em >89% dos casos (medido por F1-score).
  • Viés Espacial: Modelos como LLaVA-OneVision mostraram desempenho decrescente da esquerda para a direita. InternVL3.5 foi o único a manter um desempenho uniforme em toda a imagem.
  • A consistência entre o número de coordenadas e a resposta final caiu em cenários OOD, sugerindo que o modelo às vezes "esquece" de contar as coordenadas que gerou.

• Análise de Ablação (O "Porquê"):

  • Substituição de Coordenadas: Quando as coordenadas reais foram substituídas por um token genérico ("X") durante o treino, o desempenho no cenário OOD colapsou. Isso prova que a informação espacial é crucial para a generalização.
  • Remoção da Imagem: Ao fornecer as coordenadas corretas sem a imagem, o modelo manteve a precisão (>98%). Ao remover as coordenadas, a precisão caiu drasticamente. Isso indica que, no método PtC, o modelo usa as coordenadas como um intermediário estruturado para realizar a contagem, dispensando a necessidade de reanalisar a imagem visualmente na etapa final.

5. Significado e Conclusão

O artigo conclui que o apontar melhora os LVLMs porque força o modelo a decompor a tarefa complexa de contagem em passos explícitos: percepção (localização) seguida de raciocínio (agregação).

• Mudança de Paradigma: O modelo não está apenas "adivinhando" um número; ele está aprendendo a localizar instâncias e depois contar essas instâncias explicitamente.
• Interpretabilidade: As coordenadas servem como explicações visuais verificáveis, embora os viéses espaciais ainda precisem ser mitigados.
• Futuro: O trabalho sugere que a decomposição de tarefas em sub-tarefas intermediárias (como o apontamento) é uma via promissora para desenvolver modelos com habilidades de raciocínio transferíveis e robustez fora da distribuição (OOD), indo além da simples otimização de precisão em tarefas estreitas.

Em resumo, o apontamento não é apenas um truque de interface, mas um mecanismo que altera fundamentalmente o que o modelo aprende, favorecendo a aquisição de habilidades cognitivas gerais em detrimento da memorização de padrões visuais superficiais.