Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

Título: Bootstrapping MLLM para Contagem de Objetos Agnóstica a Classes com Supervisão Fraca

Autores: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi.
Instituições: Tongji University, Wuhan University, State Key Laboratory of Autonomous Intelligent Unmanned Systems.

---

1. O Problema

A contagem de objetos é uma tarefa fundamental na visão computacional, com aplicações em diversas áreas (tráfego, segurança, biologia, etc.).

• Limitações dos Métodos Atuais:
  • Métodos Supervisionados: Requerem anotações de nível de ponto (bounding boxes ou pontos centrais) para cada objeto. Isso é extremamente caro, trabalhoso e inviável em cenas densas onde objetos se sobrepõem.
  • Métodos com Supervisão Fraca (Existente): Utilizam apenas contagens de nível de imagem (ex: "há 50 pessoas nesta foto"). No entanto, a maioria desses métodos é limitada a contar uma única categoria específica (ex: apenas pessoas) e não generaliza bem para objetos arbitrários.
  • Modelos de Linguagem Multimodal (MLLMs): Embora modelos como o LLaVA tenham capacidades emergentes de contagem, eles tendem a falhar em cenas densas devido ao viés de seus dados de pré-treinamento (que contêm majoritariamente cenas esparsas). Ajuste fino (fine-tuning) direto para prever números exatos também é desafiador devido à lacuna modal entre visão e texto.

Objetivo do Trabalho: Desenvolver um framework que utilize MLLMs para realizar contagem de objetos agnóstica a classes (qualquer objeto definido por prompt de texto) utilizando apenas supervisão fraca (contagem de imagem), sem necessidade de anotações de pontos.

---

2. Metodologia: WS-COC

Os autores propõem o WS-COC (Weakly-Supervised Class-agnostic Object Counting), um framework que "bootstraps" (impulsiona) a capacidade de contagem de MLLMs através de três estratégias principais, sem exigir anotações de pontos.

A. Ajuste de Diálogo "Dividir e Discernir" (Divide-and-Discern Dialogue Tuning - D3T)

• Problema: Prever um número absoluto exato em uma única tentativa é difícil para o MLLM.
• Solução: Reformula a tarefa de regressão direta em uma série de tarefas de julgamento de intervalo através de um diálogo multi-turno.
• Funcionamento:
  1. O modelo recebe uma imagem e uma pergunta sobre se a contagem está acima de um limite médio (ex: "Há mais de 1000 objetos?").
  2. Com base na resposta (Sim/Não), o intervalo de busca é reduzido pela metade (divisão binária).
  3. Esse processo se repete iterativamente, refinando o intervalo de "grande para pequeno" (abordagem curricular).
  4. Quando o intervalo é suficientemente pequeno, o modelo é solicitado a prever o número exato.
• Vantagem: Permite que o modelo aprenda a contar de forma progressiva, do fácil ao difícil.

B. Otimização de Contagem por Comparação e Classificação (Compare-and-Rank Count Optimization - CRCO)

• Problema: A lacuna modal entre características visuais de alta dimensão e tokens de texto discretos torna difícil aprender um mapeamento direto para números exatos.
• Solução: Treinar o modelo para entender a diferença relativa de contagem entre imagens, em vez de valores absolutos.
• Funcionamento:
  1. As imagens do conjunto de treinamento são agrupadas (clusterizadas) com base na contagem de objetos (ex: grupos de baixa, média e alta densidade).
  2. Em cada iteração, amostra-se uma imagem de cada grupo para formar um conjunto de 4 imagens.
  3. O modelo recebe a instrução: "Classifique estas 4 imagens em ordem crescente de contagem de [objeto]".
  4. O modelo é otimizado para prever a ordem correta (ranking), o que é visualmente mais intuitivo e robusto do que prever números exatos.

C. Aprimoramento de Contagem Global e Local (Global-and-Local Counting Enhancement - GLCE)

• Problema: Mesmo após o ajuste fino, os MLLMs tendem a subestimar contagens em cenas extremamente densas.
• Solução: Uma estratégia de inferência que combina previsões globais e locais.
• Funcionamento:
  1. O modelo faz uma previsão global para a imagem inteira.
  2. Se a contagem global for alta (indicando uma cena densa), a imagem é dividida em sub-imagens (ex: grade 2x2).
  3. O modelo prevê a contagem para cada sub-imagem individualmente.
  4. Fusão: A contagem final é obtida pela média da previsão global e da soma das previsões locais. Isso compensa o viés de subestimação global com a tendência de superestimação local (devido a efeitos de borda na divisão), resultando em maior precisão.

---

3. Contribuições Chave

1. Primeiro Framework MLLM com Supervisão Fraca: É a primeira proposta de um framework baseado em MLLM para contagem de objetos agnóstica a classes que utiliza apenas contagens de nível de imagem como supervisão.
2. Estratégias de Bootstrapping Eficientes: Introduz três estratégias simples, mas eficazes (D3T, CRCO, GLCE) que superam as limitações de mapeamento direto e viés de densidade dos MLLMs.
3. Desempenho Competitivo: Demonstra que é possível alcançar desempenho comparável ou superior a métodos supervisionados de última geração (que usam anotações de pontos) com um custo de anotação drasticamente reduzido.
4. Generalização Robusta: O método demonstra forte capacidade de generalização em cenários desconhecidos e em diferentes datasets.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro benchmarks amplamente utilizados: FSC-147, CARPK, PUCPR+ e ShanghaiTech. O modelo base utilizado foi o LLaVA-OneVision-7B.

• Comparação com o Estado da Arte (SOTA):
  • No dataset FSC-147, o WS-COC alcançou um MAE (Erro Absoluto Médio) de 13.91 no conjunto de teste.
  • Este resultado supera ou iguala métodos totalmente supervisionados recentes como CountGD, T2ICount e VLPG.
  • Em cenas densas (>100 objetos), o WS-COC reduziu o erro de MAE de 149.69 (MLLM-Zero) e 82.44 (Base) para 54.37.
• Generalização Cross-Dataset:
  • O modelo treinado no FSC-147 obteve os melhores resultados no PUCPR+ e no ShanghaiTech (SHA), e desempenho competitivo no CARPK e SHB, superando métodos supervisionados em vários cenários.
• Custo de Treinamento:
  • Utilizando o paradigma LoRA (Low-Rank Adaptation), o tempo de treinamento foi de apenas 3.44 horas, significativamente menor do que métodos concorrentes como CountGD (11.73h) e T2ICount (23.84h).

---

5. Significado e Impacto

O trabalho WS-COC representa um avanço significativo na área de contagem de objetos e na aplicação de MLLMs para tarefas de visão computacional de precisão.

• Redução de Custo de Dados: Ao eliminar a necessidade de anotações de pontos (que são caras e demoradas), o método torna viável a aplicação de contagem de objetos em larga escala para novas categorias e cenários.
• Potencialização de MLLMs: Demonstra que MLLMs, quando adequadamente "bootstrapped" com estratégias de raciocínio (diálogo) e aprendizado comparativo, podem superar suas limitações nativas em tarefas de contagem densa.
• Aplicabilidade Prática: A capacidade de contar objetos arbitrários com prompts de texto e supervisão fraca abre portas para aplicações em monitoramento de tráfego, contagem de multidões, agricultura e análise médica sem a barreira de anotação manual intensiva.

Em resumo, o artigo estabelece um novo paradigma onde a inteligência de raciocínio dos MLLMs é alinhada com a eficiência da supervisão fraca para resolver um problema clássico e difícil da visão computacional.