💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

O artigo apresenta o CoDi, um novo modelo de difusão latente condicionado por exemplares que supera significativamente os métodos de estado da arte existentes em contagem de objetos com poucos exemplos ao abordar eficazmente desafios em regiões densas de objetos pequenos por meio de um módulo de condicionamento especializado que gera mapas de densidade de alta qualidade para localização precisa.

Autores originais: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Publicado 2026-07-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando contar cada grão de areia em uma praia, ou cada pequena estrela em um céu noturno lotado. Se você apenas olhar para o quadro geral, será um borrão. Se tentar contar um por um com uma lupa, pode perder alguns ou contar o mesmo duas vezes. Este é o struggle diário dos computadores ao tentar "contar" coisas em imagens, uma tarefa conhecida como contagem de objetos. Por muito tempo, os computadores tiveram duas maneiras principais de fazer isso. A primeira era como despejar água sobre a areia: eles criavam um "mapa de densidade", uma colina suave onde a altura representava quantos itens havia lá. Era bom para obter um total aproximado, mas terrível para dizer exatamente onde estava cada grão. O segundo modo era como usar um laser para marcar cada estrela. Isso era ótimo para encontrar localizações, mas se as estrelas estivessem muito aglomeradas, o computador ficaria confuso, ficaria sem "ponteiros" para usar e começaria a perder coisas ou a entrar em um loop.

Agora, imagine um novo tipo de artista que não apenas pinta uma colina borrada ou usa um número limitado de lasers. Em vez disso, este artista começa com uma tela cheia de ruído estático — como uma tela de TV sem sinal — e lentamente, passo a passo, limpa o ruído para revelar uma imagem perfeita e nítida de exatamente onde cada objeto está. Esta é a ideia central por trás de um novo método chamado CoDi (Counting by Diffusion). Os pesquisadores por trás deste artigo, Grega Šuštar e sua equipe, construíram um sistema que utiliza um "modelo de difusão" — um tipo de IA famosa por gerar imagens — para resolver o problema da contagem. Em vez de adivinhar um número ou desenhar uma caixa, o CoDi aprende a "remover o ruído" (denoise) de uma tela em branco até que surjam pontos pequenos e distintos, cada um representando um objeto. O truque de mágica é que ele pode fazer isso mesmo que você mostre a ele apenas um ou dois exemplos do que procurar, ou mesmo se não lhe der exemplo nenhum. É como mostrar a um amigo uma única foto de um tipo específico de cogumelo e pedir para ele encontrar cada um desses cogumelos em uma floresta; o CoDi não apenas adivinha o total, mas aponta o local exato de cada um deles, mesmo nas partes mais densas e lotadas da floresta.

O Problema: O Dilema do "Quarto Lotado"

Contar coisas em uma foto é fácil quando os objetos estão espalhados. Mas o que acontece quando você tem uma foto de um enxame de abelhas, uma pilha de uvas ou uma multidão de pessoas? É aqui que os métodos antigos batem no muro.

Os métodos de "densidade" são como tentar contar uma multidão medindo a altura do "calor" da multidão. Se a multidão é densa, o calor é alto, e o computador sabe que há muitas pessoas. Mas ele não consegue dizer quem está onde. Se você tentar encontrar indivíduos olhando para os picos mais altos nesse mapa de calor, muitas vezes errará porque o calor se mistura.

Os métodos de "detecção" são como ter um segurança com um número limitado de walkie-talkies. O segurança pode apontar para pessoas específicas, mas se houver pessoas demais (mais do que o número de walkie-talkies), o segurança tem que dividir a multidão em grupos menores, contá-los separadamente e tentar costurar as respostas de volta. Isso é lento, bagunçado e frequentemente leva a contar a mesma pessoa duas vezes ou a perder alguém completamente.

A Solução: O "Ruído Mágico" do CoDi

Os autores propõem o CoDi, um sistema que trata a contagem como um jogo de "limpar o estático".

Veja como funciona, passo a passo:

O Ponto de Partida: Imagine uma tela de TV vazia e ruidosa. Este é o ponto de partida para o CoDi. Ele ainda não sabe onde os objetos estão.
A Pista do "Exemplar": Se você quiser contar maçãs, mostra ao computador algumas fotos de maçãs (chamadas de "exemplares"). O CoDi possui um "módulo de condicionamento" especial que atua como um filtro super inteligente. Ele olha para seus exemplos de maçã e diz: "Ok, preciso encontrar coisas que se pareçam exatamente com estas e ignorar todo o resto".
A Dança da Remoção de Ruído: O CoDi começa a remover o ruído da tela da TV, mas faz isso de uma maneira muito específica. Ele não apenas adivinha; ele refina a imagem gradualmente. A cada passo, o ruído borrado transforma-se em pontos cada vez mais nítidos.
O Resultado: Ao final do processo, a tela não é uma colina borrada ou uma lista bagunçada. É um mapa limpo com picos pequenos e nítidos. Cada pico é um ponto perfeito representando um objeto. O computador então apenas conta os pontos.

O ingrediente secreto é que o CoDi aprende a gerar esses pontos nítidos um por um, em vez de tirá-los pela média. Isso significa que mesmo em uma cena superlotada onde os objetos estão se tocando, o CoDi consegue separá-los e contá-los com precisão.

O Que Eles Descobriram: Vencendo o Melhor

A equipe testou o CoDi em alguns conjuntos de dados muito difíceis, incluindo o FSC147 (que possui 147 tipos diferentes de objetos) e o MCAC (um conjunto de dados de contagem multiclasse). Os resultados foram impressionantes:

Contagem Few-Shot: Quando fornecidos apenas alguns exemplos (como 3 imagens do objeto alvo), o CoDi superou os melhores métodos atuais em 15% em termos de precisão (Erro Absoluto Médio, ou MAE).
Contagem One-Shot: Mesmo quando fornecido apenas um exemplo, o CoDi ainda foi o melhor, superando o método anterior de topo em 13%.
Sem Exemplos (Reference-less): Quando fornecido nenhum exemplo e solicitado a contar o objeto mais comum na imagem, o CoDi ainda superou os melhores métodos existentes em 10%.
O Desafio Multiclasse: No conjunto de dados MCAC, onde uma imagem pode ter maçãs, laranjas e bananas todas misturadas, o CoDi esmagou a competição, superando o método de topo por impressionantes 38%.

Por Que Isso Importa

O artigo descarta explicitamente a ideia de que você precisa de um grande número de "ponteiros" pré-treinados (como os antigos métodos de detecção) para contar grandes multidões. Eles mostraram que o mosaico de imagens (cortar as imagens em pedaços) é um contorno desajeitado que atrasa o processo e causa erros. O CoDi prova que você não precisa cortar a imagem; você pode processar o todo de uma vez e ainda obter resultados perfeitos.

Eles também mostraram que o CoDi é robusto. Mesmo que os exemplos que você dê sejam ligeiramente desorganizados ou os objetos sejam minúsculos, ele se mantém firme. Na verdade, os autores descobriram que o CoDi é tão estável que, se você passar a mesma imagem por ele vinte vezes, a contagem muda menos de 1% em média.

Os Limites e o Futuro

Embora o CoDi seja um grande passo à frente, os autores são honestos sobre onde ele enfrenta dificuldades. Às vezes, tem problemas com objetos extremamente longos e finos (como uma fileira de livros em pé) ou quando os objetos estão sobrepostos de formas muito estranhas. Eles também observam que, embora seja ótimo em encontrar o centro de um objeto, ainda não desenha uma caixa ao redor de todo o objeto (embora planejem trabalhar nisso).

Em suma, o CoDi sugere que, ao tratar a contagem como um processo de "limpar o ruído" em vez de "adivinhar um número", podemos construir computadores que veem multidões da mesma forma que os humanos: não como um borrão, mas como uma coleção de indivíduos distintos e contáveis. É uma nova maneira de ver o mundo, um ponto de cada vez.

Resumo Técnico: CoDi – Um Modelo de Difusão Condicionado por Exemplares para Contagem de Baixo Exemplo (Low-Shot)

1. Definição do Problema

O artigo aborda a contagem de objetos de baixo exemplo (low-shot counting), uma tarefa que envolve estimar o número de objetos de categorias não vistas em uma imagem usando apenas alguns exemplares anotados (few-shot/one-shot) ou nenhum exemplar (sem referência).

Embora os métodos modernos tenham progredido, eles enfrentam desafios significativos em regiões densas contendo objetos pequenos:

Contadores baseados em densidade (ex: LOCA, CounTR) estimam contagens somando um mapa de densidade regredido. No entanto, esses mapas frequentemente carecem de modos únicos bem expressos para objetos individuais, levando a uma localização pobre e falsos positivos quando a Supressão de Não-Máximos (NMS) é aplicada.
Contadores baseados em detecção (ex: CountGD, Geço) predizem caixas delimitadoras (bounding boxes) ou pontos centrais. Esses métodos são frequentemente baseados em consultas (arquiteturas transformer) com um número fixo de consultas pré-treinadas. Em cenas densas, a contagem de objetos frequentemente excede essa capacidade, forçando o uso de tiling (divisão de imagens em recortes) computacionalmente caro e pós-processamento complexo de reconciliação de bordas. Além disso, modelos baseados em regressão treinados em centros de verdade fundamental (ground-truth) ruidosos podem produzir mapas borrados, inadequados para contagem de picos precisos.

2. Metodologia: CoDi

Os autores propõem o CoDi (Counting by Diffusion), o primeiro contador de baixo exemplo baseado em difusão latente projetado para produzir mapas de localização de objetos de alta qualidade e nítidos.

Arquitetura Central

O CoDi utiliza um Modelo de Difusão Latente Condicionado (LDM) para refinar iterativamente um mapa de localização de objetos.

Representação de Entrada:
- A imagem de entrada $I$ é codificada em uma representação latente $z_I$ usando um backbone AM-RADIO pré-treinado.
- O mapa de localização de objetos alvo $L$ é construído colocando Gaussianas normalizadas sobre os centros da verdade fundamental. Este mapa é projetado em um espaço latente $z_0$ via um VAE pré-treinado.
- Durante o processo de difusão direta, ruído é adicionado a $z_0$ para criar uma sequência de latentes ruidosos $z_t$ .
Rede de Denoising (Redução de Ruído):
- Uma UNet padrão (três níveis) é treinada para reverter o processo de difusão, prevendo o ruído ou o vetor de velocidade ( $v_t$ ) para recuperar o mapa latente limpo.
- A entrada para a UNet é a concatenação do latente da imagem $z_I$ e o atual latente de localização ruidoso $z_t$ .
Condicionamento Baseado em Exemplar (EC):
- Esta é a inovação central. Para especializar o modelo à categoria de objeto alvo no momento do teste, a rede é condicionada em caixas delimitadoras de exemplares fornecidas pelo usuário.
- Extração de Protótipo Adaptativa: Diferente do condicionamento estático, o CoDi extrai protótipos de aparência (via RoI-Align nas características atuais da UNet) e protótipos de forma (via MLP nas dimensões das caixas) em cada passo de difusão.
- Modulação: Esses protótipos são injetados nas primeiras e últimas camadas da UNet através de uma camada de atenção Transformer. As características da UNet atuam como queries, enquanto os protótipos específicos do tempo atuam como keys e values. Isso permite que a rede adapte continuamente sua compreensão do objeto alvo conforme o processo de difusão refina o mapa de localização.
Inferência:
- Partindo de um ruído Gaussiano aleatório, a rede realiza $T$ passos de denoising (ex: $T=25$ ).
- O mapa latente final é decodificado pelo VAE em um mapa de localização de alta resolução $\tilde{L}$ .
- Os centros dos objetos são detectados como máximos locais em vizinhanças de $3\times3$ que excedem um limiar, e a contagem total é o número de picos detectados.

Adaptação Sem Referência (Reference-Less)

Para cenários sem exemplares, os autores introduzem consultas sem referência treináveis. Essas consultas são convertidas em protótipos ao atender às características das camadas, permitindo que o modelo conte a classe majoritária sem prompts visuais específicos. Isso requer apenas o ajuste fino (fine-tuning) dos parâmetros da consulta enquanto o restante da rede permanece congelado.

3. Principais Contribuições

Primeiro Contador de Baixo Exemplo de Difusão Latente: O CoDi é o primeiro método que aplica difusão latente especificamente para contagem de baixo exemplo, evitando o problema de média de ruído de anotação de modelos de regressão ao gerar predições de instância única.
Módulo de Condicionamento Baseado em Exemplar: Um mecanismo inovador que extrai e ajusta protótipos de objetos dinamicamente durante o processo de difusão. Isso leva a picos estreitos e separados no mapa de localização, permitindo localização precisa via NMS sem a necessidade de tiling.
Espectro Unificado de Baixo Exemplo: O CoDi é o primeiro contador baseado em difusão a cobrir cenários de few-shot, one-shot e sem referência dentro de um único framework.
Eficiência: Ao operar no espaço latente e evitar o tiling adaptativo exigido por detectores baseados em consulta (como o CountGD), o CoDi oferece um processo de inferência mais computacionalmente estável, particularmente para imagens com muitos objetos pequenos.

4. Resultados Experimentais

O artigo avalia o CoDi nos benchmarks FSC147 (few-shot) e MCAC (multi-class).

Few-Shot (FSC147): O CoDi supera o contador baseado em densidade estado da arte (SOTA) (CountDiff) em 38% MAE e 42% RMSE no conjunto de teste. Comparado ao SOTA baseado em localização (CountGD), o CoDi melhora o MAE em 15% e o RMSE em 29%.
One-Shot: O CoDi alcança um novo SOTA, superando o Geço em 13% MAE e 49% RMSE, demonstrando robustez mesmo com um único exemplar.
Sem Referência (Reference-Less): O CoDi supera o melhor SOTA sem texto (Geço) em 10% MAE. Embora fique atrás de métodos zero-shot baseados em prompts de texto (ex: CountSE), permanece competitivo sem depender de texto.
Multi-Classe (MCAC): O CoDi estabelece um novo SOTA, superando o principal método (Geço2) em 38% MAE.
Qualidade de Localização: O CoDi alcança maior recall (0.88 vs 0.81) e pontuações F1 (0.92 vs 0.87) comparado ao CountGD no conjunto de teste, com uma distância média de detecção de 8.79 pixels da verdade fundamental.
Eficiência: O CoDi mostra tempos de inferência estáveis (~1.1s/imagem) com baixa variância, ao contrário do CountGD cujo tempo de execução degrada significamente em imagens densas devido ao tiling. Ele utiliza menos parâmetros que o Geço e menos VRAM.

5. Significância e Alegações

Os autores afirmam que o CoDi representa uma mudança significativa na contagem de baixo exemplo ao reformular a tarefa como um problema de geração, em vez de um problema de regressão ou detecção.

Robustez à Densidade: A principal significância reside na capacidade do CoDi de lidar com regiões densas de objetos pequenos onde os métodos existentes falham devido a limites de consulta ou mapas de densidade borrados. O processo de difusão produz naturalmente picos "nítidos" adequados para NMS.
Eliminação de Tiling: Ao evitar o limite de capacidade de consulta fixa de detectores transformer, o CoDi remove a necessidade de tiling computacionalmente pesado e reconciliação de bordas.
Adaptabilidade: O módulo de condicionamento de exemplar permite que o modelo generalize para categorias não vistas com dados mínimos, enquanto a adaptação sem referência estende isso para a contagem de classe majoritária sem o retreinamento de toda a rede.

O artigo conclui que o CoDi estabelece um novo estado da arte em todo o espectro de contagem de baixo exemplo, ofereção um equilíbrio de alta precisão, localização exata e estabilidade computacional. O trabalho futuro nota a possibilidade de estender isso para predição de caixas delimitadoras e lidar com objetos com razões de aspecto extremas.