🤖 machine learning

The MixCount Dataset: Bridging the Data Gap for Open-Vocabulary Object Counting

O artigo apresenta o MixCount, um conjunto de dados e benchmark de grande escala para contagem de objetos mistos, gerado por meio de um pipeline automático que sintetiza imagens diversas com anotações perfeitas em nível de pixel, demonstrando que o treinamento com esses dados sintéticos melhora significativamente o desempenho dos modelos mais avançados em tarefas de contagem do mundo real ao abordar as limitações dos conjuntos de dados existentes, que são ruidosos ou escassos.

Autores originais: Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

Publicado 2026-05-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a contar itens em um quarto bagunçado. Se você mostrar ao robô apenas imagens de um único tipo de item — como uma tigela cheia de maçãs vermelhas idênticas —, ele aprenderá a contar maçãs muito bem. Mas, no momento em que você misturar maçãs vermelhas, peras verdes e limões amarelos, todos embaralhados, o robô ficará confuso. Ele pode contar as peras como maçãs, ou se distrair com o padrão da toalha de mesa e começar a contar a toalha em vez da fruta.

Este é o problema que o artigo MixCount aborda. Os autores argumentam que os atuais "robôs de contagem" (modelos de IA) estão falhando em cenários do mundo real porque não foram treinados com o tipo certo de dados bagunçados e misturados.

Abaixo está uma explicação de sua solução, usando analogias simples:

1. O Problema: A "Caixa de Brinquedos" vs. o "Mundo Real"

Durante anos, pesquisadores treinaram esses modelos de IA usando conjuntos de dados que eram como caixas de brinquedos perfeitamente organizadas.

Dados do mundo real são caros e ruidosos: Tirar fotos de fábricas ou mercados reais e fazer com que humanos contem cada item individualmente é lento, caro, e humanos cometem erros (como deixar passar um item escondido).
Dados sintéticos antigos eram muito simples: Tentativas anteriores de criar dados falsos eram como desenhar bonecos de palito simples. Eles careciam da complexidade, iluminação e desordem do mundo real.

Por causa disso, os modelos de IA são como alunos que estudaram para uma prova usando apenas uma folha de exercícios. Quando a prova real (o mundo real) tem uma mistura de questões, eles falham.

2. A Solução: O "Simulador Infinito"

Os autores construíram uma fábrica digital (um gerador de dados) que age como um motor de videogame hiper-realista. Em vez de tirar fotos, eles constroem cenas 3D em um computador.

Os Ingredientes: Eles usam digitalizações 3D do mundo real de objetos (como uma chaleira específica ou um dinossauro de brinquedo) e texturas do mundo real (como veios de madeira ou metal).
O Processo: Eles soltam esses objetos em um quarto virtual, acendem luzes realistas e deixam a física simular como eles caem, rolam e se empilham. Alguns objetos podem ficar parcialmente escondidos atrás de outros, assim como na vida real.
A Magia: Como é uma simulação de computador, eles sabem exatamente quantos objetos há na cena, onde estão e como são. Não há erros humanos de contagem. Eles podem gerar 58.000 cenas únicas com 4 milhões de objetos automaticamente.

Pense nisso como um chef que pode cozinhar instantaneamente 50.000 variações diferentes de um ensopado complexo, sabendo exatamente quanto sal e pimenta há em cada tigela, sem nunca provar uma colherada.

3. O Conjunto de Dados "MixCount"

O resultado dessa fábrica é o conjunto de dados MixCount. É uma biblioteca massiva de imagens onde:

Tudo está misturado: Você vê diferentes tipos de objetos juntos (por exemplo, chaleiras ao lado de bolinhas de gude).
É complicado: Há fundos repetitivos (como um tapete estampado) que tentam enganar a IA.
Tem "cola": Para cada objeto, o conjunto de dados fornece:
- Descrições em texto: Variando de curtas ("chaleira azul") a muito detalhadas ("chaleira de ferro fundido azul brilhante com alça curva").
- Exemplos visuais: Uma foto do objeto para mostrar à IA exatamente o que procurar.

4. Os Resultados: Treinando o Robô

Os autores testaram isso levando os melhores robôs de contagem existentes e dando a eles um curso intensivo usando o MixCount.

Antes do treinamento: Os robôs lutavam para distinguir entre itens de aparência semelhante ou ignoravam a desordem do fundo.
Após o treinamento: Os robôs ficaram significativamente mais inteligentes.
- Em um teste padrão para contar óculos de sol, a taxa de erro caiu 18%.
- Em um teste para contar vários itens domésticos, a taxa de erro caiu 20%.

Essencialmente, ao treinar com esses dados sintéticos "perfeitamente rotulados e infinitamente diversos", os robôs ficaram muito melhores em lidar com a realidade bagunçada e misturada do mundo real.

Resumo

O artigo afirma que o maior gargalo no ensino de computadores a contar objetos misturados não é o próprio algoritmo, mas a falta de bons dados de treinamento. Ao construir uma máquina capaz de gerar cenas "bagunçadas" ilimitadas, perfeitamente precisas e fotorrealistas, eles conseguiram ensinar modelos de IA existentes a contar com muito mais precisão do que nunca. Eles chamam esse novo conjunto de dados de MixCount.

Resumo Técnico: O Conjunto de Dados MixCount

Declaração do Problema

Apesar de mais de uma década de pesquisa, os modelos de contagem de objetos visuais mais avançados falham sistematicamente em cenários de objetos mistos, uma situação dominante em aplicações do mundo real, como inspeção industrial e classificação de produtos. Os modelos atuais têm dificuldade em distinguir entre objetos visualmente semelhantes, identificar componentes auto-similares como entidades únicas ou ignorar padrões de fundo repetitivos.

Os autores atribuem essa lacuna de desempenho principalmente às limitações nos dados de treinamento e avaliação existentes:

Conjuntos de dados do mundo real (por exemplo, FSC-147, PairTally) são proibitivamente caros para anotar, sofrem com ruído de rotulagem e frequentemente carecem de imagens com múltiplos tipos de objetos anotados simultaneamente.
Conjuntos de dados sintéticos existentes (por exemplo, MCAC, SITUATE) carecem de diversidade e fotorealismo, criando uma lacuna de domínio significativa entre as amostras de treinamento e as imagens do mundo real.
A geração baseada em difusão é ineficaz para tarefas de contagem devido à incapacidade de sintetizar imagens com um número controlado e preciso de objetos.

Metodologia

Para preencher essa lacuna de dados, os autores introduzem o MixCount, um conjunto de dados em grande escala e fotorealista, e um pipeline de geração de dados automática correspondente.

O Pipeline de Geração de Dados

O pipeline sintetiza amostras de treinamento combinando capturas do mundo real com renderização baseada em física (PBR) no Blender. Os componentes principais incluem:

Ativos: Os objetos são amostrados a partir do Digital Twin Catalog (DTC), um conjunto de dados de capturas 3D do mundo real de alta qualidade.
Construção da Cena: O sistema gera cenas proceduralmente amostrando 2–4 classes de objetos por cena. Os objetos são gerados em posições 3D aleatórias com modificadores de escala ligeiros para garantir similaridade visual dentro das classes, mas distinção entre instâncias.
Simulação Física: Os objetos são simulados usando dinâmica de corpos rígidos para formar naturalmente cenas realistas com toques e oclusões parciais.
Filtragem de Visibilidade: Diferentemente de conjuntos de dados sintéticos anteriores, o MixCount mede explicitamente a visibilidade dos objetos. Ele renderiza máscaras ocluídas e não ocluídas para calcular uma razão de visibilidade ( $v_i$ ). Cenas com objetos abaixo de um limite de visibilidade ( $v_t$ ) são rejeitadas, garantindo uma verdade fundamental pixel-perfect onde todos os objetos contados são visíveis.
Ambiente e Iluminação: O pipeline utiliza mapas de ambiente do mundo real (de LavalIndoor e Polyhaven) e materiais PBR para criar iluminação complexa e texturas repetitivas que desafiam os modelos de contagem. Objetos de distração são adicionados para aumentar a complexidade da cena.
Prompts e Anotações:
- Texto: Cada objeto é anotado com três níveis de descrições de texto (curto, conciso, detalhado) gerados por um LLM (Gemini 2.5), garantindo identificadores únicos.
- Exemplares: O conjunto de dados fornece exemplares internos (caixas delimitadoras dentro da imagem) e exemplares externos (visões canônicas em fundos brancos). Os exemplares internos recebem uma pontuação de visibilidade/tamanho.
- Verdade Fundamental Densa: As anotações incluem caixas delimitadoras (formato COCO), máscaras de segmentação de instância e classe, mapas de profundidade e mapas normais.

O Conjunto de Dados MixCount

O conjunto de dados liberado contém 58.000 imagens com aproximadamente 4 milhões de objetos para contar.

Escala e Diversidade: Apresenta 1.522 classes de objetos diferentes abrangendo várias categorias.
Composição: Em média, as cenas contêm 68 objetos de 2–4 classes diferentes.
Divisões: O conjunto de dados é dividido em conjuntos de treinamento (56.000), validação (1.000) e teste (1.000). Crucialmente, as classes de objetos são divididas de modo que nenhum objeto no conjunto de teste apareça no conjunto de treinamento, garantindo uma avaliação rigorosa da generalização.

Contribuições Principais

Conjunto de Dados MixCount: O primeiro conjunto de dados sintético em grande escala, fotorealista e diversificado projetado especificamente para treinamento e avaliação de modelos de contagem de objetos mistos de vocabulário aberto.
Framework de Geração de Dados: Um pipeline totalmente automatizado que sintetiza dados rotulados efetivamente ilimitados e pixel-perfect, capaz de ser adaptado a aplicações específicas (por exemplo, inspeção industrial) substituindo ativos 3D.
Avaliação Rigorosa: Uma avaliação abrangente dos modelos mais avançados (CountSE, CountGD, CountGD++) no conjunto de teste MixCount, expondo uma degradação severa de desempenho em cenários de objetos mistos.

Resultados

Os autores avaliaram a utilidade do MixCount através de dois experimentos principais:

1. Valor de Treinamento (Transferência para Dados Reais)

O treinamento de modelos de ponta com MixCount melhorou significativamente o desempenho em benchmarks do mundo real:

FSC-147: O treinamento com MixCount reduziu o Erro Absoluto Médio (MAE) em 20,14%.
PairTally: O treinamento com MixCount reduziu o MAE em 18,3%.
Os autores observam que mesmo adicionar um pequeno número de imagens do MixCount (1.000) ao conjunto de treinamento produziu benefícios substanciais, destacando a qualidade da supervisão sintética.

2. Avaliação de Desempenho (Benchmarking no MixCount)

Quando avaliados no conjunto de teste MixCount, os modelos existentes treinados apenas no FSC-147 performaram mal, com a melhor linha de base (CountGD++) alcançando uma Precisão dentro de 10% (Acc10%) de apenas 0,33.

Os modelos treinados no MixCount mostraram melhoria significativa, com o CountGD++ (+ MixCount) alcançando um Acc10% de 0,69 e reduzindo o Erro Absoluto Normalizado (NAE) para 0,14.
Os resultados destacam que os modelos atuais lutam sem dados de treinamento direcionados para cenários de objetos mistos.

Análise de Sensibilidade

O artigo também analisa a sensibilidade do modelo a tipos de prompts:

Exemplares: O desempenho cai significativamente ao mudar de exemplares internos (conscientes do contexto) para exemplares externos (independentes do contexto).
Prompts de Texto: Os modelos performaram melhor com prompts "concisos", sugerindo que descrições excessivamente detalhadas podem desviar das distribuições de treinamento ou que prompts "curtos" foram o sinal de treinamento primário.

Significado e Alegações

O artigo posiciona o MixCount como uma solução para um gargalo de longa data na contagem visual: a falta de dados de treinamento escaláveis, de alta qualidade e de objetos mistos.

Ponte da Lacuna: Os autores afirmam que o MixCount preenche efetivamente a lacuna entre a escalabilidade sintética e a complexidade do mundo real, permitindo que os modelos aprendam distinções finas que anteriormente eram impossíveis de ensinar em escala.
Utilidade Futura: O conjunto de dados é apresentado não apenas como um benchmark, mas como um recurso de treinamento que permite aos pesquisadores explorar a sensibilidade a prompts, a robustez de exemplares e capacidades de contagem fina.
Acessibilidade: Ao fornecer um gerador que pode produzir dados rotulados "efetivamente ilimitados", o trabalho visa reduzir a barreira para o desenvolvimento de sistemas de contagem robustos para domínios específicos e com escassez de dados, como a inspeção industrial.

Os autores concluem que, embora os dados sintéticos tenham diferenças distribucionais em relação aos dados reais, o pipeline MixCount aborda com sucesso as falhas específicas dos modelos atuais, levando a ganhos mensuráveis no desempenho do mundo real.