🤖 machine learning

The MixCount Dataset: Bridging the Data Gap for Open-Vocabulary Object Counting

El artículo presenta MixCount, un conjunto de datos y una referencia a gran escala para el conteo de objetos mixtos generados mediante una pipeline automática que sintetiza imágenes diversas con anotaciones perfectas a nivel de píxel, demostrando que el entrenamiento con estos datos sintéticos mejora significativamente el rendimiento de los modelos más avanzados en tareas de conteo del mundo real al abordar las limitaciones de los conjuntos de datos existentes que son ruidosos o escasos.

Autores originales: Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

Publicado 2026-05-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a contar objetos en una habitación desordenada. Si solo le muestras al robot fotos de un solo tipo de objeto, como un cuenco lleno de manzanas rojas idénticas, aprenderá a contar manzanas muy bien. Pero en el momento en que le lanzas una mezcla de manzanas rojas, peras verdes y limones amarillos todos revueltos, el robot se confunde. Podría contar las peras como manzanas, o distraerse con el patrón del mantel y empezar a contar el mantel en lugar de la fruta.

Este es el problema que aborda el artículo MixCount. Los autores argumentan que los actuales "robots contadores" (modelos de IA) están fallando en escenarios del mundo real porque no han sido entrenados con el tipo correcto de datos desordenados y mezclados.

Aquí tienes un desglose de su solución, utilizando analogías simples:

1. El Problema: La "Caja de Juguetes" vs. El "Mundo Real"

Durante años, los investigadores entrenaron estos modelos de IA utilizando conjuntos de datos que eran como cajas de juguetes perfectamente organizadas.

Los datos del mundo real son costosos y ruidosos: Tomar fotos de fábricas o mercados reales y hacer que humanos cuenten cada objeto individual es lento, costoso y los humanos cometen errores (como pasar por alto un objeto oculto).
Los datos sintéticos antiguos eran demasiado simples: Los intentos anteriores de crear datos falsos eran como dibujar figuras de palitos. Carecían de la complejidad, la iluminación y el desorden del mundo real.

Debido a esto, los modelos de IA son como estudiantes que solo estudiaron para un examen usando una sola hoja de práctica. Cuando el examen real (el mundo real) tiene una mezcla de preguntas, fallan.

2. La Solución: El "Simulador Infinito"

Los autores construyeron una fábrica digital (un generador de datos) que actúa como un motor de videojuegos hiperrealista. En lugar de tomar fotos, construyen escenas 3D en una computadora.

Los Ingredientes: Utilizan escaneos 3D del mundo real de objetos (como una tetera específica o un dinosaurio de juguete) y texturas del mundo real (como vetas de madera o metal).
El Proceso: Sueltan estos objetos en una habitación virtual, encienden luces realistas y dejan que la física simule cómo caen, ruedan y se apilan. Algunos objetos pueden quedar parcialmente ocultos detrás de otros, igual que en la vida real.
La Magia: Como es una simulación por computadora, saben exactamente cuántos objetos hay en la escena, dónde están y cómo se ven. No hay errores de conteo humanos. Pueden generar 58,000 escenas únicas con 4 millones de objetos automáticamente.

Piénsalo como un chef que puede cocinar instantáneamente 50,000 variaciones diferentes de un guiso complejo, sabiendo exactamente cuánto sal y pimienta hay en cada cuenco, sin necesidad de probar ni una sola cucharada.

3. El Conjunto de Datos "MixCount"

El resultado de esta fábrica es el conjunto de datos MixCount. Es una biblioteca masiva de imágenes donde:

Todo está mezclado: Ves diferentes tipos de objetos juntos (por ejemplo, teteras junto a canicas).
Es engañoso: Hay fondos repetitivos (como una alfombra con estampado) que intentan engañar a la IA.
Tiene "chuletas": Para cada objeto, el conjunto de datos proporciona:
- Descripciones de texto: Que van desde cortas ("tetera azul") hasta muy detalladas ("tetera de hierro fundido azul brillante con mango curvado").
- Ejemplos visuales: Una imagen del objeto para mostrarle a la IA exactamente qué buscar.

4. Los Resultados: Entrenando al Robot

Los autores probaron esto tomando los mejores robots contadores existentes y dándoles un curso intensivo utilizando MixCount.

Antes del entrenamiento: Los robots luchaban por distinguir la diferencia entre objetos de apariencia similar o ignoraban el desorden de fondo.
Después del entrenamiento: Los robots se volvieron significativamente más inteligentes.
- En una prueba estándar para contar gafas de sol, la tasa de error disminuyó un 18%.
- En una prueba para contar diversos artículos del hogar, la tasa de error disminuyó un 20%.

Esencialmente, al entrenar con estos datos sintéticos "perfectamente etiquetados e infinitamente diversos", los robots se volvieron mucho mejores para manejar la realidad desordenada y mezclada del mundo real.

Resumen

El artículo afirma que el mayor cuello de botella para enseñar a las computadoras a contar objetos mezclados no es el algoritmo en sí, sino la falta de buenos datos de entrenamiento. Al construir una máquina que puede generar escenas "desordenadas" ilimitadas, perfectamente precisas y fotorrealistas, pudieron enseñar a los modelos de IA existentes a contar con mucha más precisión que nunca antes. Llaman a este nuevo conjunto de datos MixCount.

Resumen Técnico: El Conjunto de Datos MixCount

Enunciado del Problema

A pesar de más de una década de investigación, los modelos de vanguardia para el conteo de objetos visuales fallan sistemáticamente en escenarios de objetos mixtos, un escenario dominante en aplicaciones del mundo real como la inspección industrial y la clasificación de productos. Los modelos actuales luchan por distinguir entre objetos visualmente similares, identificar componentes auto-similares como entidades únicas o ignorar patrones de fondo repetitivos.

Los autores atribuyen esta brecha de rendimiento principalmente a limitaciones en los datos de entrenamiento y evaluación existentes:

Los conjuntos de datos del mundo real (por ejemplo, FSC-147, PairTally) son prohibitivamente costosos de anotar, sufren de ruido en las etiquetas y a menudo carecen de imágenes con múltiples tipos de objetos anotados simultáneamente.
Los conjuntos de datos sintéticos existentes (por ejemplo, MCAC, SITUATE) carecen de diversidad y fotorrealismo, creando una brecha de dominio significativa entre las muestras de entrenamiento y las imágenes del mundo real.
La generación basada en difusión es ineficaz para tareas de conteo debido a la incapacidad de sintetizar imágenes con un número controlado y preciso de objetos.

Metodología

Para cerrar esta brecha de datos, los autores introducen MixCount, un conjunto de datos a gran escala y fotorrealista, junto con una pipeline de generación de datos automática correspondiente.

La Pipeline de Generación de Datos

La pipeline sintetiza muestras de entrenamiento combinando capturas del mundo real con renderizado basado en física (PBR) en Blender. Los componentes clave incluyen:

Activos: Los objetos se muestrean del Catálogo de Gemelos Digitales (DTC), un conjunto de datos de capturas 3D del mundo real de alta calidad.
Construcción de Escenas: El sistema genera escenas proceduralmente muestreando de 2 a 4 clases de objetos por escena. Los objetos se generan en posiciones 3D aleatorias con modificadores de escala ligeros para asegurar similitud visual dentro de las clases, pero distinción entre instancias.
Simulación Física: Los objetos se simulan utilizando dinámicas de cuerpo rígido para formar naturalmente escenas realistas con contactos y oclusiones parciales.
Filtrado de Visibilidad: A diferencia de los conjuntos de datos sintéticos anteriores, MixCount mide explícitamente la visibilidad de los objetos. Renderiza tanto máscaras ocluidas como no ocluidas para calcular una relación de visibilidad ( $v_i$ ). Las escenas con objetos que caen por debajo de un umbral de visibilidad ( $v_t$ ) se rechazan, asegurando una verdad de campo perfecta a nivel de píxel donde todos los objetos contados son visibles.
Entorno e Iluminación: La pipeline utiliza mapas de entorno del mundo real (de LavalIndoor y Polyhaven) y materiales PBR para crear iluminación compleja y texturas repetitivas que desafían a los modelos de conteo. Se añaden objetos distractores para aumentar la complejidad de la escena.
Prompts y Anotaciones:
- Texto: Cada objeto se anota con tres niveles de descripciones de texto (cortas, concisas, detalladas) generadas por un LLM (Gemini 2.5), asegurando identificadores únicos.
- Ejemplares: El conjunto de datos proporciona tanto ejemplares internos (cajas delimitadoras dentro de la imagen) como ejemplares externos (vistas canónicas sobre fondos blancos). Los ejemplares internos se asignan una puntuación de visibilidad/tamaño.
- Verdad de Campo Densa: Las anotaciones incluyen cajas delimitadoras (formato COCO), máscaras de segmentación de instancias y clases, mapas de profundidad y mapas de normales.

El Conjunto de Datos MixCount

El conjunto de datos publicado contiene 58,000 imágenes con aproximadamente 4 millones de objetos para contar.

Escala y Diversidad: Presenta 1,522 clases de objetos diferentes que abarcan diversas categorías.
Composición: En promedio, las escenas contienen 68 objetos de 2–4 clases diferentes.
Divisiones: El conjunto de datos se divide en conjuntos de entrenamiento (56,000), validación (1,000) y prueba (1,000). Crucialmente, las clases de objetos se dividen de tal manera que ningún objeto en el conjunto de prueba aparece en el conjunto de entrenamiento, asegurando una evaluación rigurosa de la generalización.

Contribuciones Clave

Conjunto de Datos MixCount: El primer conjunto de datos sintético a gran escala, fotorrealista y diverso diseñado específicamente para entrenar y evaluar modelos de conteo de objetos mixtos de vocabulario abierto.
Marco de Generación de Datos: Una pipeline totalmente automatizada que sintetiza datos etiquetados efectivamente ilimitados y perfectos a nivel de píxel, capaz de adaptarse a aplicaciones específicas (por ejemplo, inspección industrial) mediante el intercambio de activos 3D.
Evaluación Rigurosa: Una evaluación exhaustiva de los modelos de vanguardia (CountSE, CountGD, CountGD++) en el conjunto de prueba MixCount, exponiendo una degradación severa del rendimiento en escenarios de objetos mixtos.

Resultados

Los autores evaluaron la utilidad de MixCount a través de dos experimentos principales:

1. Valor de Entrenamiento (Transferencia a Datos Reales)

Entrenar modelos de vanguardia con MixCount mejoró significativamente el rendimiento en benchmarks del mundo real:

FSC-147: El entrenamiento con MixCount redujo el Error Absoluto Medio (MAE) en un 20.14%.
PairTally: El entrenamiento con MixCount redujo el MAE en un 18.3%.
Los autores señalan que incluso añadir un pequeño número de imágenes de MixCount (1,000) al conjunto de entrenamiento produjo beneficios sustanciales, destacando la calidad de la supervisión sintética.

2. Evaluación (Rendimiento en MixCount)

Cuando se evaluaron en el conjunto de prueba MixCount, los modelos existentes entrenados solo con FSC-147 tuvieron un rendimiento deficiente, con la mejor línea base (CountGD++) alcanzando una Precisión dentro de 10% (Acc10%) de solo 0.33.

Los modelos entrenados con MixCount mostraron una mejora significativa, con CountGD++ (+ MixCount) alcanzando un Acc10% de 0.69 y reduciendo el Error Absoluto Normalizado (NAE) a 0.14.
Los resultados destacan que los modelos actuales luchan sin datos de entrenamiento específicos para escenarios de objetos mixtos.

Análisis de Sensibilidad

El artículo también analiza la sensibilidad del modelo a los tipos de prompts:

Ejemplares: El rendimiento disminuye significativamente al cambiar de ejemplares internos (conscientes del contexto) a ejemplares externos (independientes del contexto).
Prompts de Texto: Los modelos obtuvieron el mejor rendimiento con prompts "concisos", lo que sugiere que las descripciones demasiado detalladas pueden desviarse de las distribuciones de entrenamiento o que los prompts "cortos" fueron la señal de entrenamiento principal.

Significado y Afirmaciones

El artículo posiciona a MixCount como una solución a un cuello de botella de larga data en el conteo visual: la falta de datos de entrenamiento de objetos mixtos escalables y de alta calidad.

Cerrando la Brecha: Los autores afirman que MixCount cierra efectivamente la brecha entre la escalabilidad sintética y la complejidad del mundo real, permitiendo a los modelos aprender distinciones finas que anteriormente eran imposibles de enseñar a escala.
Utilidad Futura: El conjunto de datos se presenta no solo como un benchmark, sino como un recurso de entrenamiento que permite a los investigadores explorar la sensibilidad de los prompts, la robustez de los ejemplares y las capacidades de conteo fino.
Accesibilidad: Al proporcionar un generador que puede producir datos etiquetados "efectivamente ilimitados", el trabajo busca reducir la barrera para desarrollar sistemas de conteo robustos para dominios específicos con escasez de datos, como la inspección industrial.

Los autores concluyen que, aunque los datos sintéticos tienen diferencias distribucionales con los datos reales, la pipeline MixCount aborda con éxito los modos de fallo específicos de los modelos actuales, lo que conduce a ganancias medibles en el rendimiento del mundo real.