Object-Centric Low-Data Datasets for Artificial Intelligence Research: A Multi-Domain Data Resource

En el mundo de la inteligencia artificial, las máquinas aprenden a ver estudiando vastas bibliotecas de imágenes. Usualmente, estas bibliotecas están llenas de escenas completas: una calle concurrida con coches, personas y edificios todos mezclados, o un bosque con árboles, rocas y animales compartiendo el encuadre. Para que una computadora aprenda, debe descifrar dónde termina un objeto y comienza otro, lo que a menudo requiere millones de ejemplos para que las reglas sean correctas. Pero, ¿qué pasaría si un investigador quisiera estudiar un solo objeto, como un peatón o una señal de tráfico, sin la distracción del fondo? Este es el desafío de la investigación centrada en objetos. Plantea si una máquina puede aprender de manera más eficiente centrándose en el elemento individual mismo, aislado de su entorno. Este enfoque es particularmente valioso cuando los datos son escasos, permitiendo a los científicos probar qué tan bien puede aprender una IA con solo unos pocos ejemplos en lugar de necesitar una montaña de imágenes. El objetivo es crear una forma más limpia y controlada de entrenar estos sistemas, eliminando el ruido de la escena completa para ver cómo se comporta el objeto central.

Un equipo de investigadores de la Universidad de Queensland y la Universidad Tecnológica de Swinburne ha abordado esta necesidad mediante el ensamblaje de una nueva colección de recursos de datos diseñados específicamente para este tipo de estudio enfocado. Han creado un conjunto de cuatro conjuntos de datos que tratan al objeto individual como la unidad primaria de información, en lugar de la fotografía completa. Esta colección no es solo un conjunto aleatorio de imágenes; es un kit de herramientas cuidadosamente organizado para ayudar a los científicos a realizar experimentos controlados con datos limitados. Los investigadores querían ir más allá de los conjuntos de datos estándar de visión por computadora, que a menudo están optimizados para detectar muchas cosas a la vez en escenas complejas, y en su lugar proporcionar un recurso donde cada pieza de datos sea una vista estandarizada e aislada de un solo objeto. Al hacer esto, esperan facilitar que otros reproduzcan experimentos y desarrollen métodos de inteligencia artificial que sean eficientes y fiables incluso cuando los datos de entrenamiento son difíciles de conseguir.

La colección se construye a partir de cuatro partes distintas, cada una que cubre un dominio visual diferente para mostrar cómo funciona este método a través de varios tipos de imágenes. Dos de estas partes se centran en señales de tráfico, mientras que las otras dos tratan sobre personas caminando en ciudades y plantas en macetas encontradas en imágenes naturales. La primera parte, llamada TrafficSigns-Raw, es una liberación directa de 4.185 imágenes de vistas de calle que han sido revisadas manualmente por humanos. En estas imágenes, los investigadores han dibujado recuadros alrededor de 8.249 señales de tráfico, marcando tanto las señales estándar como las dañadas. Debido a que estas son escenas completas de la calle, sirven como el material de origen. A partir de esta fuente, el equipo creó una segunda parte, TrafficSigns-OC, que es la versión centrada en el objeto. Aquí, han recortado las señales y las han redimensionado a un cuadrado uniforme de 256 por 256 píxeles. Esto resulta en 3.009 imágenes estandarizadas de señales, con 4.607 anotaciones. Esto permite a un investigador estudiar las señales en sí mismas sin el desorden de la carretera, el cielo o los coches que las rodean.

Las otras dos partes de la colección manejan un desafío diferente: la privacidad y los derechos de autor. Para el conjunto de datos Cityscapes-Pedestrian, los investigadores no pudieron simplemente liberar las imágenes originales de personas caminando en las ciudades debido a estrictas reglas de privacidad y licencias. En su lugar, proporcionaron un kit de reconstrucción. Este kit incluye las instrucciones y las coordenadas específicas necesarias para recortar a los peatones de las imágenes originales de Cityscapes, que son de acceso público. El resultado es una colección de 2.156 imágenes estandarizadas de personas, derivadas de 1.264 fotografías de origen, que contienen casi 17.500 recuadros individuales alrededor de los peatones. Del mismo modo, para el conjunto de datos COCO-PottedPlant, el equipo trabajó con la famosa colección Microsoft Common Objects in Context. Crearon un proceso para extraer imágenes de plantas en macetas de esa gran base de datos. Generaron 7.679 registros de plantas en macetas, creando un único recorte de 256 por 256 para cada planta encontrada. Al igual que con los datos de peatones, este recurso proporciona los scripts y los mapas necesarios para reconstruir el conjunto de datos, asegurando que se respeten las reglas de los propietarios de las imágenes originales y permitiendo al mismo tiempo que los investigadores accedan a los datos específicos de los objetos que necesitan.

Lo que hace que este trabajo sea particularmente útil es la consistencia que aporta al proceso. En muchos proyectos de investigación, cada vez que un científico quiere estudiar un nuevo objeto, tiene que escribir un nuevo código para recortarlo de una foto, redimensionarlo y etiquetarlo. Este nuevo recurso elimina esa fricción. Cada imagen de la colección se presenta en el mismo formato, con etiquetas claras y metadatos que explican exactamente cómo se creó la imagen. Los investigadores también han tenido cuidado de asegurar que los datos se dividan correctamente en grupos para entrenamiento, prueba y validación, de modo que un modelo de aprendizaje automático no obtenga resultados accidentalmente al ver la misma imagen dos veces en formas diferentes. Por ejemplo, en los datos de señales de tráfico, utilizaron herramientas avanzadas de visión por computadora para verificar que ninguna imagen en el grupo de prueba fuera demasiado similar a una en el grupo de entrenamiento, asegurando que los resultados de cualquier experimento sean genuinos.

Los investigadores son claros sobre lo que esta colección puede y no puede hacer. No es una enciclopedia completa de cada objeto del mundo. Se centra en solo tres tipos de cosas: personas, señales de tráfico y plantas en macetas. No cubre todas las posibles condiciones de daño de una señal, ni incluye cada tipo de planta o persona. Además, debido a que los datos están recortados para centrarse en el objeto, el contexto de la escena se pierde. Una señal de tráfico en este conjunto de datos es solo una señal; no muestra la carretera en la que se encuentra ni las condiciones climáticas. Esta es una elección deliberada para aislar el objeto para su estudio, pero significa que los datos no pueden usarse para estudiar cómo los objetos interactúan con su entorno. Adicionalmente, las anotaciones proporcionadas son recuadros que delinean el objeto, en lugar de mapas detallados píxel por píxel de la forma del objeto.

A pesar de estas limitaciones, la colección ofrece un paso significativo hacia adelante para los investigadores que trabajan en inteligencia artificial con eficiencia de datos. Al proporcionar un conjunto de datos estandarizado y de múltiples dominios centrado en objetos, el equipo ha creado un terreno común para probar nuevas ideas. Ya sea que un científico esté tratando de enseñar a una computadora a reconocer una señal dañada a partir de un solo ejemplo, o esté probando qué tan bien puede aprender una IA de un pequeño número de imágenes, este recurso proporciona las herramientas necesarias. Los datos están disponibles gratuitamente, junto con el código necesario para reconstruir las imágenes a partir del material de origen donde la liberación directa no fue posible. Esta transparencia asegura que cualquiera pueda verificar el trabajo y construir sobre él, fomentando un futuro más fiable y reproducible para la investigación de la inteligencia artificial. El trabajo se presenta como un recurso práctico, ofreciendo un camino claro para aquellos que desean explorar cómo las máquinas pueden aprender a ver el mundo un objeto a la vez.