Object-Centric Low-Data Datasets for Artificial Intelligence Research: A Multi-Domain Data Resource

인공지능의 세계에서 기계는 방대한 사진 라이브러리를 학습하며 보는 법을 배웁니다. 보통 이러한 라이브러리는 자동차, 사람, 건물이 뒤섞인 분주한 거리나 나무, 바위, 동물이 한 프레임을 공유하는 숲과 같이 완전한 장면들로 채워져 있습니다. 컴퓨터가 학습하기 위해서는 하나의 물체가 어디서 끝나고 다른 물체가 어디서 시작되는지를 파악해야 하며, 이를 위해 종종 규칙을 올바르게 익히기 위한 수백만 개의 사례가 필요합니다. 하지만 만약 연구자가 배경이라는 방해 요소 없이 보행자나 교통 표지판 같은 단일 물체를 연구하고 싶다면 어떻게 될까요? 이것이 바로 객체 중심(object-centric) 연구의 과제입니다. 이 접근 방식은 기계가 주변 환경으로부터 격리된 개별 항목 자체에 집중함으로써 더 효율적으로 학습할 수 있는지 묻습니다. 이 방법은 데이터가 부족할 때 특히 가치가 있으며, 과학자들이 산더미 같은 이미지 대신 단 몇 개의 예시만으로 AI가 얼마나 잘 학습할 수 있는지 테스트할 수 있게 해줍니다. 목표는 이러한 시스템을 훈련하기 위한 더 깨끗하고 통제된 방법을 만드는 것이며, 전체 장면의 노이즈를 제거하여 핵심 객체가 어떻게 작동하는지 확인하는 것입니다.

퀸즐랜드 대학교와 스윈번 공과대학교의 연구진은 이러한 필요성을 해결하기 위해 이러한 종류의 집중 연구를 위해 설계된 새로운 데이터 자원 컬렉션을 구성했습니다. 그들은 전체 사진이 아닌 개별 객체를 정보의 기본 단위로 취급하는 네 가지 데이터셋 세트를 만들었습니다. 이 컬렉션은 단순히 무작위로 모아놓은 사진들의 집합이 아닙니다. 이는 과학자들이 제한된 데이터로 통제된 실험을 수행할 수 있도록 구축된 정교하게 조직된 도구 상자입니다. 연구진은 여러 가지를 동시에 탐지하도록 최적화된 일반적인 컴퓨터 비전 데이터셋을 넘어, 모든 데이터 조각이 단일 객체의 표준화되고 격리된 뷰를 제공하는 자원을 제공하고자 했습니다. 이를 통해 그들은 다른 이들이 실험을 재현하고, 훈련 데이터가 구하기 어려운 상황에서도 효율적이고 신뢰할 수 있는 인공지능 방법을 개발하는 것을 더 쉽게 만들기를 희망합니다.

이 컬렉션은 다양한 유형의 이미지에서 이 방법이 어떻게 작동하는지 보여주기 위해 서로 다른 네 가지 시각적 영역을 다루는 네 부분으로 구성되어 있습니다. 두 부분은 교통 표지판에 초점을 맞추고 있으며, 나머지 두 부분은 도시를 걷는 사람들과 자연 이미지에서 발견되는 화분들을 다룹니다. 첫 번째 부분인 TrafficSigns-Raw는 인간이 직접 검수한 4,185개의 거리 뷰 이미지를 직접 공개한 것입니다. 이 이미지들에서 연구진은 표준 표지판과 손상된 표지판 모두를 표시하는 8,249개의 박스를 그려 넣었습니다. 이들은 전체 거리 장면이므로 소스 자료 역할을 합니다. 이 소스로부터 팀은 두 번째 부분인 TrafficSigns-OC, 즉 객체 중심 버전을 만들었습니다. 여기에서 그들은 표지판을 잘라내어 256 x 256 픽셀의 균일한 정사각형 크기로 조정했습니다. 그 결과 3,009개의 표준화된 표지판 이미지와 4,607개의 주석(annotation)이 생성되었습니다. 이를 통해 연구자는 도로, 하늘, 혹은 주변의 자동차와 같은 번잡함 없이 표지판 자체만을 연구할 수 있습니다.

나머지 두 부분은 개인정보 보호와 저작권 문제를 다룹니다. Cityscapes-Pedestrian 데이터셋의 경우, 연구진은 엄격한 개인정보 보호 및 라이선스 규정 때문에 도시를 걷는 사람들의 원본 이미지를 단순히 공개할 수 없었습니다. 대신, 그들은 재구성 키트(reconstruction kit)를 제공했습니다. 이 키트에는 공개적으로 사용 가능한 Cityscapes 이미지에서 보행자를 잘라내는 데 필요한 지침과 특정 좌표가 포함되어 있습니다. 그 결과, 1,264개의 소스 사진에서 유도된 2,156개의 표준화된 보행자 이미지와 약 17,500개의 개별 보행자 박스를 갖춘 컬렉션이 만들어졌습니다. 마찬가지로, COCO-PottedPlant 데이터셋을 위해 팀은 유명한 Microsoft Common Objects in Context 컬렉션을 활용했습니다. 그들은 이 거대한 데이터베이스에서 화분이 담긴 이미지를 추출하는 프로세스를 만들었습니다. 그들은 발견된 각 식물당 하나의 256 x 256 크롭 이미지를 생성하여 7,679개의 화분 기록을 만들어냈습니다. 보행자 데이터와 마찬가지로, 이 리소스는 원본 이미지 소유자의 규칙을 준수하면서도 연구자들이 필요한 특정 객체 데이터에 접근할 수 있도록 스크립트와 맵을 제공합니다.

이 작업이 특히 유용한 이유는 과정에 가져다주는 일관성 때문입니다. 많은 연구 프로젝트에서 과학자가 새로운 객체를 연구하고 싶을 때마다 사진에서 객체를 잘라내고, 크기를 조정하고, 라벨을 붙이는 새로운 코드를 작성해야 합니다. 이 새로운 리소스는 그러한 마찰을 제거합니다. 컬렉션의 모든 이미지는 동일한 형식으로 제공되며, 이미지가 어떻게 생성되었는지 설명하는 명확한 라벨과 메타데이터가 포함되어 있습니다. 연구진은 또한 머신러닝 모델이 서로 다른 형태의 동일한 이미지를 두 번 봄으로써 결과를 얻는 일이 없도록 훈련, 테스트, 검증 그룹으로 데이터를 올바르게 나누는 데 주의를 기울였습니다. 예를 들어, 교통 표지판 데이터의 경우, 테스트 그룹에 있는 이미지가 훈련 그룹에 있는 것과 너무 유사하지 않도록 고급 컴퓨터 비전 도구를 사용하여 확인했으며, 이를 통해 실험 결과의 진실성을 보장했습니다.

연구진은 이 컬렉션이 할 수 있는 것과 할 수 없는 것에 대해 명확히 밝히고 있습니다. 이것은 세상의 모든 객체를 담은 완전한 백과사전이 아닙니다. 이 컬목은 사람, 교통 표지판, 화분이라는 단 세 가지 유형의 대상에 집중합니다. 표지판의 모든 가능한 손상 상태를 다루지 않으며, 모든 종류의 식물이나 사람을 포함하지도 않습니다. 또한, 데이터가 객체에 집중하도록 크롭되었기 때문에 장면의 맥락은 상실됩니다. 이 데이터셋의 교통 표지판은 단지 표지판일 뿐이며, 그것이 놓인 도로 나 기상 조건은 보여주지 않습니다. 이는 연구를 위해 객체를 격리하기 위한 의도적인 선택이지만, 이는 데이터가 객체가 환경과 어떻게 상호작용하는지를 연구하는 데 사용될 수 없음을 의미합니다. 또한, 제공된 주석은 객체의 형태를 나타내는 상세한 픽셀 단위의 지도가 아니라 객체를 둘러싸는 박스 형태입니다.

이러한 한계에도 불구하고, 이 컬렉션은 데이터 효율적인 인공지능을 연구하는 이들에게 중요한 진전을 제공합니다. 표준화된 다중 도메인의 객체 중심 데이터를 제공함으로써, 팀은 새로운 아이디어를 테스트할 수 있는 공통의 토대를 마련했습니다. 과학자가 단 하나의 예시만으로 손상된 표지판을 인식하도록 컴퓨터를 가르치려 하든, 혹은 AI가 적은 수의 이미지로부터 얼마나 잘 학습할 수 있는지 테스트하려 하든, 이 리소스는 필요한 도구를 제공합니다. 데이터는 자유롭게 사용할 수 있으며, 직접적인 공개가 불가능한 경우 이미지를 재구성하는 데 필요한 코드도 함께 제공됩니다. 이러한 투명성은 누구나 작업을 검증하고 그 위에 새로운 것을 쌓아 올릴 수 있도록 보장하며, 인공지능 연구의 더 신뢰할 수 있고 재현 가능한 미래를 육성합니다. 이 작업은 기계가 한 번에 하나의 객체씩 세상을 보는 법을 배우고자 하는 이들에게 명확한 경로를 제시하는 실질적인 리소스로서 자리 잡고 있습니다.