AlbumentationsX: One Augmentation Pipeline for Images and Related Annotations

데이터의 위대한 댄스: 왜 AI는 발을 맞춰 움직여야 하는가

당신이 로봇에게 고양이를 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 털이 복슬복슬한 태비 고양이 사진을 보여주며, "이것은 고양이야"라고 말합니다. 하지만 로봇을 더 똑똑하게 만들기 위해, 당신은 같은 고양이를 다양한 상황에서 보여주기로 결심합니다. 뒤집힌 모습, 확대된 모습, 혹은 재미있는 필터가 적용된 모습 같은 것들 말이죠. 이 과정을 **데이터 증강(data augmentation)**이라고 부릅니다. 이것은 마치 로봇에게 천 가지의 서로 다른 안경을 쥐여주어, 고양이가 어안 렌즈를 통해 보이든 만화경을 통해 보이든 여전히 고양이라는 것을 배우게 하는 것과 같습니다.

하지만 까다로운 부분이 있습니다. 훈련 예시는 단순히 사진 한 장이 아닙니다. 그것은 사진 플러스 고양이가 어디에 있는지 나타내는 지도(이를 **어노테이션(annotation)**이라 부릅니다)입니다. 만약 고양이 사진을 회전시켰는데 그 지도(map)를 회전시키는 것을 잊어버린다면, 로봇은 혼란에 빠집니다. 로봇은 고양이의 머리가 왼쪽을 향하고 있는데, 지도는 몸통이 오른쪽에 있다고 말하는 상황을 보게 되는 것이죠. 이러한 불일치는 학습 내용을 망가뜨립니다. 당신이 읽게 될 이 논문은 바로 이 문제를 다룹니다. 즉, 이미지를 비틀거나, 돌리거나, 자르거나, 색상을 변경할 때, 그에 부착된 모든 정보가 어떻게 완벽하게 발을 맞춰 함께 움직이게 할 것인가에 대한 문제입니다.

---

AlbumentationsX를 만나보세요: 혼돈의 지휘자

데이터의 이 혼란스러운 춤을 위한 궁극적인 지휘자로 설계된 새로운 도구, AlbumentationsX가 등장했습니다. 훈련 예시를 하나의 복잡한 오케스트라라고 생각해 보세요. 여기에는 메인 악기(이미지), 악보(객체의 마스크 또는 윤곽선), 특정 악기를 위한 음표(경계 상자/bounding boxes), 그리고 심지어 무용수들의 위치(키포인트/keypoints)가 있습니다. 과거에는 음악을 바꾸고 싶다면, 한 사람에게는 악보를 돌려달라고 하고 다른 사람에게는 이미지를 돌려달라고 요청해야 했을지도 모릅니다. 만약 그들이 서로 소통하지 못했다면, 그 결과는 재앙이었을 것입니다.

AlbumentationsX는 이 모든 것을 Compose 객체라는 하나의 거대하고 마법 같은 상자 안에 담음으로써 이 문제를 해결합니다. 각자에게 서로 다른 일을 시키는 대신, 당신은 이 상자 전체를 단 한 명의 지휘자에게 건네줍니다. 지휘자가 "회전!" 또는 "자르기!"라고 외치면, 지휘자는 정확한 좌표를 단 한 번 결정하여 이미지, 마스크, 경계 상자, 그리고 키포인트 모두에 동시에 적용합니다. 이를 통해 고양이가 사진에서 잘려 나간다면, 그 고양이의 윤곽선도 정확히 같은 순간에 함께 잘려 나가게 됩니다. 더 이상의 데이터 불일치는 없습니다!

"단 한 번의 호출(One Call)"의 마법

논문에 따르면 AlbumentationsX는 엄격한 규칙 목록(정책)과 단 하나의 랜덤 시드(마법의 시작점)를 유지합니다. 당신이 도구에게 샘플을 처리하라고 요청하면, 도구는 주사위를 딱 한 번만 던집니다. 그리고 결정합니다. "좋아, 나는 이 이미지를 뒤집을 것이고, 동시에 마스크와 경계 상자도 뒤집을 거야." 이미지를 뒤집은 다음, 마스크를 뒤집을지 말지 결정하기 위해 주사위를 다시 던지는 것이 아닙니다. 이 단 한 번의 의사결정 순간이 모든 것이 정렬된 상태를 유지하도록 보장합니다.

이 도구는 믿을 수 없을 정도로 유연합니다. 다음과 같은 작업들을 처리할 수 있습니다:

• 스테레오 비전(Stereo Vision): 두 대의 카메라(왼쪽과 오른쪽)로 사진을 찍는다고 상상해 보세요. AlbumentationsX는 이 두 이미지를 한 쌍으로 취급하여, 왼쪽 뷰를 자르면 오른쪽 뷰도 정확히 동일한 위치를 자르도록 보장합니다.
• 깊이 지도(Depth Maps): 이것은 사물이 얼마나 멀리 있는지 보여주는 3D 지도와 같습니다. 이 도구는 컬러 사진의 밝기는 바꿀 수 있지만, 깊이 지도의 기하학적 구조는 건드려서는 안 된다는 점을 알고 있습니다. 형태의 변화는 일관되게 유지하면서도, 깊이 지도의 색상 변화는 건너뜁니다.
• 비디오 클립(Video Clips): 비디오를 가지고 있다면 카메라가 무작위로 튀어서는 안 됩니다. AlbumentationsX는 비디오 전체를 하나의 단위로 취급하므로, 비디오를 자를 때 모든 프레임을 동일한 위치에서 자릅니다. 이를 통해 떨리는 화면이 아닌 매끄럽고 자연스러운 줌 효과를 만들어냅니다.

자신만의 규칙 만들기

가장 멋진 기능 중 하나는 자신만의 커스텀 동작을 만들 수 있다는 점입니다. 예를 들어, 당신의 프로젝트에 특정 유형의 카메라 글리치(glitch)나 이상한 센서 오류를 시뮬레이션해야 할 수도 있습니다. 논문은 커스텀 "트랜스폼(transform, 변형)"을 작성하여 파이프라인 중간에 바로 삽당 넣는 방법을 보여줍니다. 이 방식은 동일한 상자 안에 있기 때문에, 내장된 동작들과 동일한 규칙과 확률을 따르게 됩니다. 이는 마치 안무에 새로운 댄스 스텝을 추가하는 것과 같습니다. 루틴 안에 포함되어 있는 한, 모두가 함께 움직이게 됩니다 됩니다.

안전망: 마법 재현하기(Replaying the Magic)

만약 로봇이 이상한 것을 배웠고, 정확히 무슨 일이 일어났는지 알고 싶다면 어떻게 할까요? 논문은 영리한 트릭인 ReplayCompose를 제안합니다. 특정 호출 중에 어떤 랜덤한 선택들이 내려졌는지에 대한 기록을 저장할 수 있습니다. 나중에 이 기록을 다시 입력하면, 도구는 정확히 동일한 변형을 재현해 냅니다. 이는 비디오 게임 레벨에서 "실행 취소"를 누르는 것과 비슷하지만, 시간을 되돌리는 대신 실수가 어디서 발생했는지 확인하기 위해 동일한 일련의 사건들을 다시 재생하는 것입니다.

이 도구가 하는 일 (그리고 하지 않는 일)

저자는 AlbumentationsX가 무엇이고 무엇이 아닌지에 대해 매우 명확하게 설명합니다. 이 도구는 정렬을 위한 도구이지, 마음을 읽는 도구가 아닙니다. 이 도구는 고양이 사진을 뒤집는 것을 기꺼이 수행하겠지만, 그것이 당신의 특정 작업에 좋은 아이디어인지 알려주지는 않습니다. 만약 당신이 길 표지판을 읽는 로봇을 훈련시키고 있다면, 이미지를 뒤집는 동작은 표지판을 읽을 수 없게 만들 수 있지만, 도구는 이를 막지 않습니다. 어떤 동작이 자신의 특정 문제에 적합한지는 여전히 인간 전문가가 결정해야 합니다.

또한 논문은 TorchVision이나 Kornia와 같은 다른 도구들이 존재하지만, AlbumentationsX는 121개의 다양한 2D 변형 라이브러리를 보유하고 있으며, 이미지, 마스크, 경계 상자, 비디오와 같은 서로 다른 유형의 데이터를 완벽하게 동기화하도록 특별히 설계되었다는 점에서 차별화된다고 언급합니다. 이 도구가 가장 빠르다거나 유일한 방법이라고 주장하는 것이 아니라, 데이터가 불일치한 변화로 인해 "손상"되는 것을 방지하는 매우 신뢰할 수 있는 단일 패키지 솔루션을 제공한다는 것입니다.

요약하자면, AlbumentationsX는 일관성의 수호자입니다. 컴퓨터 비전 모델을 가르치기 위해 데이터를 다룰 때, 사진은 움직였는데 지도는 그대로 남겨두는 실수를 저질러 학습을 망치지 않도록 보장합니다. 이것은 사람들이 서로 발이 꼬여 넘어지는 혼란스러운 댄스 플로어와, 모든 움직임이 완벽하게 조화를 이루는 정교한 안무 사이의 차이입니다.