Doomed to Re-Annotate, Forever: The ImageNet Story

당신이 로봇에게 세상을 보는 법을 가르치려 한다고 상상해 보세요. 마치 어린아이가 동물원에서 동물을 인식하는 법을 배우는 것처럼 말이죠. 이를 위해 당신은 모든 사진에 그 안에 무엇이 들어있는지 정확한 이름이 적힌 거대한 그림책이 필요합니다. 컴퓨터 비전의 세계에서 이 "그림책"은 ImageNet이라고 불립니다. 10년 넘게 이것은 표준이자, 로봇의 눈이 얼마나 더 날카로워졌는지 확인하는 궁극의 테스트였습니다. 테스트는 간단합니다. 로봇에게 사진을 보여주고, "이 사진의 주인공은 무엇인가요?"라고 묻는 것입니다. 로봇이 정답 단어를 맞히면 점수를 얻습니다. 이 점수인 "Top-1 정확도(Top-1 accuracy)"는 모든 주요 인공지능 혁신의 성적표 역할을 해왔습니다.

하지만 함정이 있습니다. 만약 당신의 그림책이 동물에 대해 잘 알지 못하는 사람들이 서둘러서 작성했고, 그들이 시간당 보수를 받는 방식이었다면 어떨까요? 그들은 덤불 속에 숨어 있는 두 번째 동물을 놓치거나, 장난감 개를 진짜 개라고 부르거나, 거울에 비친 모습을 실제 물체라고 라벨을 붙일 수도 있습니다. 시간이 흐르면서 이러한 작은 실수들은 쌓여갑니다. 만약 테스트용 책이 엉망이라면, 로봇이 정말 똑똑한 것인지 아니면 그저 엉망인 정답을 운 좋게 맞힌 것인지 실제로 구분할 수 없습니다. 이 논문은 이 엉망인 그림책을 파헤쳐 이 책이 실제로 얼마나 엉망인지, 그리고 성적표를 망가뜨리지 않고도 이를 정화할 수 있는지 조사합니다.

위대한 ImageNet 대청소: 엉망인 라벨과 똑똑한 로봇들의 이야기

ImageNet-1k 데이터셋을 전 세계 AI가 눈을 훈련시키기 위해 사용해 온 거대한 50,000페이지짜리 사진 앨범이라고 생각해보세요. 수년 동안 연구자들은 이 앨범의 모든 라벨이 완벽하다고 가정하며 이를 성전처럼 다뤄왔습니다. 하지만 이 논문의 저자들인 프라하 체코 공과대학교 팀은 돋보기를 들고 이 전체를 조사하기로 했습니다. 그들은 단순하면서도 무서운 질문을 던졌습니다. 만약 우리 테스트 북의 정답들이 틀렸다면 어떻게 될까?

그들은 단순히 몇 페이지를 훔쳐본 것이 아닙니다. 그들은 검증 세트(validation set) 전체를 처음부터 다시 주석(re-annotate)을 달았습니다. 이는 그들이 50,000장의 이미지를 하나하나 다시 살펴보았음을 의미하는데, 이번에는 훨씬 더 똑똑하고 신중한 방식으로 접근했습니다. 그들은 기존의 라벨링 방식—사람이 사진에 대해 단 하나의 단어만을 골라야 했던 방식—이 마치 혼란스러운 파티를 묘사할 때 문 근처에 서 있는 사람 한 명의 이름만 부르는 것과 같다는 것을 깨달았습니다. 그렇게 하면 DJ나 케이크, 혹은 테이블 위의 고양이를 놓칠 수 있기 때문입니다.

거대한 폭로: 앨범은 엉망이었다
작업을 마쳤을 때, 그들은 원래의 라벨이 결코 완벽하지 않다는 것을 발견했습니다.

• "오답" 비율: 약 **12%**의 이미지들이 아예 잘못된 라벨을 가지고 있었습니다. 마치 고양이 사진이 개라고 라벨링 된 것과 같습니다.
• "누락된 항목" 비율: 무려 **33.3%**의 이미지들이 실제로 여러 개의 중요한 것들을 포함하고 있었지만, 기존의 라벨은 단 하나만을 선택했습니다. 만약 사진에 개, 공, 울타리가 있다면, 기존 라벨은 나머지는 무시한 채 그냥 "개"라고만 했을 수 있습니다.
• "불일치" 비율: 놀랍게도 **3.8%**의 이미지는 그들이 테스트하기로 했던 1,000개의 카테고리에 포함되는 것이 아무것도 들어있지 않았습니다. 이것들은 그저 빈 화면이거나 규칙에 맞지 않는 것들이었습니다.

이를 해결하기 위해 팀은 ReImageNet을 만들었습니다. 인간에게 단 하나의 승자만을 고르라고 강요하는 대신, 그들은 멀티라벨(multilabel) 주석을 허용했습니다. 그들은 주석 작성자들이 "좋아요, 여기에는 개와 공, 그리고 울타리가 있어요"라고 말할 수 있게 했습니다. 또한 까다로운 상황을 처리하기 위해 특별한 "속성(attributes)"을 추가했습니다.

• 반사(Reflection): 거울에 얼굴이 보인다면, 그것은 얼굴인가요? 네, 하지만 그것은 반사된 모습입니다.
• 재현(Rendition): 저것은 진짜 총인가요, 아니면 장난감 총인가요? 라벨은 그 차이를 알아야 합니다.
• 군중(Crowd): 사진에 50명의 사람이 있다면, 그들을 모두 세어야 할까요? 그들은 주석 작성자들이 50개의 작은 박스를 일일이 그릴 필요가 없도록 그룹을 위한 특별한 태그를 만들었습니다.

"인간 + 로봇" 팀
이 이야기에서 가장 흥สนใจ로운 부분 중 하나는 그들이 어떻게 이 일을 해냈는가 하는 점입니다. 그들은 단순히 인터넷의 불특정 다수에게 일을 맡기는 방식(크라우드소싱)을 사용하며 요행을 바라지 않았습니다. 그들은 크라우드소싱이 종종 혼란을 초래한다는 것을 발견했는데, 그 이유는 규칙을 짧은 매뉴얼로 설명하기 너무 어렵기 때문입니다.

대신, 그들은 "드림팀"을 구성했습니다. 그들은 소수의 숙련된 전문가를 고용하고 그들에게 초능력을 부여했습니다: 바로 AI 어시스턴트입니다. 그들은 강력한 AI 모델(GPT-4o 및 기타 모델들)을 사용하여 사진을 먼저 살펴보고 그곳에 무엇이 있는지 제안하도록 했습니다. 그런 다음 인간 전문가들이 그 제안들을 검토했습니다. 이것은 협업이었습니다. AI는 빠르고 지칠 줄 모르는 정찰병이었고, 인간은 신중한 편집자였습니다. 논문은 이 조합이 고품질의 라벨을 얻는 최선의 방법임을 밝혀냈습니다. AI 단독으로는 완벽하지 않았고, 인간 단독으로는 너무 느렸지만, 함께했을 때 그들은 새로운 수준의 정확도에 도달했습니다.

로봇들을 테스트했을 때 어떤 일이 벌어졌나?
새롭고 깨끗한 라벨이 준비되자, 그들은 기존의 AI 모델들을 다시 테스트에 돌려보았습니다. 결과는 "앗" 하는 순간과 "와우" 하는 순간이 섞여 있었습니다.

• 구세대 (지도 학습 모델): 엉망인 기존 라벨로 훈련된 전통적인 AI 모델들은 크게 개선되지 않았습니다. 점수는 겨우 0.05%에서 1.2% 상승했습니다. 이 모델들은 이미 엉망인 정답을 맞히는 법을 꽤 잘 배웠던 것으로 보입니다.
• 신세대 (MLLM): 더 새롭고 진보된 모델들(멀티모달 거대 언어 모델)은 엄청난 도약을 보였습니다. 점수가 5%에서 6% 증가했습니다. 이는 이 더 똑똑한 모델들이 기존의 엉망인 라벨 때문에 실제로 혼란을 겪고 있었다는 것을 시사합니다. 라벨이 깨끗해지자, 그들은 마침내 자신들이 얼마나 똑똑한지를 보여줄 수 있었습니다.

"확대(Zoom-In)"의 놀라움
팀은 또한 영리한 작업을 수행했습니다: 사진에서 특정 물체(예: 강아지만 찍힌 사진처럼)를 잘라내어(cropping) 로봇들에게 그 작은 조각들을 테스트하게 했습니다. 그들은 기존 방식의 로봇들이 배경이 사라지면 사물을 인식하는 데 매우 형편없어진다는 것을 발견했습니다. 정확도가 최대 **33%**까지 떨어졌습니다. 이는 그 로봇들이 실제로 개를 인식하기보다는 배경(예를 들어 개는 보통 잔디 위에 있다는 점)에 의존하고 있었음을 의미합니다. 새로운, 더 똑-똑한 모델들은 이 부분에서 훨씬 나은 모습을 보였으며, 이는 그들이 실제로 물체를 "보고" 있음을 증명했습니다.

파급 효과
논문은 또한 이 엉망인 상태가 ImageNet에만 국한된 것이 아니라고 경고합니다. 너무나 많은 다른 테스트들이 ImageNet을 청사진으로 삼아 만들어졌기 때문에, 오류가 바이러스처럼 퍼져나갔습니다. 저자들은 이러한 파생 테스트들이 원본보다 1.7배에서 5.8배 더 많은 오류를 가지고 있다고 추정합니다. 이는 마치 잘못된 치수로 설계된 청사진을 사용하여 새 집을 짓는 것과 같습니다. 새 집도 똑같이 비뚤어질 수밖에 없습니다.

핵টি 요점 (Takeaway)
저자들은 우리가 한 번에 완벽한 테스트를 만들 수는 없다고 결론짓습니다. 그것은 단 한 번의 작업이 아닙니다. 계속해서 확인하고, 계속해서 정제하며, 사용 가능한 최고의 도구들을 계속 활용해야 하는 과정입니다. 그들은 "원샷(one-shot)" 라벨링의 시대는 끝났다고 주장합니다. AI의 미래를 건설하기 위해서는 신중한 인간과 강력한 AI 사이의 파트너십이 필요하며, 서로의 작업을 끊임없이 확인해야 합니다.

요약하자면, 이 논문은 우리가 오랫동안 오타가 가득한 시험지로 AI를 채점해 왔음을 말해줍니다. 이제 우리가 그 오타들을 고치자, 어떤 AI는 우리가 생각했던 것보다 훨씬 더 똑똑하고, 어떤 AI는 그저 틀린 답을 맞히는 데 능숙했을 뿐이라는 사실이 드러났습니다. 그리고 모두에게 주는 교훈은 무엇일까요? 오래되었다고 해서 테스트 북을 그대로 믿지 마세요. 때로는, 직접 다시 써야 할 때도 있습니다.