당신은 로봇에게 동물을 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 수천 장의 사진을 보여줍니다. 하지만 여기 함정이 있습니다. 사진에 붙은 라벨(이름표)은 지치거나, 정신이 없거나, 혹은 장난기 가득한 사람이 작성했습니다. 어떤 경우에는 고양이 사진에 "개"라고 적혀 있고, 자동차 사진에 "비행기"라고 적혀 있기도 합니다. 이것이 바로 "노이즈가 있는 라벨 학습(Learning with Noisy Labels)"의 혼란스러운 현실입니다. 인공지능의 세계에서 모델들은 보통 완벽한 데이터를 통해 학습해야 하지만, 현실 세계에서 완벽한 데이터는 드물고 비용도 많이 듭니다. 과학자들은 로봇이 나쁜 라벨은 무시하고 좋은 라벨로부터 학습할 수 있도록 만들기 위해 노력해 왔습니다. 하지만 노이즈가 정말 심해지면—예를 들어 라벨의 90%가 틀렸을 때—대부분의 로봇은 포기하거나 혼란에 빠집니다.

당신이 읽게 될 논문은 바로 이 문제를 다룹니다. 이 논문은 XMix라고 불리는 새로운 방법을 소개합니다. X-Mix를 탐정이라고 생각해 보세요. 이 탐정은 파일에 적힌 라벨을 그대로 믿지 않습니다. 대신, 사진 그 자체를 관찰하여 어떤 사진들이 서로 "함께 속해 있어야 할 것 같은지"를 살펴봅니다. 만약 어떤 고양이 사진이 로봇의 기억 속에 있는 다른 고양이 사진들과 매우 유사하다면, 탐정은 설령 라벨이 다르게 적혀 있더라도 그 사진들이 모두 고양이라고 가정합니다. 이 접근 방식은 "국소적 매끄러움(local smoothness)"이라는 개념을 사용하는데, 이는 "비슷하게 생긴 것들은 보통 같은 그룹에 속한다"라는 세련된 방식으로 표현할 수 있습니다. 이 논리를 사용하여, XMix는 혼란을 정리하고 이전의 방법들보다 훨씬 더 잘 로봇을 가르치고자 합니다. 특히 데이터가 완전히 엉망인 상황에서도 말이죠.

문제: 장난꾸러기들로 가득 찬 교실

선생님이 학생들에게 다양한 종류의 과일을 식별하는 법을 가르치려고 하는 교실을 상상해 보세요. 선생님은 플래시카드를 한 더미 가지고 있지만, 한 무리의 장난꾸러기들이 라벨을 바꿔치기했습니다. 어떤 사과는 "바나나"라고 적혀 있고, 어떤 오렌지는 "포도"라고 적혀 있습니다.

과거에는 똑똑한 컴퓨터 프로그램(딥러닝 모델이라 불리는)들이 쓸 수 있는 비장의 무기가 있었습니다. 바로 "암기 효과(memorization effect)"입니다. 이 프로그램들은 카드를 공부하면서 "어, 나는 이 특정 카드에 대한 라벨은 아주 잘 맞히는데, 저 카드에 대해서는 정말 못 맞히네?"라고 깨닫습니다. 그들은 자신이 잘 맞히는 것들을 진짜(깨끗한 데이터)라고 가정하고, 잘 맞히지 못하는 것들을 장난꾸러기들의 거짓말(노이즈 데이터)이라고 가정했습니다.

하지만 문제는 장난꾸러기들이 미쳐 날뛰어서 라벨의 90%를 바꿔치기하면, 컴퓨터는 혼란에 빠진다는 점입니다. 컴퓨터는 이제 사과라고 라벨링 된 진짜 사과와 바나나를 구분할 수 없게 됩니다. 또한, 컴퓨터는 종종 특정 종류의 과일만 집중적으로 공부하게 되어, 다른 과일들을 인식하는 데 서툴러지는 문제가 발생합니다. 즉, 방 안에 장난꾸러기가 정확히 몇 명인지 알 필요가 없는 새로운 전략이 필요합니다.

해결책: XMix와 "닮은꼴" 규칙

새로운 탐정인 XMix가 등장합니다. XMix는 단순히 적혀 있는 라벨만 보는 것이 아니라, 특수한 안경(자기 지도 학습 특징 인코더)을 써서 과일의 시각적 세부 사항을 관찰합니다. XMix는 빨갛고 둥글며 줄기가 있는 과일이 다른 빨갛고 둥글며 줄기가 있는 과일들과 매우 닮았다는 것을 알고 있습니다.

XMix가 세 가지 큰 문제를 해결하는 방법은 다음과 같습니다:

1. 정답지 없이 노이즈 수준 추측하기
보통 이러한 컴퓨터 프로그램들은 규칙을 설정하기 위해 정확히 얼마나 많은 라벨이 틀렸는지(예: "50%가 틀림") 알아야 합니다. 만약 예측이 틀리면 실패하게 됩니다. 하지만 XMix는 이런 정답지가 필요 없습니다. XMix는 이미지 세계에서 과일과 가장 닮은 "닮은꼴" 이웃들을 살펴봅니다. 만약 이웃들의 라벨이 모두 제각각이라면, XMix는 "와, 여기 노이즈가 정말 높구나"라고 계산합니다. XMix는 "최대 가능도(maximum likelihood)"라는 수학적 기법을 사용하여 노이즈 수준을 자동으로 추정합니다. 이는 마치 탐정이 범죄 현장을 보고 경찰 보고서를 확인하지 않고도, "깨진 창문이 저렇게 많은 걸 보니 이건 폭동이었겠군"이라고 말하는 것과 같습니다.

2. 더 많은 우등생 찾기 (균형 잡힌 확장된 선택)
노이즈가 극심할 때, 기존의 방법들은 공부할 "깨끗한" 샘플(우등생)을 아주 조금밖에 찾아내지 못합니다. XMix는 이렇게 말합니다. "잠깐, 만약 우리가 괜찮은 사과 하나를 찾았다면, 그리고 이 사과가 근처에 있는 다른 다섯 개의 사과와 똑같이 생겼다면, 저 다섯 개도 믿어보자!" XMix는 이웃들을 포함함으로써 신뢰할 수 있는 샘플의 집단을 확장합니다.
결정적으로, XMix는 "클래스 불균형(class imbalance)" 문제도 해결합니다. 만약 장난꾸러기들이 모든 "바나나" 라벨을 숨겨버렸다면, 컴퓨터는 바나나 공부를 아예 중단할 수도 있습니다. XMix는 이를 감지하고 "바나나가 더 필요해!"라고 외칩니다. XMix는 더 멀리까지 내다보며 바나나와 닮은 것들을 찾아내어, 모든 과일이 배울 기회를 공평하게 얻도록 합니다. 이는 로봇이 한 가지 좋아하는 과일만 배우는 것이 아니라, 균형 잡힌 지식의 식단을 학습하도록 보장합니다.

3. 미지의 데이터에 대한 더 나은 추측
마지막으로, 여전히 확신이 서지 않는 카드(노이즈가 있는 것들)에 대해 XMix는 단순히 무작위로 추측하지 않습니다. 대신 이웃들에게 묻습니다. "너희는 이게 뭐라고 생각하니?" XMix는 가장 신뢰할 수 있는 이웃들(깨끗한 샘플들)의 의견을 가져와 평균을 내어 "의사 라벨(pseudo-label, 최선의 추측 라벨)"을 만듭니다. 이는 마치 전문가 집단에게 미스터리한 물건에 대해 투표를 요청하는 것과 같습니다. 전문가들은 대상과 얼마나 닮았느냐에 따라 선택되기 때문에, 그들의 투표는 무작위 추측보다 훨씬 더 신뢰할 수 있습니다.

연구 결과: 역경을 이겨내다

연구진은 자동차, 비행기, 동물 등의 사진이 담긴 유명한 이미지 데이터셋인 CIFAR-10과 CIFAR-100을 사용하여 XMix를 테스트했습니다. 그들은 극한의 시나리오를 만들기 위해 의도적으로 라벨을 엉망으로 만들었습니다:

• 90% 대칭 노이즈: 100개의 라벨 중 90개가 완전히 무작위인 상황을 상상해 보세요.
• 98% 노이즈: 거의 모든 것이 거짓말인 상황입니다.

이러한 가혹한 조건에서 기존의 방법들(DivideMix 및 ProMix 등)은 무너지기 시작했습니다. 예를 들어, 90% 노이즈가 있는 CIFAR-10에서 기존의 최고 방법인 DivideMix는 약 **76%**의 정확도만을 기록했습니다. 그러나 XMix는 이를 **91.2%**까지 끌어올렸습니다. 95% 노이즈가 있는 CIFAR-100에서는 기존 방법이 **19.1%**에 그친 반면, XMix는 **31.4%**에 도달했습니다.

논문은 XMix가 단순히 조금 더 나은 수준이 아니라, 상황이 가장 절망적일 때 빛을 발한다는 것을 보여줍니다. X-Mix는 기존 방법들보다 훨씬 더 많은 "진짜 깨끗한" 샘플을 성공적으로 식별해 냈으며, 때로는 로봇이 학습할 수 있는 좋은 예시의 수를 두 배 또는 세 배까지 늘리기도 했습니다.

결론

XMix는 데이터를 정화하기 위해 노이즈의 정확한 수준을 알 필요가 없다는 것을 증명합니다. 이미지 사이의 시각적 유사성, 즉 "특징 공간의 국소적 매끄러움"을 활용함으로써, XMix는 자동으로 전략을 조정하고, 더 많은 좋은 데이터를 찾아내며, 로봇이 노이즈를 무시하도록 가르칠 수 있습니다.

저자들은 이 방법이 특히 데이터가 지저지고 우리가 그 상태가 얼마나 나쁜지 알려주는 매뉴얼이 없는 실제 환경에서 중요한 진전이라고 제안합니다. 비록 모든 것을 완벽하게 고치는 마법 지팡이는 아니지만(노이즈가 낮거나 확장이 필요하지 않은 경우 여전히 실수를 하기도 합니다), 가장 도전적인 고노이즈 환경에서 일관되게 최첨단(state-of-the-art) 방법들을 능가합니다. XMix는 혼란스러운 장난꾸러기들의 교실을 학습이 여전히 가능한 공간으로 탈바꿈시킵니다.