당신이 로봇에게 사진 속 동물을 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 고양이 사진을 보여주며 로봇에게 귀의 모양과 꼬리의 곡선을 학습시킵니다. 하지만 사진이 흐릿하거나, 눈에 덮여 있거나, 이상한 색상 필터가 적용되어 있다면 어떻게 될까요? 완벽하고 선명한 사진으로만 훈련된 로봇은 혼란에 빠져 완전히 실패할 수도 있습니다. 이것이 바로 컴퓨터가 데이터를 통해 배우는 **머신 러닝(machine learning)**의 세계입니다. 컴퓨터가 정말 똑똑해지기 위해서, 이들은 **최적화(optimization)**라고 불리는 과정을 사용하는데, 이는 마치 안개 낀 골짜기에서 가장 낮은 지점을 찾으려는 등산객과 같습니다. 목표는 "최선의" 답을 찾는 것이지만, 지형에는 최저점처럼 보이지만 실제로는 아닌 작은 웅덩이들(지역 최솟값, local minima)이 가득합니다. 이러한 얕은 웅덩이에 갇히는 것을 피하기 위해, 과학자들은 종-종 훈련 데이터에 약간의 노이즈(noise)—무작위적인 정적이나 글리치(glitch)—를 추가합니다. 이는 등산객의 다리를 흔들어 작은 구멍에서 빠져나와 진짜 골짜기 바닥을 찾도록 돕는 것과 같습니다. 오랫동안 과학자들은 배경 음악의 볼륨을 서서히 줄이는 것처럼, 로봇이 학습함에 따라 노이즈를 서서히 0으로 줄여야 한다고 생각했습니다.

이제 새로운 아이디어를 상상해 보세요. 음악을 서서히 줄이는 대신, 빠르게 켰다 껐다 하는 것입니다. 노래를 틀었다가, 침묵했다가, 다시 노래를 틀고, 다시 침묵하는 식입니다. 이것이 바로 프린스턴 대학교의 연구진이 발견한 것입니다. 그들은 인터리브드 노이즈 인젝션(interleaved noise injection, 교차 노이즈 주입)—깨끗하고 완벽한 데이터와 지저분하고 노이즈가 섞인 데이터를 번갈아 가며 사용하는 방법—이 로봇을 더 똑똑하고 강인하게 만들며, 엉망인 사진에서도 동물을 더 잘 인식하게 만든다는 것을 발견했습니다. 그들은 단순히 추측으로 이를 찾아낸 것이 아니라, 왜 이것이 작동하는지를 설명하는 수학적 이론을 구축했으며 CIFAR-100 및 ImageNet과 같은 유명한 이미지 데이터셋을 통해 테스트했습니다. 그들의 결과는 이 간단한 "온-오프" 스위치가 추가적인 컴퓨팅 능력이나 새로운 데이터 없이도 로봇이 나쁜 학습 습관에서 벗어나도록 돕는다는 것을 시사합니다.

더 똑똑한 로봇을 위한 "온-오프" 스위치

이 논문은 인터리브드 노이즈 인젝션이라는 영리한 새로운 훈련 스케줄을 소개합니다. 신경망(로봇의 뇌)을 훈련하는 것을 큰 시험을 위해 공부하는 것에 비유해 보세요. 보통 여러분은 교과서(깨끗한 데이터)로 공부하고, 그다음에는 오타가 있는 연습 문제(노이즈 데이터)를 풀 수도 있습니다. 전통적인 방식은 "강한 기초를 쌓기 위해 오타부터 시작한 다음 깨끗한 교과서로 전환하라"거나, "깨끗하게 시작해서 서서히 오타를 추가하라"고 말합니다. 하지만 저자들은 이러한 방식들에 결함이 있다는 것을 발견했습니다. 너무 일찍 전환하면 깨끗한 세부 사항을 잊어버리고, 너무 늦게 전환하면 틀에 박힌 습관에서 벗어나지 못합니다.

대신, 저자들은 "핑퐁" 스케줄을 제안합니다. 모델을 깨끗한 데이터로 몇 차례(에포크, epochs) 훈련시킨 다음, 갑자기 "임펄스 노이즈(impulse noise, 충격 노이즈)"(소금과 후추 같은 정적)나 "가우시안 노이즈(Gaussian noise, 부드러운 블러)"(부드러운 흐림 효과)로 덮인 데이터로 전환하여 한 차례 훈련시킨 뒤, 다시 깨끗한 데이터로 돌아옵니다. 이 사이클을 반복합니다: 깨끗하게, 깨끗하게, 깨끗하게, 노이즈 섞인 것, 깨끗하게, 깨끗하게, 깨끗하게, 노이즈 섞인 것. 이 끊임없는 전환은 리셋 버튼처럼 작용합니다. 모델이 노이즈 데이터 위에 있을 때, 모델은 얕고 찾기 쉬운 해결책(지역 최솟값)에서 "차여져" 나와 더 깊고 견고한 해결책을 찾도록 강요받습니다. 그리고 다시 깨끗한 데이터로 전환될 때, 모델은 이전에 배웠던 중요한 세부 사항들을 기억하므로 모든 것을 잊어버리지 않습니다.

왜 노이즈가 중요한가: 두 가지 종류의 "엉망진창"

이 논문은 흥미로운 사실을 발견했습니다: 모든 노이즈가 다 같은 것은 아니며, 서로 다른 로봇의 뇌는 서로 다른 종류의 엉망진창을 선호한다는 것입니다.

1. 임펄스 노이즈 (소금과 후추): 이것은 사진의 몇몇 픽셀을 무작위로 완전히 검은색이나 흰색으로 만드는 것과 같습니다. 저자들은 이것이 ResNet(이미지를 인간이 얼굴의 특징을 하나씩 보듯 작은 국소적 조각으로 보는 형태의 로봇 뇌)에 가장 효과적이라는 것을 발견했습니다. 임펄스 노이즈는 로봇이 특정 픽셀 하나하나에 집착하는 것을 멈추고 대신 전체적인 큰 그림을 배우도록 만듭니다. 이는 학생에게 "모든 글자의 철자를 외우려고 하지 말고, 단어의 전체적인 형태를 배워라"라고 말하는 것과 같습니다.
2. 가우시안 노이즈 (부드러운 블러): 이것은 이미지 전체에 부드럽고 균일한 흐릿함을 더하는 것과 같습니다. 이것은 이미지를 한꺼번에 보고 멀리 떨어진 부분들을 연결하려고 시도하는 **비전 트랜스포머(Vision Transformers, ViTs)**에 가장 적합합니다. 블러는 이 모델들이 가짜일 수 있는 커다란 패턴(예: 배경 질감)에 의존하는 것을 멈추고, 실제 물체의 국소적인 세부 사항에 집중하도록 만듭니다.

저자들은 만약 맞지 않는 노이즈를 잘못된 로봇에게 사용한다면 효과가 크지 않다는 것을 보여주었습니다. 하지만 노이즈를 로봇의 "성격"에 맞춘다면 그 결과는 놀랍습니다.

안정성의 마법: 어지러움을 느끼지 않기

이 "온-오프" 아이디어에는 문제가 있었습니다. 깨끗한 사진에서 매우 노이즈가 심한 사진으로 전환할 때, 로봇의 학습 신호(그리디언트, gradient)가 너무 커지거나 작아져서 제어가 안 되는 등 학습이 불안정해질 수 있습니다. 이를 해결하기 위해 저자들은 그리디언트 노름 안정화(gradient-norm stabilization) 기술을 발명했습니다. 자동차를 운전한다고 상상해 보세요. 울퉁불퉁한 길(노이즈 데이터)을 만났을 때, 단순히 가속 페달을 밟는 것이 아니라, 매끄러운 도로에서 얼마나 빠른 속도로 달리고 있었는지에 따라 속도를 조절합니다. 저자들의 방식은 정확히 이와 같습니다. 노이즈 데이터로부터 받는 로봇의 "밀기(push)"를 깨끗한 데이터로부터 받은 밀기의 강도에 따라 조절합니다. 이는 학습을 매끄럽게 유지하고 로봇이 궤도를 벗어나는 것을 방지합니다.

결과: 더 좋고, 더 강하며, 더 빠르게

연구진은 이 방법을 두 가지 주요 데이터셋인 CIFAR-100(100가지 유형의 물체 세트)과 ImageNet(1,000가지 유형의 거대한 물체 세트)에서 테스트했습니다. 그들은 이 방법과 "Cutout"(이미지의 일부를 가리는 방식) 또는 "AugMix"(다양한 이미지 스타일을 섞는 방식)와 같은 다른 유명한 강인함 증진 방법들을 비교했습니다.

결과는 인상적이었습니다:

• 깨끗한 데이터: 로봇이 완벽한 사진을 보는 시간이 더 적었음에도 불구하고, 완벽한 사진으로만 훈련된 로봇보다 오히려 깨끗한 사진을 인식하는 능력이 더 좋아졌습니다.
• 손상된 데이터: 눈, 블러, 또는 디지털 글리치가 있는 사진으로 테스트했을 때, 인터리브드 노이즈를 사용한 로봇들은 현저히 높은 정확도를 보였습니다. 예를 들어, ImageNet 데이터셋에서 ResNet50 모델에 임펄스 노이즈를 추가했을 때, 표준 방식에 비해 손상된 이미지에 대한 오류율이 거의 2% 감소했습니다.
• 분포 외 데이터 (OOD, Out-of-Distribution): 이것은 "실제 세상" 테스트입니다. 로봇들에게 훈련받은 것과 전혀 다른 이미지(예: 사진 대신 그림)를 보여주었습니다. 인터리브드 방식은 거의 모든 다른 방법보다 이러한 예상치 못한 상황을 더 잘 처리하도록 도왔습니다.

가장 좋은 점은 무엇일까요? 이 방법은 추가 비용이 거의 들지 않는다는 것입니다. 더 많은 컴퓨터 시간이나 더 많은 데이터를 필요로 하지 않습니다. 단지 데이터가 보여지는 순서를 바꿀 뿐입니다. 저자들은 5 에포크(clean)마다 1 에포크(noisy)를 교체하는 단순한 설정이 전반적으로 매우 효과적이라는 것을 발견했습니다.

이것이 변화시키는 것

이 논문은 견고한 AI의 비밀이 단순히 더 많은 데이터를 보거나 더 큰 컴퓨터를 사용하는 데 있는 것이 아니라고 제안합니다. 그것은 데이터를 어떻게 보여주느냐에 달려 있습니다. 깨끗한 데이터의 "안전한" 세상과 노이즈 섞인 데이터의 "혼돈스러운" 세상을 리드미컬하게 교차하여 보여줌으로써, 모델은 유연해지는 법을 배웁니다. 모델은 자신을 속이는 작은 방해 요소들을 무시하는 법을 배우고, 세상이 엉망이 되어도 변하지 않는 진정한 근본 패턴을 찾는 법을 배웁니다.

저자들은 이것이 단순하면서도 강력한 도구라고 결론짓습니다. 이는 미래에 우리가 실제 세상을 다루기 위해 더 복잡한 로봇을 만들 필요 없이, 단지 적절한 타이밍에 온-오프를 조절하며 약간의 혼돈을 섞어 가르치기만 하면 될 수도 있음을 시사합니다.