Provably Lossless Acceleration of DNN Mutation Testing via Memoization

로봇에게 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 수천 장의 사진으로부터 학습하는 작은 스위치(뉴런)들로 이루어진 층(layer)으로 구성된 거대하고 복잡한 뇌를 만듭니다. 하지만 당신의 로봇이 정말 똑똑한 것인지, 아니면 그저 운이 좋은 것인지 어떻게 알 수 있을까요? 소프트웨어 테스트의 세계에는 '변이 테스트(mutation testing)'라는 영리한 기술이 있습니다. 이것은 마치 '틀린 그림 찾기' 게임과 같습니다. 로봇의 뇌를 아주 작고 무작위적인 방식으로—여기 스위치를 하나 뒤집거나, 저기 전선을 살짝 비트는 식으로—일부러 망가뜨린 다음, 당신의 테스트용 사진들이 그 실수를 잡아낼 만큼 충분히 좋은지 확인하는 것입니다. 만약 당신이 로봇을 망가뜨렸음에도 불구하고 로봇이 여전히 개를 고양이라고 생각한다면, 당신의 테스트는 제 역할을 하지 못하고 있는 것입니다.

문제는 이 게임이 믿기 힘들 정도로 느리고 비용이 많이 든다는 점입니다. 현대적인 로봇의 뇌를 테스트하려면, 매번 브레이크(변이)가 발생할 때마다 로봇을 수천 번 망가뜨리고 수백만 장의 사진을 통과시켜야 할 수도 있습니다. 이는 마치 건초더미에서 바늘을 찾으려고 하는데, 바늘을 찾을 때마다 건초더미 전체를 다시 만들고, 아주 작은 지푸라기 하나를 부순 뒤, 다시 전체를 확인하는 과정을 계속 반복하는 것과 같습니다. 이 속도를 높이기 위해 대부분의 사람들은 추측을 통해 결과를 예측하는 일종의 '꼼수(지름길)'를 사용해 왔습니다. 하지만 과학에서 추측하는 것은 위험합니다. 만약 추측이 틀린다면, 실제로는 고장 난 로봇을 안전하다고 오해할 수 있기 때문입니다. 이 논문은 이 게임을 즐기는 새로운 방법을 소개하는데, 빠르면서도 결코 '속임수'를 쓰지 않는 방법입니다.

로봇의 뇌를 위한 "복사-붙여넣기" 지름길

Mure(뮤레이라고 발음합니다)를 만나보세요. Ali Ghanbari, Ben Greenman, Sasan Tavakkol, 그리고 Shibbir Ahmed 연구진이 설계한 이 새로운 도구는 딥 뉴럴 네트워크(로봇의 뇌)를 공장의 긴 조립 라인이라고 생각합니다. 원재료(사진)가 시작점에서 들어와 여러 단계(층)를 통과한 뒤, 완성된 제품(정답)으로 나옵니다.

조립 라인의 맨 끝에 있는 기계를 망가뜨려 공장을 테스트하고 싶을 때, 매번 공장 전체를 처음부터 다시 만들 필요는 없습니다. 단지 고장 난 기계와 그 뒤에 있는 몇 개의 단계만 수정하면 됩니다. 브레이크가 발생한 지점 이전의 단계들은 원래의 공장과 정확히 동일하기 때문입니다.

Mure는 **메모이제이션(memoization)**이라는 기술을 사용합니다. 이는 "이미 했던 일을 기억한다"는 뜻의 멋진 말입니다. 실제 세상에서의 작동 방식은 다음과 같습니다:

1. 조립 라인: 당신이 100가지의 약간씩 다른 장난감 자동차를 만드는 공장을 가지고 있다고 상상해 보세요. 99개의 자동차는 조립 라인의 첫 10단계가 동일합니다. 마지막 2단계만 다를 뿐입니다.
2. 기존 방식 (Vanilla Testing): 기존 방식은 모든 버전의 자동차를 만들 때마다 전체 과정을 처음부터 다시 수행합니다. 첫 10단계를 실행하고, 그다음 2단계를 실행한 뒤, 다시 처음부터 시작하여 첫 10단계를 다시 실행하고, 또 그다음 2단계를 실행합니다. 이는 엄청난 에너지 낭비입니다.
3. Mure 방식: Mure는 이렇게 말합니다. "잠깐만요! 첫 10단계는 모두에게 똑같잖아요." 그래서 Mure는 첫 10단계를 단 한 번만 실행하고 그 결과를 "메모 테이블"(벽에 붙은 포스트잇 같은 것)에 저장합니다. 그 후, 각각의 변이된 자동차에 대해, 메모 테이블에서 정보를 가져와 첫 10단계를 건너뛰고 오직 마지막 2단계만 완성합니다.

거대한 발견: 속도는 높이고, 부정확함은 없애다

연구진은 Mure가 수학적으로 손실이 없는(provably lossless) 방식임을 증명했습니다. 이 부분이 가장 중요합니다. 과거의 다른 도구들은 실수를 놓칠 수도 있는 지름길을 사용하여 속도를 높이려 했습니다(그들은 'lossy'했습니다). 그것들은 마치 국물 맛을 보면서 소금 간은 확인하지 않고 그냥 괜찮겠거니 하고 넘어가는 요리사와 같았습니다. Mure는 다릅니다. Mure는 매번 무게를 재는 대신 미리 계량된 컵을 사용하는 것처럼, 원래의 레시피와 정확히 똑같은 방식으로 소금 간을 확인하는 요리사입니다.

이 논문은 Mure가 느리고 지루한 "처음부터 전부 다 하는" 방식과 정확히 동일한 결과를 만들어낸다는 것을 증명합니다. M never 망가진 로봇을 놓치지 않습니다. 그저 더 빠르게 일을 처리할 뿐입니다.

숫자가 말해주는 것들

연구팀은 단순한 것부터 수백만 개의 부품을 가진 거대하고 복적인 것까지, 다양한 형태와 크기를 가진 15가지의 서로 다른 로봇 뇌를 대상으로 Mure를 테스트했습니다. 이 테스트들은 특수한 슈퍼컴퓨터나 그래픽 카드가 아닌 일반 컴퓨터에서 실행되었습니다.

• 속도 향상: 평균적으로 Mure는 테스트 과정을 44.54% 더 빠르게 만들었습니다. 즉, 테스트가 100분 걸렸다면 이제는 약 55분이면 충분합니다.
• 트레이드오프 (Trade-off): Mure를 "꼼수" 지름길(DM# 및 BSS라고 불리는 것들)과 비교했습니다. 그 지름길들은 훨씬 더 빨랐지만(최대 88.97% 빠름), 실수를 저질렀습니다. 그들은 로봇이 고장 났는데도 멀쩡하다고 하거나, 반대로 멀쩡한데 고장 났다고 말하곤 했습니다. Mure는 그러한 실수를 거부했습니다.
• "얼마나 많이 망가뜨렸나?" 테스트: 연구진은 또한 "우리가 로봇을 더 많이 망가뜨리면 어떻게 될까?"라고 물었습니다. 그들은 뉴런의 1%, 3%, 5%를 망가뜨리며 테스트했습니다. 더 많은 부분을 망가뜨릴수록 재사용할 수 있는 "첫 10단계"가 줄어들기 때문에 속도 향상 폭은 작아졌습니다. 하지만 뉴런의 **5%**를 망가뜨렸을 때조차도, Mure는 여전히 20%의 속도 향상을 제공했습니다.

이것이 왜 중요한가

이것은 단순히 시간을 아끼는 문제가 아니라, '신뢰'에 관한 문제입니다. 자율주행 자동차나 의료 진단과 같이 안전이 직결된 분야에서는 추측을 해서는 안 됩니다. 테스트가 자동차가 안전하다고 말한다면, 그것은 100% 확신할 수 있어야 합니다. Mure는 엔지니어들이 100%의 확실성을 희생하지 않으면서도, 이러한 무겁고 비용이 많이 드는 안전 점검을 훨씬 더 빠르게 수행할 수 있게 해줍니다.

연구진은 무엇을 재사용할지에 대해 똑똑하게 판단함으로써, 테스트 비용을 거의 절반으로 줄일 수 있다는 것을 보여주었습니다. 그들은 단순히 이것이 작동할 것이라고 추측한 것이 아닙니다. 직접 도구를 만들고, 실험을 수행했으며, 수학적으로 증명했습니다. 이는 때때로 가장 빠르게 가는 방법은 더 열심히 달리는 것이 아니라, 이미 했던 일을 기억하는 것임을 상기시켜 줍니다.