MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

컴퓨터가 우리처럼 사물 속의 고양이를 찾아내거나 표지판을 읽는 등, 인간처럼 "보는" 법을 배운 세상을 상상해 보세요. 오랫동안 이를 수행하는 가장 좋은 방법은 합성곱 신경망(CNN)이라는 유형의 뇌를 사용하는 것이었습니다. 하지만 최근에는 **비전 트랜스포머(Vision Transformer, ViT)**라는 새롭고 매우 강력한 뇌가 그 자리를 차지했습니다. 이 뇌는 믿기지 않을 정도로 똑똑하지만, 한 가지 비밀스러운 약점이 있습니다. 바로 약간의 '식탐'이 있다는 점입니다. 이 모델은 이미지의 모든 아주 작은 조각들을 한꺼번에 보려고 시도하며, 이는 엄청난 양의 배터리와 컴퓨팅 전력을 잡아먹습니다. 이를 해결하기 위해 엔지니어들은 **토큰 프루닝(Token Pruning)**이라는 영리한 기술을 발명했습니다. 이것은 마치 클럽의 문지기(bouncer)와 같습니다. 모든 픽셀(토큰)을 VIP 구역에 들여보내는 대신, 문지기가 신분증을 확인하여 중요한 것들만 들여보내고 지루한 것들은 쫓아냄으로써 에너지를 아끼는 방식입니다.

하지만 어떤 보안 시스템과 마찬가지로, 이 문지기는 속임수에 넘어갈 수 있습니다. 교활한 해커는 사진에 눈에 보이지 않는 "노이즈"—마치 디지털 모래알 몇 개처럼—를 추가하여 문지기를 혼란에 빠뜨릴 수 있습니다. 이 노이즈는 우리 눈에는 완벽하게 정상적으로 보이지만 문지기를 혼란스럽게 만듭니다. 문지기는 지루한 토큰을 쫓아내는 대신, 모든 것이 중요하다고 착각하여 모두를 들여보내 버립니다. 갑자기 컴퓨터는 다시 모든 배터리를 잡아먹으며 느려지게 됩니다. 비록 사진 자체는 거의 변하지 않았음에도 말이죠. 이를 **효율성 저하 공격(Efficiency Degradation Attack)**이라고 합니다. 이 공격은 컴퓨터가 고양이를 개로 보게 만들려는 것이 아니라, 단지 컴퓨터가 최대한 열심히 일하게 만들어 스마트폰, 드론 또는 감시 카메라의 배터리를 소모시키는 것을 목표로 합니다.

"MOAT" 솔루션: 비효식적인 문지기에 대항하는 디지털 해자

이 논문에서 연구진은 MOAT(Model-Agnostic Randomized Transformations)라고 불리는 새로운 방어책을 소개합니다. MOAT는 컴퓨터의 시각 시스템을 둘러싸고 있는 마법 같고 변화무쌍한 '해자(moat)'라고 생각할 수 있습니다. 문지기를 직접 수정하거나 컴퓨터를 더 강하게 가르치려고 노력하는 대신(이는 어렵고 비용이 많이 듭니다), MOAT는 문지기에게 도달하기 전에 "더러워진" 사진을 먼저 씻어냅니다.

작동 방식은 다음과 같습니다. 재미있는 비유를 들어 단계별로 설명하겠습니다.

1. 무작위 축소 및 확대 (The Random Shrink-and-Stretch): 해커가 문지기를 혼란시키기 위해 사진 위에 완벽하고 투명한 지도를 그려 놓았다고 가정해 봅시다. MOAT는 먼저 사진을 잡고 무작위로 축소하거나 확대한 다음, 원래 크기로 다시 자릅니다(crop). 이것은 지도를 잡고 구겼다가 다시 펼치는 것과 같습니다. 해커의 완벽한 지도는 이제 구겨지고 쓸모없게 됩니다. 크기가 매번 무작위로 변하기 때문에, 해커는 자신의 속임수를 어떻게 그려야 할지 예측할 수 없습니다.
2. 중앙값 필터 (The Median Filter - 부드러운 스펀지): 다음으로, MOAT는 사진을 "부드러운 스펀지"에 통과시킵니다. 만약 해커가 날카롭고 작은 노이즈 속에 속임수를 숨겨두었다면, 이 스펀지는 그것을 닦아내고 주변 색상의 평균값으로 대체합니다. 이것은 울퉁불퉁한 길을 매끄럽게 다듬어 자동차가 걸리지 않고 달릴 수 있게 하되, 큰 언덕과 골짜기(이미지의 중요한 부분)는 그대로 유지하는 것과 같습니다.
3. JPEG 압축 (The Digital Shrink Ray - 디지털 축소 광선): 마지막으로, MOAT는 사진을 압축된 형식(JPEG와 같은)으로 압축합니다. 이 과정은 해커의 노이즈가 숨어 있을 수 있는 미세한 고주파 디테일들을 버립니다. 이것은 상세한 그림을 여러 번 복사하는 것과 같습니다. 세밀하고 까다로운 선들은 흐릿해져 사라지지만, 주요 그림은 명확하게 유지됩니다.

연구 결과

연구진은 이 "MOAT" 파이프라인을 DeSparsify라고 불리는 특정 해커 공격을 사용하여 두 가지 인기 있는 비전 트랜스포머 모델(DeiT-Tiny 및 DeiT-Small)에 대해 테스트했습니다.

• 문제점: 방어책이 없었을 때, 해커의 공격은 매우 성공적이었습니다. DeiT-Small 모델의 경우, 해커의 공격은 컴퓨터가 거의 모든 토큰을 유지하도록 강제하여, 에너지 비용(GFLOPs로 측정)을 가벼운 3.12에서 3.98까지 높였습니다. 이는 컴퓨터가 효율성 절감 효과의 약 **31%**를 잃었음을 의미하며, "절감액"이 단 **12.4%**로 떨어졌음을 뜻합니다. 공격은 매우 강력하여 **60.6%**의 확률(공격 성공률, ASR로 측정)로 성공했습니다.
• 해결책: MOAT 방어책을 추가하자 해커의 마법 주문이 깨졌습니다. 컴퓨터는 다시 효율적으로 돌아갔습니다. 에너지 비용은 3.26으로 다시 낮아졌고, 효율성 절감 효과는 **28.2%**로 회복되었습니다. 공격 성공률은 단 **7.5%**로 급락했습니다.
• 가장 놀라운 점: 가장 흥고한 발견은 MOAT가 컴퓨터의 뇌를 전혀 수정할 필요가 없었다는 점입니다. 모델을 재학습시키거나 문지기의 규칙을 바꿀 필요도 없었습니다. 그저 앞에 앉아 세 가지 간단한 기술을 수행했을 뿐입니다. 더욱이, MOAT는 믿을 수 없을 정도로 가벼웠습니다. 다른 방어책(예: 복잡한 확산 모델)이 컴퓨터에 수백 배 더 많은 일을 시키는 반면, MOAT는 약 **0.15%**에서 **0.57%**의 추가 작업만을 더했습니다. 거대한 배터리 소모를 막기 위해 지불하기에는 매우 적은 대가입니다.

이것이 왜 중요한가

이 논문은 이 접근 방식이 "모델 불가지론적(model-agnostic)"이기 때문에, 각 모델에 맞춤화할 필요 없이 모든 비전 트랜스포머에 작동한다는 점에서 게임 체인저가 될 수 있다고 제안합니다. 연구진은 세 단계(크기 조정, 필터링, 압축)를 모두 함께 사용하는 것이 하나만 사용하는 것보다 훨씬 낫다는 것을 발견했습니다. 또한 다양한 설정을 테스트하여 컴퓨터를 똑똑하게 유지하면서(높은 정확도) 동시에 해커를 차단할 수 있는 "균형 잡힌" 버전을 찾아냈습니다.

하지만 저자들은 이것이 모든 것을 영원히 막아주는 마법의 방패는 아니라는 점을 분명히 하고 있습니다. 만약 해커가 방어 방식이 어떻게 작동하는지 정확히 알게 된다면, 더 똑똑한 공격을 시도할 수도 있다는 점을 인정합니다. 그러나 MOAT는 무작위 변화와 계산하기 어려운(미분 불가능한) 단계들을 사용하기 때문에, 해커가 이를 깨뜨리는 방법을 알아내는 것은 매우 어렵고 비용이 많이 드는 일이 됩니다.

요약하자면, MOAT는 해커가 우리의 스마트 카메라와 휴대폰을 과도하게 작동하게 만들기 위해 사용하는 보이지 않는 속임수를 씻어내어, 기술을 완전히 개조하지 않고도 빠르고 배터리 친화적으로 유지해 주는 영리하고 가벼운 방패입니다.