Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
이 논문은 공유된 초기화를 사용하는 데이터 프리 지식 증류가 프라이빗 모델을 정화하는 데 실패하며, 가우시안 노이즈 쿼리가 교사 네트워크로부터 학생 네트워크로 암기된 훈련 데이터와 백도어를 의도치 않게 전송할 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능의 세계에서 모델들은 종종 의료 기록부터 개인적인 메시지에 이르기까지 방대한 양의 사적인 정보들을 학습하며 훈련됩니다. 이 데이터를 보호하기 위해 연구자들은 지식 증류(knowledge distillation)라고 불리는 기술을 개발했습니다. 비밀 가족 레시피 북을 통해 요리를 배운 숙련된 셰프를 상상해 보십시오. 셰프는 레시피 북을 공개하지 않고도 자신의 요리 기술을 공유하기 위해, 평범한 물이나 간이 되지 않은 밀가루와 같은 무작위적이고 의미 없는 재료만을 사용하여 제자에게 자신의 요리 스타일을 흉내 내도록 훈련시킵니다. 제자가 원래의 재료를 전혀 보지 못하기 때문에, 일반적인 기술만을 배우고 구체적인 비밀은 잊어버리기를 바라는 것입니다. 이 방법은 원래의 훈련 데이터를 비공개로 유지하면서 AI 모델을 공유하는 안전한 방법으로 오랫동안 여겨져 왔습니다. 또한, 모델이 잘못된 행동을 하도록 강제하는 공격자들이 심어놓은 비밀 트리거(backdoor)—즉, 숨겨진 백도어—를 깨끗하고 무작위적인 데이터로 재학습시켜 제거하려는 시도에도 사용됩니다.
하지만 새로운 한 연구가 이 오래된 믿음에 도전합니다. 연구자들은 만약 스승과 제자가 정확히 동일한 기초 설계도(blueprint)에서 시작한다면, 제자가 무작위적인 노이즈만을 제공받더라도 여 still 스승의 비밀을 배울 수 있다는 사실을 발견했습니다. 이 연구는 이 과정이 기존에 생각했던 것처럼 모델을 정화하지 않는다는 것을 보여줍니다. 대신, 이는 일반적인 기술뿐만 아니라 사적인 데이터의 구체적이고 암기된 세부 사항, 즉 백도어와 개인 기록까지도 전달하는 숨겨진 파이프라인 역할을 합니다. 이 발견은 만약 훈련의 시작점이 외부인에게 알려져 있다면, 단순히 무작위 입력을 통해 모델을 재학습시키는 것만으로는 프라이버시를 보호하기에 충분하지 않다는 점을 시사합니다.
연구자들은 필기체 숫자나 의류 아이템과 같은 표준 데이터셋으로 훈련된 이미지 인식 모델을 사용하여 이 아이디어를 테스트했습니다. 그들은 사적인 데이터에 특수한 오분류 이미지와 백도어로 작동하도록 설계된 숨겨진 트리거가 포함된 '스승' 모델을 만들었습니다. 그런 다음, 제자가 무작별 노이즈에 대한 스승의 반응을 흉내 내도록 하는 과정, 즉 데이터 프리 증류(data-free distillation)를 통해 '학생' 모델을 만들었습니다. 결정적으로, 그들은 두 가지 시나리오를 비교했습니다. 하나는 학생이 스승과 정확히 동일한 초기 설정에서 시작하는 경우였고, 다른 하나는 학생이 완전히 다른 무작위 설정에서 시작하는 경우였습니다.
결과는 놀라웠습니다. 학생과 스승이 동일한 시작 설계도를 공유할 때, 학생은 스승의 비밀을 성공적으로 상속받았습니다. 학생은 오직 무작위 정적(static)만을 가지고 훈련되었음에도 불구하고, 스승이 암기했던 특정 이미지를 식별해 냈습니다. 필기체 숫자와 관련된 한 실험에서, 학생 모델은 특정 이미지가 스승의 사적인 훈련 세트에 포함되어 있는지 여부를 무작위 확률보다 훨씬 높은 0.86의 AUC로 정확히 맞출 수 있었습니다. 나아가 학생은 백도어 트리거 또한 상속받았습니다. 특정 숨겨진 패턴이 포함된 이미지가 제시되었을 때, 학생 모델은 스승과 동일한 악성 동작을 활성화했는데, 그 성공률은 93%나 증가했습니다. 이는 학생이 스승의 내부의 사용되지 않는 출력값들—즉, 원래의 훈련에는 포함되지 않았으며 명백한 의미도 없는 신호들—만을 보여주었을 때도 발생했습니다.
반면, 학생이 독립적인 다른 설계도에서 시작했을 때, 학생은 비밀에 대해 아무것도 배우지 못했습니다. 동일한 무작위 노이즈 훈련이 사적인 이미지를 식별하거나 백도어를 트리거할 수 없는 모델을 만들어낸 것입니다. 이는 정보 유출이 무작위 노이즈 자체 때문이 아니라, 공유된 시작점 때문임을 입증합니다. 연구자들은 이 효과가 스승 모델이 너무 오래 훈련되지 않아 원래 상태에 가깝게 머물러 있을 때 특히 강력하다는 것을 발견했습니다. 스승이 광범위한 훈련을 통해 원래의 지점에서 멀어질수록 유출은 공략하기 어려워졌지만, 완전히 사라지지는 않았습니다. 또한 연구는 이 취약성이 단순한 이미지 모델을 넘어 언어 모델로도 확장된다는 것을 보여주었는데, 여기서는 무작위 문자열만으로도 사적인 텍스트에 삽로된 비밀 코드를 추출할 수 있었습니다.
연구자들은 모델이 훈련되는 과정을 살펴봄으로써 이 현상을 설명했습니다. 그들은 두 모델이 시작점을 공유할 때, 무작위 노이즈에 대한 스승의 반응을 모방하는 행위가 결과적으로 학생의 내부 설정을 스승과 같은 방향으로 밀어넣는다는 것을 발견했습니다. 스승의 설정은 사적인 데이터에 의해 형성되었으므로, 학생의 설정 역시 동일한 방향으로 밀려나며 그 사적인 정보를 함께 실어 나르게 됩니다. 무작위 노이즈는 이러한 숨겨진 방향을 드러내기 위해 모델의 적절한 부분들을 자극하는 매개체 역할을 합니다. 연구는 이 전이가 유용한 일반 지식이든 특정하게 암기된 비밀이든 상관없이 일어난다는 것을 보여주었습니다. 프로세스는 둘 사이의 차이를 구분하지 못합니다.
이 취약성을 해결할 수 있는지 테스트하기 위해 연구자들은 여러 방어책을 시도했습니다. 그들은 스승이 주는 답변에 무작위 노이즈를 추가하는 것이 공격을 막지 못한다는 것을 발견했습니다. 공격자는 더 많은 질문을 던져 노이즈를 평균화함으로써 여전히 비밀을 복구할 수 있기 때문입니다. 또한 출력을 의미 없는 데이터로만 제한하는 것도 도움이 되지 않았는데, 숨겨진 정보가 여전히 전달되었기 때문입니다. 그들이 찾아낸 유일한 효과적인 방어책은 차분 프라이버시(differential privacy)—단일 데이터가 모델에 가르칠 수 있는 내용을 제한하는 수학적 보증—를 사용하거나, 사적인 모델이 대중과 공유되지 않는 완전히 다른 비밀스러운 초기화 상태에서 시작하도록 보장하는 것뿐이었습니다. 그러나 후자의 옵션은 대중적인 베이스 모델을 미세 조정(fine-tuning)하여 사용하는 모델들의 경우, 그 공용 시작점의 이점을 포기해야 하므로 구현하기 어렵습니다.
이 연구는 우리가 AI 모델을 공유하는 안전성을 바라보는 관점을 근본적으로 변화시킵니다. 이는 무작위 입력이 필터 역할을 한다는 가정이 모델이 공통의 기원을 공유할 때 틀렸음을 보여줍니다. 이 연구는 대부분의 AI 모델이 소수의 공용 베이스 모델을 미세 조정하여 만들어지는 시대에, 공유된 시작점이 공격자가 사용할 수 있는 결정적인 정보가 된다고 결론짓습니다. 따라서 이 모델들에 대한 프라이버시 및 보안 평가는 이제 공용 베이스를 알고 무작위 쿼리를 사용하여 사적인 세부 사항을 추출할 수 있는 적대적 환경을 반드시 고려해야 하며, 이는 데이터 프리 증류가 민감한 정보를 보호하기 위한 안전한 피난처가 아님을 증명합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.