DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

현대 인공지능의 지형에서, 디퓨전 모델(diffusion models)로 알려진 특정 부류의 시스템은 우리가 온라인에서 보는 가장 놀라운 이미지들을 만들어내는 엔진이 되었습니다. 이 시스템들은 무작위 노이즈로부터 시작하여 이미지가 선명하게 드러날 때까지 점진적으로 노이즈를 제거함으로써 새로운 그림을 만드는 법을 배웁니다. 이를 위해 이들은 기존 사진들의 방대한 컬렉션을 통해 훈련되며, 한 이미지와 다른 이미지를 연결하는 통계적 패턴을 학습합니다. 이러한 모델들은 예술을 생성하는 능력으로 찬사를 받지만, 그 성공과 함께 조용한 개인정보 보호 문제가 부상했습니다. 모델을 훈련하는 데 사용된 사진의 구체적인 목록이 공개되지 않는 경우가 드물기 때문에, 특정 개인의 사적인 사진이 해당 훈련 세트에 포함되었는지 알기가 어렵습니다. 이는 여러 가지 이유로 중요합니다. 어떤 사람의 의료 데이터나 생체 인식 데이터가 사용되었음을 확인하는 것 자체가 개인정보 침해가 될 수 있으며, 현재의 데이터 보호법에 따라 개인은 자신의 데이터를 삭제해 달라고 요청할 권리가 있지만, 모델이 실제로 자신을 '잊었는지'를 확인할 방법은 없는 경우가 많습니다. 더욱이, 만약 모델이 일반적인 스타일을 배우는 것을 넘어 특정 저작권이 있는 이미지를 암기했다면, 모델이 생성하는 새로운 이미지의 소유권이 누구에게 있는지에 대한 법적 문제를 제기합니다.

수년 동안 연구자들은 특정 이미지가 모델의 훈련 데이터의 일부였는지에 대한 질문에 답할 수 있는 도구를 구축하려고 노력해 왔습니다. 멤버십 추론 공격(membership inference attacks)으로 알려진 이러한 시도들은 주로 직관에 의 Rely했습니다. 연구자들은 만약 모델이 이전에 본 이미지를 보고 있다면, 그것을 본 적 없는 이미지에 반응할 때와는 약간 다르게 반응할 것이라고 추측했습니다. 그들은 모델이 노이즈가 섞인 버전의 이미지를 정화할 때 얼마나 많은 오류를 범하는지와 같은 다양한 신호들을 테스트했습니다. 그러나 이러한 방법들은 종종 성패가 갈렸고, 모델에 매우 많은 질문을 던져야 했으며, 왜 작동하는지에 대한 견고한 이론적 토대가 부족했습니다. 그것들은 마치 바늘의 형상을 이해하기보다는 건초더미의 어느 부분이 날카로울지 추측하며 바늘을 찾는 것과 같았습니다.

일리노이 대학교 어바나-샴페인 캠퍼스의 연구팀은 이제 완전히 다른 각도에서 이 문제에 접근했습니다. 어떤 신호가 유용할지 추측하는 대신, 그들은 수학적으로 가장 완벽한 신호가 어떤 모습일지를 먼저 도출했습니다. 그들은 근본적인 질문을 던졌습니다. 만약 디퓨전 모델이 유한한 이미지 집합에 대해 훈련되었다면, 주어진 사진에 대해 노이즈를 제거하기 위해 사용하는 완벽하고 이론적인 함수는 무엇인가? 이를 수학적으로 해결함으로써, 그들은 모델의 행동이 특정 유형의 평균화(averaging)에 의해 지배된다는 것을 발견했습니다. 모델이 노이즈가 섞인 이미지를 볼 때, 모델은 본질적으로 "나의 훈련 이미지 중 어떤 것이 이 이미지를 만들어낼 수 있었는가?"라고 묻고, 각 훈련 이미지가 현재의 노이즈와 얼마나 밀접하게 일치하는지에 따라 가중치를 두어 답변들을 혼합합니다.

이러한 이론적 통찰은 모델의 행동 속에 특정 이미지가 훈련 세트에 포함되었는지에 대한 두 가지 뚜렷한 단서가 들어있음을 밝혀냈습니다. 첫 번째 단서는 연구자들이 '편향(bias) 항'이라고 부르는 것입니다. 이것은 테스트 중인 이미지에 대한 모델의 최선의 추측이 원래 이미지로부터 얼마나 떨어져 있는지를 측정합니다. 만약 이미지가 훈련 세트에 있었다면, 모델의 추측은 이미지 자체와 매우 가까울 것입니다. 만약 이미지를 본 적이 없다면, 추측은 아마도 더 멀리 떨어져 있을 것입니다. 이 부분의 신호는 이미 기존 연구자들에게 알려져 있었으며, 그들은 이를 사용하여 공격을 구축했습니다. 그러나 연구자들의 수학적 도출은 이전에 무시되었던 두 번째 단서, 즉 '밀집(crowding) 항'을 찾아냈습니다. 이것은 모델이 추측을 내리는 지점 주변에 유사한 훈련 이미지들이 얼마나 빽빽하게 모여 있는지를 측정합니다. 들판에 서 있는 군중을 상상해 보십시오. 당신이 홀로 서 있다면 주변 사람들은 멀리 있습니다. 만약 당신이 밀집된 클러스터 안에 있다면, 당신 주변의 사람들은 매우 가까이 있습니다. 연구자들은 모델의 추측이 정확하더라도, 그 추측 주변에 훈련 이미지들이 어떻게 클러스터링되어 있는지가 강력하고 독립적인 신호를 제공한다는 것을 발견했습니다. 비멤버(non-member) 이미지는 우연히 모델의 추측이 근접한 지점에 위치할 수도 있지만, 그 추측을 만들어낸 훈련 이미지들이 흩어져 있다면, 모델의 내부 논리는 그 이미지가 새로운 것임을 폭로합니다.

이 편향과 밀집이라는 이중적 이해를 바탕으로, 연구팀은 DIME이라 불리는 새로운 공격 방법을 개발했습니다. 이 방법은 믿을 수 없을 정도로 효율적입니다. 이전의 공격들은 신뢰할 수 있는 답을 얻기 위해 모델에 수십 번의 질문을 던져야 했으며, 이는 기업들이 쿼리당 비용을 청구하거나 질문 횟수를 제한하는 실제 환경에서는 느리고 비용이 많이 드는 작업이었습니다. 반면, DIME은 단 두 번의 질문만으로도 결과를 낼 수 있습니다. 이 방법은 해당 이미지를 모델에게 보여준 다음, 동일한 이미지의 약간 변형된 버전들을 모델에게 보여주는 방식으로 작동합니다. 이러한 관점들 사이에서 모델의 예측이 어떻게 변화하는지를 비교함으로써, 이 방법은 모델의 내부 코드를 보거나 다른 모델을 재훈련할 필요 없이 편향과 밀집 신호를 모두 계산할 수 있습니다.

연구진은 작은 단순한 그림부터 얼굴과 다양한 장면을 담은 크고 복잡한 사진에 이르기까지 다양한 이미지 데이터셋을 대상으로 이 새로운 접근 방식을 테스트했습니다. 모든 경우에서 DIME은 기존의 최선책들을 능가했습니다. 일부 데이터셋에서 DIME은 이전의 최선 방법보다 3배 더 자주 훈련 이미지를 정확히 식별해 냈으면서도, 훨씬 적은 수의 질문만을 사용했습니다. 놀랍게도, 단 두 번의 질문만을 사용한 공격 버전이 종종 30번의 질문을 사용한 다른 공격들의 성능과 대등하거나 이를 능가하기도 했습니다. 이러한 효율성은 이 공격이 접근을 제한함으로써 스스로를 보호하려는 실제 시스템에 대해서도 실용적이라는 것을 의미합니다. 연구진은 또한 자신들의 방법을 단일 훈련 이미지가 모델에 너무 많은 영향을 미치지 못하도록 수학적으로 보장하는 표준 프라이버시 방어 기제인 차분 프라이버시(differential privacy)에 대해 테스트했습니다. 그들은 이 방어가 활성화되었을 때 공격이 완전히 실패하여 성공률이 무작위 추측 수준으로 떨어지는 것을 발견했습니다. 이는 새로운 방법이 보호되지 않은 모델에는 강력하지만, 기존의 수학적 방어 기제들은 여전히 효과적임을 확인해 줍니다.

이 연구의 의의는 단순히 더 나은 공격을 만들었다는 사실이 아니라, 이러한 시스템에 대한 우리의 이해를 어떻게 변화시켰느냐에 있습니다. 이상적인 모델에 대한 이론적 기술에서 시작함으로써, 연구자들은 프라이버시 위험이 무작위적인 기벽이 아니라 이 모델들이 학습하는 방식의 구조 자체에 내재되어 있음을 보여주었습니다. 그들은 모델의 행동이 두 가지 상호 보완적인 방식으로 측정될 수 있는 탐지 가능한 흔적을 남긴다는 것을 증명했습니다. 이는 왜 멤버십 추론이 작동하는지에 대한 명확하고 수학적으로 근거 있는 설명을 제공하며, 향-후 더 나은 방어 체계를 구축하기 위한 청사진을 제시합니다. 이 연구는 가장 정교한 생성 모델이라 할지라도 감사가 불가능한 것은 아니며, 그들의 학습 과정에 대한 정밀한 메커니즘을 이해하는 것이 취약점을 드러내고 보안을 강화하는 핵심임을 입증합니다.