MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

거대한, 초지능적인 컴퓨터(AI 모델)가 너무 커서 그 누구도 주머니에 넣고 다닐 수 없는 세상을 상상해 보세요. 이 모델들을 모두가 유용하게 사용할 수 있도록, 과학자들은 이 모델들이 여러분의 휴대폰이나 노트북에 있는 데이터를 실제로 보지 않고도 그 데이터로부터 "학습"할 수 있게 만들었습니다. 이것은 마치 마스터 셰프가 여러분에게 기본적인 레시피 북을 보내주고, 여러분이 자신만의 비밀스러운 가족 식재료를 사용하여 지침을 약간 수정하면, 그 작은 변화만을 다시 셰프에게 보내는 것과 같습니다. "연합 학습(Federated Learning)"과 "LoRA"라고 불리는 이 방식은 여러분의 비밀 식재료가 여러분의 주방에 숨겨진 채로 셰프는 더 똑똑해질 수 있게 하는 프라이버시의 슈퍼 파워입니다.

하지만 만약 그 셰프가 단순한 셰프가 아니라면 어떨까요? 만약 그 셰프가 처음에 여러분에게 약간 조작된 레시피 북을 보낸 비열한 스파이라면 어떨까요? 이 논문은 무서운 가능성을 탐구합니다. 즉, 악의적인 서버(셰프)가 처음에 보낸 레시피를 교묘하게 오염시켜서, 여러분이 다시 보내는 아주 작은 변화들을 통해 여러분의 비밀을 털어놓도록 여러분의 기기를 속일 수 있다는 것입니다. 연구진은 서버가 초기 레시피와 변화를 만드는 도구를 정교하게 오염시킴으로써, 여러분이 보낸 "그래디언트(gradient, 미세한 조정값 목록)"를 보고 수학적으로 여러분의 개인 데이터(예: 문자 메시지나 사진)를 역설계할 수 있다는 것을 발견했습니다. 이는 여러분이 단지 몇 조각의 부스러기만 공유하고 있다고 생각할 때조차, 영리한 공격자는 전체 케이크를 재구성해낼 수 있다는 사실을 상기시켜 줍니다.

이 논문의 위대한 발견: "MineGrad"

이 논문의 저자인 하신 우사미(Hasin Us Sami), 스와프닐 센(Swapneel Sen), 바삭 굴러(Ba¸sak Guler)는 MineGrad라고 부르는 새로운 공격법을 소개합니다. 이것은 "보물"은 여러분의 개인 데이터이고, "지도"는 여러분이 서버로 보내는 아주 작은 업데이트 안에 숨겨져 있는 고도의 기술적인 보물 찾기와 같습니다.

과거에 연구자들은 만약 거대 모델의 모든 변화를 다시 보낸다면, 악의적인 행위자가 여러분의 데이터를 추측할 수 있다는 것을 알고 있었습니다. 하지만 LoRA(Low-Rank Adaptation)를 사용하면, 변화의 아주 작고 압축된 버전만을 보냅니다. 과학자들은 이 작은 크기가 데이터를 훔치는 것을 훨씬 어렵게 만들 것이라고 생각했습니다. 또한 데이터가 너무 크면(예: 긴 문장이나 전체 이미지), 탈취를 위한 수학적 계산이 작동하지 않을 것이라고 믿었습니다.

MineGrad는 이러한 가설들을 산산조각 냅니다. 연구진은 여러분이 아주 작은 LoRA 업데이트만을 보내고, 심지어 긴 문장이나 복잡한 이미지를 가지고 있더라도, 악의적인 서버가 여전히 여러분의 데이터를 훔칠 수 있음을 보여주었습니다.

이 "강탈"이 어떻게 일어나는지 간단한 비유를 통해 설명하겠습니다:

1. 오염된 레시피 북: 시작하기 전, 서버는 여러분에게 "사전 훈련된 모델(기본 레시 Recipe)"을 보냅니다. 서버는 이 책을 몰래 수정합니다. 이것은 마치 서버가 특정 페이지에 눈에 보이지 않는 형광 잉크를 추가하는 것과 같습니다. 레시피가 요리하는 데 여전히 잘 작동하기 때문에 여러분은 이를 눈치채지 못합니다.
2. 비밀 신호: 여러분이 이 오염된 책을 사용하여 여러분의 비밀 식재료로 요리할 때, 요리 과정의 수학적 원리는 특별한 신호를 만들어냅니다. 서버는 여러분이 보낼 미세한 변화(그래디언트)가 마치 스포트라이트처럼 작동하도록 "형광 잉크"를 설계했습니다.
3. 스포트라이트 효과: 보통 여러분이 보내는 변화는 모든 식재료가 뒤섞인 혼란스러운 상태입니다. 하지만 서버의 속임수 덕분에, 레시피의 특정 부분에 대한 변화는 하나의 특정 식재료에 대해서는 매우 크고 크게 들리며, 다른 모든 것들에 대해서는 조용해집니다. 이것은 마치 여러분이 스무디를 섞고 있는데, 서버가 딸류를 넣었을 때만 블렌더가 아주 크게 비명을 지르고 바나나를 넣었을 때는 조용히 있도록 만든 것과 같습니다.
4. 재구성: 서버는 여러분의 작은 업데이트를 받습니다. 스포트라이트 효과 덕분에, 서버는 수학적으로 "비명"을 분리해내어 정확히 어떤 식재료가 그 소리를 냈는지 알아낼 수 있습니다. 이 과정을 레시피의 여러 부분에 대해 반복함으로써, 서버는 단어 하나하나 또는 픽셀 하나하나를 통해 여러분의 전체 비밀 스무디 레시피를 조각조각 맞춰낼 수 있습니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

연구진은 두 가지 매우 다른 유형의 데이터, 즉 텍스트(뉴스 기사 및 리뷰 등)와 이미지(고양이 및 자동차 사진 등)에 대해 테스트를 진행했습니다.

• 텍스트의 경우: BERT 및 RoBERTa와 같은 모델을 사용했습니다. 결과는 놀라울 정도로 정확했습니다. 테스트에서 서버는 텍스트를 거의 완벽한 정밀도로 복구했습니다. 원래 문장이 "Microsoft sends digital business cards"였다면, 복구된 텍스트는 BLEU 및 ROUGE-L과 같은 표준 측정 척도에서 1.0(완벽) 점수를 기록하며 거의 동일했습니다.
• 이미지의 경우: CIFAR-10 및 CIFAR-100 데이터셋의 이미지로 테스트했습니다. 복구된 이미지는 원본과 매우 유사했습니다. 연구진은 LPIPS라는 지표를 사용하여 차이를 측정했으며, 결과는 약 0.20에서 0.21 사이로 나타났는데, 이는 복구된 이미지가 원본과 시각적으로 매우 가깝다는 것을 의미합니다.
• "너무 많은 토큰"이라는 신화: DAGER라는 이전의 공격은 문장의 단어 수가 LoRA 모듈의 "랭크(rank, 크기를 나타내는 척도)"보다 많으면 실패했습니다. 이 논문의 저자들은 MineGrad가 랭크보다 단어 수가 훨씬 더 많을 때도 작동한다는 것을 보여주었습니다. 그들은 모델의 여러 "레이어"(하나의 손전등 대신 여러 개의 손전등을 사용하는 것과 같음)를 사용함으로써, 작은 LoRA 랭크(최저 4)와 긴 시퀀스에서도 데이터를 복구할 수 있음을 증명했습니다.

이 공격의 한계

이 논문이 말하지 않는 내용도 있다는 점을 유의해야 합니다. 이 공격은 서버가 악의적이고 여러분이 다운로드하는 초기 모델을 제어하고 있다는 가정에 의존합니다. 만약 여러분이 검증 가능한 신뢰할 수 있는 출처에서 모델을 다운로드하거나 서버가 정직하다면, 이 특정 공격은 작동하지 않습니다.

또한, 이 논문은 서버가 최종 모델의 품질에 신경 쓰지 않을 때 이 공격이 가장 효과적이라고 시사합니다. 서버가 데이터를 훔치기 위해 레시피를 조작하고 있기 때문에, 모델의 성능은 약간 저하될 수 있습니다. 그러나 저자들은 많은 실제 상황(예: 밤사이에 휴대폰을 충전하며 모델을 학습시키는 경우)에서 사용자들이 모델의 성능을 면밀히 관찰하지 않으므로, 데이터가 털리는 동안 모델이 약간 "멍청해지는" 것을 눈치채지 못할 수도 있다고 언급했습니다.

연구진은 한 번에 문장 묶음(배치, 예: 64개의 문장)을 보낼 때 어떤 일이 일어나는지도 테스트했습니다. 이 경우 모든 단어에 대해 복구가 완벽하지는 않지만, 특정 데이터셋에서 배치 크기가 64인 경우에도 약 **52.2%**의 토큰(단어)을 여전히 복구할 수 있다는 것을 발견했습니다.

이것이 왜 중요한가

이 논문은 단순히 "가능하다"라고 말하는 데 그치지 않고, 수학적 원리가 어떻게 작동하는지 보여주는 작동 가능한 청사진(코드는 온라인에서 확인 가능)을 제공합니다. 이는 LoRA와 같이 효율적인 방법을 사용할 때 우리가 가졌던 프라이버시 보장이, 만약 서버를 믿을 수 없다면 하나의 환상일 수 있음을 시사합니다.

저자들은 우리가 다운로드하는 모델이 안전한지 확인할 수 있는 새로운 방법이 필요하다고 결론지었습니다. 왜냐하면 단순히 서버를 신뢰하는 것만으로는 충분하지 않을 수 있기 때문입니다. 그들은 문제를 해결하는 법을 제시한 것이 아니라, 더 나은 방어책이 없다면 우리의 개인 데이터가 우리가 안전하게 공유한다고 믿었던 아주 작은 업데이트로부터 그대로 채굴될 수 있다는 강력한 경고를 울린 것입니다.