Targeted Label-Flipping and Oversampling Attacks on Federated Conditional GANs

한 무리의 친구들이 함께 초지능형 로봇 화가를 만들고 싶어 하지만, 서로의 개인 스케치북을 공유할 수는 없는 세상을 상상해 보세요. 대신, 그들은 각자의 태블릿에 그림을 그린 뒤, 어떻게 그려야 하는지에 대한 '규칙'만을 중앙 허브로 보냅니다. 이것이 바로 **연합 학습(Federated Learning)**입니다. 이는 컴퓨터들이 서로의 가공되지 않은 데이터를 절대 보지 않고도 함께 학습하는 방법으로, 모든 것을 비공개로 유지합니다. 이제, 우리가 만들고 있는 로봇이 **생성적 적대 신경망(GAN)**이라고 상상해 봅시다. GAN은 두 로봇 사이의 창의적인 이중주와 같습니다. 한 명은 진짜처럼 보이는 가짜 이미지를 만들려고 애쓰는 예술가인 **생성자(Generator)**이고, 다른 한 명은 가짜를 찾아내려는 비평가인 **판별자(Discriminator)**입니다. 여기에 **조건부 GAN(Conditional GANs)**을 더하면, 로봇에게 "고양이를 그려라" 또는 "개를 그려라"와 같은 구체적인 지시를 내릴 수 있게 되어, 로봇이 그 명령을 완벽하게 따르도록 학습할 수 있습니다.

이 논문이 다루는 핵심 질문은 이것입니다: 만약 이 그룹 중 한 명이 사실 장난꾸러기라면 어떻게 될까요? 일반적인 교실에서는 한 학생이 잘못된 행동을 하면 선생님이 잡아낼 수 있습니다. 하지만 이 비밀 클럽의 컴퓨터들 사이에서는 중앙 허브가 모두를 신뢰합니다. 연구진은 교활한 컴퓨터가 전체 그룹을 속여 잘못된 것을 배우게 할 수 있는지, 특히 자신이 보내는 '라벨(지시 사항)'을 망가뜨림으로써 말입니다. 그들은 나쁜 의도를 가진 컴퓨터가 전체 로봇 화가가 잘못된 것을 그리도록 속일 수 있다는 것을 발견했습니다. 무서운 점은 로봇의 전반적인 '예술 점수'가 여전히 완벽해 보일 수 있어, 피해를 완전히 숨길 수 있다는 것입니다.

거대한 라벨 바꿔치기 (The Great Label Switcheroo)

이 연구에서 연구진은 몇 명의 "악의적인" 클라이언트(장난꾸러기)가 정직한 컴퓨터 그룹에 합류하여 조건부 GAN을 훈련시키는 시나리오를 설정했습니다. 그들의 목표는 무엇일까요? 바로 **표적 라벨 뒤집기 공격(Targeted Label-Flipping Attack)**을 수행하는 것입니다. 여러분이 로봇에게 동물을 인식하도록 가르치고 있다고 상상해 보세요. 여러분은 로봇에게 고양이 사진을 보여주며 "이것은 고양이다"라고 말합니다. 하지만 장난꾸러기는 고양이 사진을 가져와서 라벨을 뒤집은 뒤, 로봇에게 "이것은 개다"라고 말합니다. 그들은 다른 것은 그대로 둔 채, 특정 클래스 쌍(예를 들어 "고양이"를 "개"로 바꾸는 것)에 대해서만 이 작업을 수행합니다.

연구진은 이를 수행하는 두 가지 방법을 테스트했습니다. 첫 번째는 장난꾸러기가 단순히 그림의 이름표만 바꾸는 **단순 라벨 뒤집기(Simple Label Flipping)**입니다. 두 번째는 더 강력한 방법인 **오버샘플링(Oversampling)**입니다. 여기서 장난꾸러기는 라벨을 바꿀 뿐만 아니라, 로봇에게 "이 사진에 특별히 더 주의를 기울여! 다섯 번이나 더 봐!"라고 말합니다. 이는 가짜 지시의 가중치를 높여, 로봇이 잘못된 교훈을 훨씬 더 빠르게 배우도록 만듭니다.

보이지 않는 피해 (The Invisible Damage)

이 논문에서 가장 흥ian한 발견은 이러한 장난꾸러기들을 잡아내는 것이 얼마나 어려운가 하는 점입니다. 연구진은 로봇의 "고양이"와 "개"에 대한 이해가 얼마나 망가졌는지 측정하기 위해 **KL 발산(KL Divergence)**이라는 수학적 도구(이해를 돕기 위해 "혼란 측정기"라고 생각하세요)를 사용했습니다.

그들은 기묘하고 위험한 비대칭성을 발견했습니다. 장난꾸러기들이 라벨을 뒤집으면, 실제 고양이와 가짜 개(소스 클래스와 타겟 클래스) 사이를 구분하는 로봇의 능력이 매우 빠르게 붕Ы됩니다. 혼란 측정기는 **선형적 감소(linear drop)**를 보여줍니다. 즉, 더 많은 장난꾸러기가 합류할수록 피해가 빠르고 꾸준하게 발생한다는 의미입니다.

하지만 로봇의 전반적인 성능이나, "진짜" 개와 비교했을 때 "개"를 얼마나 잘 그려내는지를 본다면, 피해는 훨씬 느리게 성장합니다. 이는 **이차 함수적(quadratically)**으로 성장합니다. 쉽게 말해, 로봇의 결과물은 심각하게 오염되고 있는 와중에도 오랫동안 거의 정상처럼 보인다는 뜻입니다. 특정 클래스 간의 "혼란"은 엄청나지만, "진짜 개의 형태"로부터 벗어난 정도는 아주 작습니다.

"종합 FID"의 사각지대 (The "Aggregate FID" Blind Spot)

이를 증명하기 위해 연구진은 세 가지 유명한 이미지 데이터셋인 FEMNIST(손글씨 글자), MNIST(손글씨 숫자), CIFAR-10(고양이나 개 같은 물체의 컬러 사진)을 대상으로 시뮬레이션을 실행했습니다. 그들은 50명의 클라이언트를 설정했으며, 그중 일부는 정직하고 일부는 악의적이었습니다.

결과는 소름 끼칠 정도로 명확했습니다. 연구진은 AI의 이미지가 얼마나 좋은지 판단하는 표준 점수인 **프레셰 인셉션 거리(Fréchet Inception Distance, FID)**를 측정했습니다. 보통 점수가 낮을수록 좋습니다. 연구진은 공격이 로봇이 "개"를 그릴 때 정확히 "고양이"처럼 보이게 만들 정도로 강력해졌음에도 불구하고, 종합 FID(Aggregate FID)(모든 이미지를 합친 점수)는 거의 움직이지 않았다는 것을 발견했습니다. 어떤 경우에는 변화가 6% 미만이었습니다.

왜 그럴까요? 공격이 매우 표적화되어 있기 때문입니다. 로봇은 여전히 완벽한 고양이, 완벽한 새, 완벽한 자동차를 그리고 있습니다. 오직 "개" 카테고리만이 비밀리에 고양이로 가득 차 있을 뿐입니다. 표준 점수는 모든 것을 평균 내기 때문에, 한 작은 카테고리에서의 거대한 오류는 다른 카테고리들의 완벽함에 묻혀버립니다. 이는 마치 99%의 요리가 5성급인데, 단 하나의 특정 요리는 사실 신발인 레스토랑과 같습니다. 만약 여러분이 모든 것을 조금씩 맛본다면, 그 레스토랑이 여전히 훌륭하다고 생각하며 "스테이크"가 사실은 신발이라는 사실을 놓칠 수 있습니다.

오버샘플링의 효과 (The Oversampling Boost)

논문은 또한 오버샘플링 변형(장난꾸러기가 "이것을 5번 더 봐!"라고 말하는 방식)이 훨씬 더 효과적이라는 것을 보여주었습니다. 오염된 샘플의 가중치를 높임으로써, 장난꾸러기들은 더 적은 수의 악의적 행위자로 동일한 수준의 피해를 입히거나, 동일한 수의 악의적 행위자로 훨씬 더 큰 피해를 입힐 수 있었습니다. 결정적으로, 이 추가적인 힘은 공격을 감지하기 더 쉽게 만들지 않았습니다. "혼란 측정기"는 여전히 특정 쌍에 대한 품질의 선형적 감소를 보여주었지만, 전반적인 "예술 점수"는 요지부동이었습니다.

결론 (The Bottom Line)

저자들은 표적 라벨 뒤집기 공격이 효과적이면서도 은밀하기 때문에 연합 조건부 GAN에 심각한 위협이 된다고 결론짓습니다. 두 클래스(예: 고양이와 개) 사이의 특정 관계에 대한 피해는 즉각적이고 심각하게 발생하지만, 전체 시스템은 표준 모니터링 도구를 속일 만큼 건강해 보입니다.

이 논문은 만약 우리가 이러한 장난꾸러기들을 잡고 싶다면, 단지 전반적인 "예술 점수"나 이미지의 평균 품질만을 봐서는 안 된다고 제안합니다. 우리는 구체적인 지시 사항을 면밀히 살펴봐야 합니다. "개" 생성기가 갑에 갑자기 "고양이" 생성기처럼 행동하고 있지는 않은지 확인해야 합니다. 우리가 이러한 특정 클래스 간의 관계를 모니터링하는 더 나은 방법을 개발하기 전까지, 공유된 AI를 훈련하는 컴퓨터 그룹은 스테이크 대신 신발을 그리고 있을 수도 있으며, 아무도 그것을 너무 늦을 때까지 알아차리지 못할 것입니다.