On the Fragility of Data Attribution When Learning Is Distributed

기술 요약: 분산 학습 시 데이터 귀속의 취약성

문제 제기
데이터 귀속은 기계 학습 파이프라인, 특히 연방 학습 (FL) 과 같은 분산 환경에서 가격 책정, 감사 및 거버넌스를 위한 핵심 요소가 되었습니다. 이러한 시스템은 개별 데이터 소유자의 글로벌 모델 유용성에 대한 기여도를 정량화하기 위해 귀속 지표 (예: 샤플리 값, 영향 함수) 에 의존합니다. 그러나 현재 사용되는 귀속 방법들은 이러한 점수들이 참여자들의 실제 기여도를 충실히 반영한다고 암묵적으로 가정합니다. 본 논문은 이러한 가정을 도전하며, 표준 분산 학습 워크플로우에서는 단일 악성 참여자가 글로벌 모델의 유용성을 저하시키지 않으면서도 측정된 귀속 값을 실제보다 훨씬 더 유익한 것처럼 조작할 수 있음을 입증합니다. 핵심 취약점은 한계 유용성 추정기가 비독립적 비동일 분포 (Non-IID) 라벨 커버리지에 민감하다는 점과 귀속 평가자의 특정 구조적 선호도에 있습니다.

방법론: 잠재 최적화 공격
저자들은 '귀속 우선' 위협 모델을 제안하며, 여기서 악성 클라이언트 ($i^\star$) 는 글로벌 유용성 $U(\cdot)$ 을 작은 허용 오차 $\delta$ 내에서 엄격히 유지하면서 귀속 점수 $E(\hat{g}^\star_t)$ 를 최대화하는 것을 목표로 합니다. 성능을 저하시키는 전통적인 포이징 공격과 달리, 이 공격은 테스트 정확도가 안정적으로 유지된다는 제약 하에 작동합니다.

제안된 잠재 최적화 공격은 다음과 같이 진행됩니다:

1. 합성 데이터 주입: 공격자는 고정된 사전 훈련된 디코더 ($Dec(\cdot)$) 를 사용하여 잠재 벡터 $z$ 에서 소규모 배치의 합성 샘플 $(\tilde{x}, \tilde{y})$ 을 생성합니다.
2. 잠재 벡터 최적화: 공격자는 경사 하강법을 통해 합성 배치의 기울기가 benign 참조 방향 (예: 글로벌 모델 업데이트 $w_t - w_{t-1}$) 과 정렬되도록 보장하는 $L_1(z)$, 기하학적 기반 방어책을 회피하기 위해 합성 기울기의 크기를 benign 업데이트의 크기와 일치시키는 $L_2(z)$, 그리고 합성 배치에서 표준 교차 엔트로피 손실을 유지하여 데이터가 클래스 구별이 가능하고 학습에 유용하도록 하는 $L_3(z)$ 를 포함하는 결합 손실 함수 $L(z) = L_1(z) + L_2(z) + L_3(z)$ 를 만족하도록 잠재 벡터 $z$ 를 최적화합니다.
3. 전략적 커버리지: 공격자는 로컬 실제 데이터셋 ($D^{(i^\star)}_r$) 에서 과소 대표되거나 결여된 클래스를 특히 표적으로 삼습니다. 이러한 '누락'된 라벨에 대한 합성 샘플을 주입함으로써 공격자는 평가자의 커버리지 간극에 대한 민감성을 악용합니다.
4. 하이브리드 업데이트: 공격자는 최적화된 합성 배치를 실제 데이터와 혼합하여 로컬 학습을 수행하며, 서버 측 평가자의 눈에는 통계적으로 benign 업데이트와 구별 불가능하지만 과도하게 높은 한계 유용성을 산출하는 보고된 업데이트 $\hat{g}^\star_t$ 를 생성합니다.

주요 기여

• 귀속 우선 위협 모델: 본 논문은 전통적인 모델 포이징 목표와 구별되는 명시적 유용성 및 타당성 제약 하에서 데이터 귀속 점수를 부풀리는 것을 목표로 하는 새로운 공격 목표를 형식화합니다.
• 실용적 잠재 최적화 공격: 저자들은 디코더로 생성된 합성 데이터를 사용하여 귀속 인식 로컬 업데이트를 구성하는 구체적인 공격 메커니즘을 도입합니다. 이 방법은 유용성을 보존하고 통계적으로 타당하며 표준 건전성 검사를 회피합니다.
• 이론적 및 실증적 검증: 본 논문은 이러한 업데이트가 정확도를 저하시키지 않으면서 한계 귀속을 증가시키는 이유 (글로벌 하강 방향과의 정렬 및 커버리지 주도 유용성 증가로 인해) 에 대한 이론적 통찰을 제공합니다. 실증적으로는 CIFAR-10, FashionMNIST, SVHN 세 가지 데이터셋, ResNet-18, WRN-28-10, VGG16 BN 세 가지 모델 아키텍처, 그리고 연방 샤플리 값 (Federated Shapley Value) 과 Leave-One-Out 을 포함한 여러 평가자에서 공격이 검증되었습니다.

실험 결과

• 귀속 부풀리기: 잠재 최적화 공격 하에서 초기에 최하위 (거의 0 에 가까운 귀속을 받음) 로 랭킹된 악성 클라이언트는 일관되게 상위 반열로 이동하여 종종 benign 고 기여도와 비교 가능하거나 이를 초과하는 귀속 값을 달성했습니다. 예를 들어, ResNet-18 을 사용한 CIFAR-10 에서 악성 클라이언트의 귀속 값은 0.0547 에서 0.1682 로 증가하여 랭킹이 10 위에서 2 위로 상승했습니다.
• 유용성 보존: 테스트 정확도를 크게 저하시킨 베이스라인 공격 (라벨 뒤집기, 무작위 노이즈) 과 달리, 잠재 최적화 공격은 공격이 없는 베이스라인과 좁은 마진 내에서 글로벌 정확도를 유지했습니다 (예: CIFAR-10/ResNet-18 에서 77.59% 대 76.75%).
• 귀속 구조 재편: 이 공격은 단순히 공격자의 점수를 높이는 데 그치지 않고, benign 클라이언트 간의 귀속 지분을 재분배하여 시스템 내 상대적 크레딧 할당을 변경했습니다.
• 방어 회피: 클라이언트 업데이트의 대다수로부터의 편차를 기반으로 업데이트를 필터링하는 표준 기하학적 기반 트리밍 방어는 공격을 탐지하지 못했습니다 (정밀도와 재현율이 0.00 에 근접). 하이브리드 업데이트는 글로벌 하강 방향과 정렬되어 있고 benign 분포 내에 통계적으로 내재되어 있었습니다.
• 강건성: 이 공격은 클라이언트 수, 초기 클라이언트 랭킹, 다양한 귀속 평가자 (FedSV 및 LOO) 에 관계없이 효과적이었습니다.

의의 및 주장
본 논문은 귀속 자체가 분산 학습에서 새로운 공격 표면이 된다고 주장합니다. 연구 결과는 모델 정확도 유지만으로는 신뢰할 수 있는 협력 학습을 보장하기에 부족하며, 귀속 무결성도 마찬가지로 중요함을 보여줍니다. 저자들은 현재 인센티브 메커니즘과 거버넌스 프레임워크가 글로벌 성능을 해치지 않고 조작될 수 있는 평가자에 의존하기 때문에 취약하다고 주장합니다. 이 연구는 한계 유용성 평가의 인센티브 특성에서 비롯된 취약성을 강조하며 귀속 강건 평가자 및 인센티브 호환 스코어링 메커니즘의 개발을 촉진합니다. 논문은 이러한 취약성을 해결하지 않으면 시스템이 잘못된 기여자에게 보상을 제공하고, 유해한 행위자를 오인하며, 데이터 품질에 대해 오해의 소지가 있는 결론을 내릴 위험이 있다고 결론지었습니다.