기술 요약: TOFD – 스플릿 연합 학습(Split Federated Learning)의 포이즈닝 공격에 대한 타겟 지향적 특징 디커플링

1. 문제 정의

스플릿 연합 학습(Split Federated Learning, SFL)은 모델을 클라이언트와 서버 사이에 분할함으로써 연합 학습(Federated Learning, FL)의 프라이버시 이점과 스플릿 학습(Split Learning, SL)의 계산 효율성을 결합한다. 클라이언트는 서버의 추가 처리를 위해 중간 표현(intermediate representations, "smashed data")을 전송하지만, 이러한 구조는 고유한 취약점을 유발한다. 모델 업데이트에 방어 초점을 맞추는 기존의 일반적인 FL과 달리, SFL은 로컬 특징 표현, 레이블, smashed data, 클라이언트 측 가중치를 포함한 파이프라인의 특정 단계들을 겨냥한 포이즈닝 공격에 취약하다.

기존의 방어 메커니즘은 주로 전통적인 FL에서 채택된 것들로, SFL 아키텍처의 특수한 특성을 활용하지 못한다. 이들은 포이즈닝 신호의 주요 통로인 smashed data의 결정적인 역할을 간과하는 경우가 많다. 결과적으로, 현재의 방법들은 다음과 같은 세 가지 주요 과제에 직면해 있다:

1. 높은 오버헤드: smashed data의 빈번한 전송은 과도한 통신 비용을 피하기 위해 경량화된 탐지 메커니즘을 필요로 한다.
2. Non-IID 혼동: 동적인 시스템에서, 양질의 non-IID 데이터 분포와 악의적인 적대적 조작을 구분하는 것은 어려우며, 이는 높은 오탐률(false-positive rates)로 이어진다.
3. 잔여 효과(Residual Effects): 포이즈닝된 데이터가 필터링되더라도, 악의적인 클라이언트 측 모델은 집계 과정을 통해 글로벌 모델을 오염시킬 수 있으며, 이는 잔여 적대적 효과를 남긴다.

2. 방법론: TOFD 프레임워크

저자들은 프로액티브한 탐지와 강건한 최적화를 통합하는 통합 프레임워크인 **타겟 지향적 특징 디커플링(Target-Oriented Feature Decoupling, TOFD)**을 제안한다. TOFD는 3단계 파이프라인을 통해 작동한다:

1단계: 타겟 추론 (클래스별 공격 타겟 추론)

이 단계는 의심스러운 클래스로 범위를 좁힘으로써 낮은 오버헤드로 잠재적인 공격 타겟을 식별하는 것을 목표로 한다.

• 초기 안전 구역 구축: 시스템은 경험적 가우시안 접근 방식을 사용하여 smashed data의 클래스별 특징 분포를 모델링한다. 클라이언트의 로컬 분포와 역사적 글로벌 분포 사이의 2-Wasserstein 거리를 계산한다. 수정된 Z-score를 사용하여 안전 구역을 벗어나는 "의심스러운 클라이언트"의 초기 집합을 식별한다.
• 분포 일관성 검증: 악의적인 동작과 양질의 non-IID 변동을 구분하기 위해, 프레임워크는 **분포 일관성 점수(Distributional Consistency Score, DCS)**를 도입한다. 이는 의심스러운 클라이언트에 의해 유도된 분포 변화를 측정한다.
• 마진 섭동(Margin Perturbation, MP): 양질의 분포 내에서 허용 가능한 최대 편차(MP)를 기준으로 임계값이 설정된다. DCS가 MP 내에 있는 클라이언트는 양질인 것으로 유지되며, MP를 초과하는 클라이언트는 악의적인 것으로 식별되어 특정 클래스를 타겟팅하고 있는 것으로 추론된다.

2단계: 샘플 정화 (클래스 교정 샘플 정화)

데이터 다양성을 감소시키는 전체 클라이언트를 폐기하는 대신, TOFD는 식별된 타겟 클래스에 대해 미세한 필터링을 수행한다.

• 적응형 임계값 설정: 타겟 클래스 내의 샘플들에 대해, 글로벌 분포로부터의 편차를 정량화한다. 클래스 교정 임계값($\tau_k$)은 사분위수 범위(IQR)와 MP 값을 사용하여 동적으로 계산된다. 이 임계값은 각 클래스의 특정 분산 특성에 적응한다.
• 필터링: 임계값을 초과하는 샘플은 악의적인 것($Z^-$)으로 분류되는 반면, 임계값 미만의 샘플은 양질의 것($Z^+$)으로 유지된다. 이를 통해 검증된 양질의 표현만이 글로벌 분포와 서버 측 모델을 업데이트하도록 보장한다.

3단계: 디커플링 최적화 (악의적 특징 디커플링)

필터링 후에도 지속될 수 있는 악의적인 클라이언트 측 모델으로부터의 잔여 적대적 영향을 해결하기 위해, TOFD는 서버 측 최적화에 디커플링 목적 함수를 통합한다.

• 적대적 가이드 모델: 서버 측 모델과 동일한 구조를 공유하는 가이드 모델($R$)을 탐지된 악의적 smashed data($Z^-$)로 미세 조정하여 공격 유도 패턴을 포착한다.
• 결합 손실 함수: 서버 측 모델은 다음을 포함하는 결합 손실 함수를 사용하여 최적화된다:
  1. 교차 엔트로피 손실 ($L_{CE}$): 태스크 성능을 유지하기 위해 검증된 양질의 데이터($Z^+$)로 학습된다.
  2. 디커플링 손실 ($L_{MFD}$): 악의적 데이터($Z^-$)에 대해 서버 측 모델과 적대적 가이드 모델 사이의 쿨백-라이블러(Kullback–Leibler, KL) 발산을 최대화한다. 이는 서버가 양질의 특징 무결성을 보존하면서 동시에 공격 패턴으로부터 벗어나도록 강제한다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명한다:

1. 통합 프레임워크: TOFD는 미세한 탐지와 SFL 최적화를 체계적으로 통합하여 다양한 포이즈닝 공격(데이터, 가중치, smashed, 레이블 및 다중 벡터 공격)을 효과적으로 완화할 수 있는 프레임워크로 제시된다.
2. 분리 메커니즘: 클래스별 추론과 마진 섭동을 활용함으로써, 데이터 다양성을 희생하지 않고 악의적인 동작을 양질의 non-IID 변동으로부터 분리한다.
3. 잔여 영향 억제: 탐지 단계 이후에도 지속되는 잔여 공격 영향을 억제하기 위해 적대적 가이드 기반의 디커플링 전략을 개발하였다.
4. 이론적 보장: 저자들은 TOFD 프레임워크의 계산 복잡도를 규명하고 수렴 보장을 확립하는 공식적인 이론적 분석을 제공한다.

4. 실험 결과

다섯 가지 데이터셋(HAM10k, MNIST, F-MNIST, CIFAR10, CIFAR100)과 다양한 모델 아키텍처(DenseNet121, ResNet18, ResNet50)에 대해 광범한 실험이 수행되었다.

• 성능: TOFD는 극단적인 데이터 이질성을 포함한 다양한 공격 시나리오에서 최첨단(state-of-the-art) 방어 기법들을 일관되게 능가했다.
• 지표: 프레임워크는 낮은 계산 오버헤드를 유지하면서도 우수한 강건성(공격 하에서도 높은 정확도 유지)을 입증하였다.
• 효율성: 해당 방법은 양질의 클라이언트 성능을 보존하면서 높은 악의적 샘플 탐지율(MSDR)을 달-성하였다.

5. 의의 및 주장

본 논문은 TOFD가 단순한 FL 방어의 적용을 넘어 SFL 보안의 중요한 격차를 해결한다고 주장한다. 그 의의는 다음과 같다:

• 스플릿 패러다임 활용: 이전 연구들이 간과했던 SFL 특유의 기능인 smashed data 인터페이스를 조기 개입을 위한 전략적 체크포인트로 독특하게 활용한다.
• 강건성과 유용성의 균형: 클라이언트 단위의 배제 대신 클래스 교정 필터링을 채택함으로써, non-IID 환경에서도 데이터 다양성과 모델 성능을 유지한다.
• 체계적 완화: 디커플링 최적화의 통합은 일부 악의적 신호가 탐지를 우회하더라도 최종 글로벌 모델에 미치는 영향을 억제함을 보장한다.

저자들은 결론적으로 TOFD가 복잡한 포이즈닝 위협으로부터 스플릿 연합 학습을 보호하기 위한 이론적으로 근거가 확실하고 효율적이며 강건한 솔루션을 제공한다고 밝히고 있다.