기술 요약: 수직 연방 학습을 위한 선택적 반事实 일관성 (SCC-VFL)

1. 문제 정의

본 논문은 데이터 특성이 여러 기관 (당사자) 에 분산되어 있고 민감한 속성 (예: 인종, 나이, 성별) 이 단일 당사자 또는 엔클레이브에 비공개로 보유될 수 있는 수직 연방 학습 (VFL) 환경에서 개별 공정성을 보장하는 과제를 다룹니다.

VFL 에서 당사자들은 중첩된 개체에 대한 불연속적인 특성 부분 집합을 보유합니다. 연방 학습은 원시 데이터를 중앙 집중화하지 않고도 협력적 모델 훈련을 가능하게 하지만, 공정성 강제화를 복잡하게 만듭니다. 기존 공정성 접근법은 종종 집단 수준의 지표 (예: 인구 통계학적 균등, 균등한 오즈) 에 의존하거나, VFL 에서는 사용할 수 없는 전체 특성과 인과 그래프에 대한 완전한 접근을 전제로 합니다. 또한, VFL 에서의 단순한 반事实 개입은 다음과 같은 이유로 불안정합니다:

1. 부분 가시성: 단일 당사자가 모든 특성을 관찰하지 못하므로, 민감한 속성의 허용 가능한 매개변수 versus 허용 불가능한 대리 변수를 결정하기 어렵습니다.
2. 개인정보 보호 제약: 민감한 속성은 종종 비공개이므로 훈련 중 직접적인 개입이 불가능합니다.
3. 유출: 공유된 표현이나 업데이트가 우연히 민감한 정보를 유출하거나, 대리 변수가 민감한 영향을 전달할 수 있습니다.

저자들은 개별 수준의 반事实 안정성에 중점을 둡니다: 비하류 특성이 고정되고 정책으로 허용된 매개변수만 변동될 때, 보호 속성에 대한 가상의 개입 하에서도 개인의 예측이 변경되지 않도록 보장하는 것입니다.

2. 방법론: SCC-VFL

저자들은 SCC-VFL(수직 연방 학습을 위한 선택적 반事实 일관성) 을 제안합니다. 이는 세 가지 통합 구성 요소를 통해 개별 공정성을 실현하는 서버 중심 프레임워크입니다:

A. 그래프 없는, 차분 프라이버시 (DP) 마스크 발견

인과 그래프가 다당사자 환경에서 거의 제공되지 않기 때문에, SCC-VFL 은 그래프 없는 DP 절차를 사용하여 각 당사자의 특성을 세 집합으로 분할합니다:

• 비하류 ($N$): 민감한 속성 개입 하에서 고정되어야 하는 특성.
• 매개변수 ($M$): 변경이 허용되는 특성 (정책으로 허용된 경로).
• 대리 변수 ($P$): 민감한 영향에 대한 허용 불가능한 경로로 작용하며 억제되어야 하는 매개변수의 하위 집합.

메커니즘:

1. 신뢰할 수 있는 보유자 (또는 엔클레이브) 는 교차표에 클리핑을 적용하고 가우시안 노이즈를 추가하여 민감한 속성 $s$의 DP 스케치($z_s$) 를 생성합니다. 이 스케치는 $(\epsilon, \delta)$-DP 를 만족하지만 전체 훈련 파이프라인에는 적용되지 않습니다.
2. 당사자들은 $z_s$를 보조 공변량으로 사용하여 로컬 특성이 $s$에 통계적으로 반응하는지 테스트합니다.
3. 시스템은 각 특성에 대해 두 가지 지표를 계산합니다:
   • 위험 증가분 ($\Delta_j$): $z_s$가 포함되었을 때 특성을 예측하는 데 개선된 정도.
   • 힐베르트 - 슈미트 독립성 기준 (HSIC): 다른 로컬 특성을 조건으로 했을 때 $z_s$에 대한 잔차 의존성.
4. HSIC 가 낮은 특성은 $N$에 할당되고, HSIC 가 높은 특성은 $M$의 후보가 됩니다. $M$ 내에서 위험 증가분이 높은 ( $s$에 대한 강한 민감성 but 작업 관련성은 낮음) 특성은 대리 변수 $P$로 플래그됩니다.

B. 마스크된 반事实 생성

각 당사자는 반事实 입력을 생성하기 위해 로컬 조건부 생성기(cVAE) 를 훈련합니다.

• 정체성 보존: 비하류 ($N$) 는 정확하게 복사됩니다 ($x^{cf}_N = x_N$).
• 매개변수 편집: 매개변수 ($M$) 는 조건부 분포 $p(x_M | x_N, c, z_{s'})$의 지지대 위에 있도록 편집됩니다. 여기서 $z_{s'}$는 목표 민감 임베딩입니다.
• 유출 억제: 대리 변수 ($P$) 는 변경 없이 통과하지만 적대적 손실에 노출됩니다. 적대자는 반事实 대리 변수 특성에서 $z_s$를 복원하려고 시도하며, 생성기는 이 성공률을 최소화하여 잔류 민감 신호를 억제합니다.

C. 서버 측 선택적 반事实 일관성 (SCC) 손실

서버는 원본 및 마스크된 반事实 입력으로부터 표현을 집계하여 융합된 표현 $z$와 $z^{cf}$를 형성합니다.

• 일관성 페널티: 서버는 예측 $f_\theta(z)$와 $f_\theta(z^{cf})$ 간의 차이를 페널티화하는 손실 항 $\mathcal{L}_{SCC}$를 최소화합니다.
• 목적: 이는 정책으로 허용된 매개변수만 편집될 때 모델의 결정이 임의로 뒤집히지 않도록 강제합니다. 전체 목적 함수는 작업 유용성, SCC 일관성, 그리고 유효성 제약 (정체성, 지지대, 유출) 을 결합합니다.

3. 주요 기여

1. 문제 공식화: VFL 을 위한 **선택적 반事实 일관성 (SCC)**을 정의하여, 집단 균등이 아닌 정책으로 지정된 개입 하의 인스턴스별 안정성을 목표로 합니다.
2. DP 마스크 발견: 사전 정의된 인과 그래프나 원시 민감 데이터 접근 없이 후보 비하류, 매개변수, 대리 변수를 식별하는 그래프 없는 차분 프라이버시 메커니즘을 도입했습니다.
3. 유출 통제가 포함된 마스크 생성: 비하류에 대한 정체성을 강제하고 적대적 훈련을 통해 대리 변수 유출을 억제하면서 매개변수만 편집하는 당사자 로컬 생성기를 설계했습니다.
4. 서버 측 강제화: 서버에서 구현된 일관성 손실은 허용 불가능한 예측 변화를 페널티화하며, 다양한 도메인에서 검증되었습니다.

4. 실험 결과

저자들은 IID 및 Non-IID (분포 이동) 분할 하에서 세 가지 실제 데이터셋인 German Credit(금융), UCI Heart Disease(의료), COMPAS Cox(형사 사법) 에 SCC-VFL 을 평가했습니다.

• 공정성 지표: SCC-VFL 은 강력한 베이스라인 (예: Adv-NoMask, Uniform-CF, Policy-blind Mask) 에 비해 플립률 (FR)(개입 하에 예측이 변경된 샘플의 비율) 을 최대 **98%**까지 현저히 감소시켰습니다. 또한 가장 낮은 **선택적 일관성 격차 (SCG)**를 달성했습니다.
  • 예시: German Credit(Non-IID) 에서 SCC-VFL 은 FR 을 6.24–8.22% 인 베이스라인 대비 0.12% 로 감소시켰습니다.
• 유용성: 이 방법은 예측 정확도와 LogLoss 를 유지하거나 개선하여 유리한 유용성 - 공정성 트레이드오프를 보여주었습니다.
• 개인정보 보호 및 견고성:
  • 속성 추론 공격 (AIA): SCC-VFL 은 베이스라인 대비 공격 성공률을 4–5 퍼센트 포인트 감소시켰습니다.
  • 서브스페이스-PGD 공격: 매개변수 좌표에 대한 표적 교란 하에서 SCC-VFL 은 가장 낮은 성공률을 보였습니다 (예: $\epsilon=0.20$에서 9.3% 대 Adv-NoMask 의 21.7%), 민감한 방향을 따라 평탄화된 결정 경계를 나타냅니다.
• 절대 연구: 마스크 발견, 생성기, 일관성 손실 중 어떤 구성 요소를 제거해도 성능이 저하되어, 안정성과 유출 제어를 위한 전체 파이프라인의 필요성을 확인했습니다.

5. 중요성 및 주장

본 논문은 데이터가 사일로화되고 민감한 속성이 비개인화된 VFL 배포에 대해 실질적으로 감사 가능한 공정성 목표를 SCC-VFL 이 제공한다고 주장합니다.

• 개별 책임성: 개별 불일치를 가릴 수 있는 집단 수준 지표와 달리, SCC-VFL 은 보호 속성에 대한 반事实 변화 하에서 특정 개인이 안정적인 결정을 받도록 보장하여, 대출에서의 연령 차별과 같은 차별 금지 법적 요구사항과 부합합니다.
• 정책 정렬: 이 프레임워크는 어떤 인과 경로가 허용 가능한지에 대한 선언된 정책을 강제합니다. 이는 진위 인과성을 발견한다고 주장하는 것이 아니라, 거버넌스로 정의된 사양 ($N/M/P$) 을 학습 알고리즘으로 실현하는 것입니다.
• 이동에 대한 견고성: 이 방법은 베이스라인 방법이 종종 안정성 저하를 겪는 Non-IID 설정 및 분포 이동 하에서도 효과적으로 유지됩니다.
• 개인정보 보호 범위: 저자들은 공식적인 DP 보장이 마스크 발견에 사용되는 스케치에만 적용되며, 전체 훈련 파이프라인 (표현, 기울기, 또는 모델 매개변수) 에는 적용되지 않는다고 명시적으로 밝힙니다. 실험에서 관찰된 개인정보 보호 혜택은 특정 위협 모델 하에서의 경험적 유출 감소이며, 공식적인 엔드 - 투 - 엔드 DP 보장이 아닙니다.

이 연구는 집단 공정성에 대한 실현 가능한 보완책으로서 개별 수준의 반事实 안정성을 위치시키며, 분산 학습 환경에서 알고리즘적 결정이 보호 속성에 의해 임의로 주도되지 않도록 이해관계자가 감사, 이의 제기, 검증을 수행할 수 있는 메커니즘을 제공합니다.