FedCF: Fair Federated Conformal Prediction

기술 요약: FedCF: 공정 연합 컨포멀 예측 (Fair Federated Conformal Prediction)

문제 정의

머신러닝 모델은 종종 서로 다른 인구통계학적 하위 그룹 간에 이질적인 성능을 보이며, 이는 의료나 금융과 같은 안전이 중요한 영역에서 편향을 악화시킬 수 있습니다. 컨포멀 예측(Conformal Prediction, CP)은 유한 샘플 커버리지 보장을 제공하는 엄격하고 모델 불가지론적인 불확실성 정량화를 제공하지만, 표준 CP는 민감한 속성에 무관하며 공정성을 보장하지 않습니다. 기존의 "공정 컨포멀 예측(Conforeal Fairness, CF)" 방법들은 하위 그룹 전반에 걸친 조건부 커버리지 보장을 통해 이를 해결하지만, 중앙 집중식 데이터 접근에 의존합니다.

연합 학습(Federated Learning, FL)에서는 프라이버시를 보호하기 위해 데이터가 분산된 상태로 유지되므로, 표준 CF를 적용하는 것이 불가능합니다. 또한, 최근 연구에 따르면 프라이비시를 보존하는 분산형 학습으로 전환하는 것이 데이터 이질성 및 다양한 클라이언트 역량으로 인해 의도치 않게 불공정성을 악화시킬 수 있음을 보여줍니다. 핵심 과제는 프라이버시 제약을 위반하거나 과도한 통신 오버헤드를 발생시키지 않으면서, 비-IID(non-IID) 특성을 가진 연합 환경에 CF의 이론적 보장을 확장하는 것입니다.

방법론

저자들은 CF 프레임워크를 연합 환경에 적응시킨 FedCF (Federated Conformal Fairness) 프레임워크를 제안합니다. 이 방법론은 세 가지 기둥을 기반으로 합니다:

1. 경사 기반 최적화 재구성 (Descent-Based Optimization Reformulation)

기존의 CF 알고리즘은 공정성 제약을 만족하는 최소 임계값 $\lambda$를 찾기 위해 이산화된 공간에 대한 그리드 탐색(grid search)을 사용합니다. 이는 통신 round 비용이 높은 FL에서는 비효율적입니다. FedCF는 이를 경사 기반 최 optimization 문제로 재구성합니다. 그리드 탐색 대신, 알고-리즘은 모멘텀 기반 업데이트 규칙을 사용하여 임계값 $\lambda$를 적응적으로 업데이트합니다. 이를 통해 시스템은 훨씬 적은 통신 round 내에 제약을 만족하는 $\lambda$로 수렴할 수 있으며(실험에서 약 10배의 속도 향상 입증), 랜덤 재시작(random restarts)을 통해 지역 최솟값(local minima)을 탈출할 수 있습니다.

2. 클라이언트 혼합 커버리지 갭 공식화 (Mixture-of-Clients Coverage Gap Formulation)

분산된 데이터를 처리하기 위해, FedCF는 공정성 지표에 필요한 조건부 커버리지를 직접 추정할 수 없습니다. 저자들은 부분 교환 가능성(partial exchangeability) 가정을 바탕으로 한 클라이언트 혼합 공식화를 도입합니다. 이 방식은 글로벌 공정성 특정 커버리지 수준($\Pi_{cov}$)을 네 가지 항으로 분해합니다:

• 항 I & II: 각 클라이언트가 자신의 캘리브레이션 데이터와 특정 그룹-레이블 쌍을 기반으로 로컬에서 계산합니다.
• 항 III: 테스트 포인트가 특정 클라이언트의 데이터와 교환 가능할 확률 (클라이언트 크기에 따라 가중치 부여).
• 항 IV: 공정성 필터가 활성화될 글로벌 확률.

이러한 항들에 대한 구간 경계(interval bounds)(정리 3.1)를 도출함으로써, 서버는 원시 클라이언트 데이터를 전혀 보지 않고도 로컬 통계량을 집계하여 글로벌 커버리지 갭을 제한할 수 있습니다. 또한 이 프레임워크는 부분-IID 가정하에서 더 타이트하지만 덜 보수적인 추정치를 제공하는 최대 우도 추정(MLE) 변형을 제공합니다.

3. 유연한 집계 프로토콜 (Flexible Aggregation Protocols)

FedCF는 통신 효율성과 데이터 프라이버시 사이의 트레이드오프를 다음과 같은 두 가지 프로토콜을 통해 해결합니다:

• 통신 효율적 방식: 클라이언트는 각 그룹-레이블 쌍에 대한 요약 통계($\alpha$ 값)를 전송합니다. 서버는 이를 집계하여 경계를 계산합니다. 이는 그룹 수에 비례하는 선형 통신 복잡도를 가집니다.
• 강화된 프라이버시 방식: 클라이언트는 서버로 보내기 전에 커버리지 항의 쌍별 차이를 로컬에서 계산합니다. 이는 개별 분포 정보를 은닉하여 재구성 공격(reconstruction attacks)을 방지하지만, 그룹 수에 대한 이차(quadratic) 통신 복계수를 초래합니다.
• 하이브리드: 클라이언트는 자원 제약에 따라 두 프로토콜 중 하나를 선택할 수 있습니다.

또한 이 프레임워크는 클라이언트 업데이트에 가우시안 노이즈를 추가하는 **차분 프라이버시(Differential Privacy, DP)**를 지원하여 악의적인 서버에 대한 견고성을 보장합니다.

주요 기여

1. FL로의 CF 확장: 본 논문은 컨포멀 공정성을 연합 설정으로 확장하는 최초의 프레임워크를 제시하며, 부분 교환 가능성 하에서 분산 환경에서도 조건부 커버리지 보장이 유지될 수 있음을 이론적으로 증명했습니다.
2. 경사 기반 알고리즘: 그리드 탐색을 적응형 경사법으로 대체하여 FL에서 수렴에 필요한 통신 round 수를 획기적으로 줄이는 새로운 최적화 접근 방식을 제안했습니다.
3. 이론적 경계: 데이터 중앙 집중화 없이도 공정성 갭을 엄격하게 감사할 수 있는 방법을 제공함으로써, 연합 환경에서의 공정성 특정 커버리지 수준에 대한 구간 경계를 도출했습니다.
4. 프라이버시-통신 트레이드오프: 대역폭 제약과 프라이버시 요구 사항 사이에서 균형을 맞출 수 있는 별도의 집계 프로토콜(통신 효율적, 강화된 프라이버시, 하이브리드)을 제안했습니다.
5. 실증적 검증: 표 형식(ACSIncome, ACSEducation), 그래프(Pokec), 시각 데이터(Fitzpatrick) 데이터셋에 대한 광범한 실험을 통해 FedCF가 원래의 CP 커버리지 보장을 유지하면서 공정성 격차(예: 인구통계학적 패리티, 기회 균등)를 성공적으로 제어함을 입증했습니다.

실험 결과

저자들은 다양한 도메인과 공정성 지표에 대해 FedCF를 평가했습니다:

• 공정성 제어: FedCF는 공정성 격차를 제어하지 못하는 베이스라인인 연합 컨포멀 예측(FCP)과 달리, 사용자가 지정한 공정성 근접성 기준($c$)을 일관되게 달 achieves 합니다.
• 효율성 vs. 공정성: 내재적인 트레이드오프가 존재합니다. 더 엄격한 공정성(더 작은 $c$)을 강제하면 예측 세트의 크기가 커져 효율성이 감소합니다. 그러나 FedCF는 베이스라인에 비해 이 비용을 최소화합니다.
• 이질성에 대한 견고성: 이 프레임워크는 다양한 클라이언트 수(2~48개)와 서로 다른 데이터 파티셔닝 방식(자연적 지리적 분할 vs. 디리클레 파티션)에 대해 효과적으로 작동합니다.
• 그래프 데이터: FedCF는 그래프 특유의 비정규성 점수(DAPS)와 성공적으로 통합되어, 표준 표 형식 데이터를 넘어선 적용 가능성을 보여주었습니다.
• 프라이버시 프로토콜: 실험 결과, 강화된 프라이버시 프로토콜은 경계가 더 타이트하여 예측 세트가 더 커지는 등 더 보수적이지만, 클라이언트 데이터를 보호하면서 공정성 격차를 효과적으로 제어함을 보여주었습니다.

의의 및 주장

본 논문은 FedCF가 프라이버시를 침해하지 않으면서 분산 시스템에서 공정성 감사를 수행할 수 있는 데 데이터를 보장하는 메커니즘을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 규제 준수: 데이터 프라이버시를 유지하면서 분산 시스템에서 공정성 감사가 요구되는 신흥 규제(예: EU AI Act, NYC Local Law 144)를 충족하는 메커니즘을 제공합니다.
• 신뢰할 수 있는 ML: 불확실성 정량화와 공정성 사이의 간극을 메워, 모델이 알려진 오차 범위 내에서 예측할 뿐만 아니라 민감한 그룹에 대해서도 공정하게 예측하도록 보장합니다.
• 감사 가능성: 이 프레임워크는 기존의 연합 모델을 사후 감사하여, 재학습이나 원시 데이터 접근 없이도 공정성 명세를 충족하는지 판단하는 데 사용될 수 있습니다.

저자들은 부분 교환 가능성 가정에 대한 의존성, 즉 동적 데이터 드리프트가 발생하는 설정에서 위반될 수 있다는 한계점을 인정합니다. 이들은 이러한 시나리오를 해결하기 위해 비-교환 가능(non-exchangeable) CP 및 견고한 연합 학습 기술을 포함하는 향후 연구를 제안합니다.