🤖 machine learning

FLOSS: Federated Learning with Opt-Out and Straggler Support

이 논문은 사용자 옵트아웃과 기기 성능 차이로 인한 지연 현상 (스트래글러) 으로 발생하는 데이터 결손이 연방 학습 모델에 미치는 편향과 성능 저하를 완화하는 새로운 시스템인 FLOSS 를 제안하고 시뮬레이션을 통해 그 효과를 입증합니다.

원저자: David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍕 비유: "전 세계 피자를 만드는 프로젝트"

AI 모델을 훈련시킨다는 것은, 전 세계 사람들이 각자 집에서 만든 **피자 (데이터)**를 가져와서 **중앙 주방 (서버)**이 그 맛을 분석해 **최고의 레시피 (모델)**를 만드는 과정이라고 상상해 보세요.

하지만 여기서 두 가지 문제가 생깁니다.

학습을 거부하는 사람 (Opt-out): 어떤 사람들은 "내 집 안의 피자를 보여주고 싶지 않아"라고 말합니다. (개인정보 보호를 원하거나, AI 가 내 취향을 해칠까 봐 걱정해서요.)
느린 사람 (Stragglers): 어떤 사람들은 피자를 만들기는 했는데, 배달이 너무 늦거나 아예 안 옵니다. (인터넷이 느리거나, 폰이 고장 난 경우죠.)

이 두 가지 이유로 중앙 주방은 전체 피자의 일부만 보게 됩니다. 문제는 이 '보이지 않는 피자'들이 단순히 무작위로 빠진 게 아니라, 특정한 이유로 빠졌다는 점입니다.

예: "매운 걸 못 먹는 사람들"이 피자를 안 보내거나, "인터넷이 느린 시골 마을"의 사람들이 배달을 못 하는 경우.

이렇게 특정 그룹의 데이터만 빠지면, 중앙 주방이 만든 레시피는 **편향 (Bias)**이 생깁니다. 매운 걸 좋아하는 사람만 피자를 보내면, AI 는 "세상 모든 사람은 매운 걸 좋아한다"고 착각하게 되는 거죠.

💡 FLOSS 의 해결책: "가중치 달기 (Reweighting)"

FLOSS 는 이 문제를 해결하기 위해 **"누가 빠졌는지, 왜 빠졌는지"**를 분석하고, 남아 있는 사람들의 말을 더 크게 들어주는 (가중치를 주는) 방식을 사용합니다.

1. 왜곡된 목소리를 바로잡기

만약 시골 마을 (느린 기기) 에서 온 피자가 안 왔다면, 도시에서 온 피자들만 보고 레시피를 만들면 안 됩니다. FLOSS 는 "아, 시골 마을 사람들이 안 왔구나. 그럼 도시 사람 1 명의 목소리를 10 명 분량으로 크게 들어줘야 시골 사람들과 균형이 맞겠네"라고 계산합니다.

2. '만약에'를 계산하는 마법 (역확률 가중치)

논문에서는 **역확률 가중치 (Inverse Probability Weighting)**라는 수학적 도구를 사용합니다.

비유: 만약 어떤 사람이 "피자를 안 보내겠다"고 했을 때, 그 이유가 "피자가 너무 매워서 (데이터 자체의 문제)"인지, 아니면 "배달비가 비싸서 (기기/환경의 문제)"인지를 추측합니다.
FLOSS 는 사용자의 기기 사양이나 만족도 같은 정보를 통해, "이 사람이 안 보냈을 확률이 얼마나 되는지"를 계산합니다.
그 확률이 낮을수록 (즉, 안 보낼 확률이 높은데도 보냈다면), 그 사람의 피자는 더 귀중하다고 판단하고 레시피에 더 큰 비중을 둡니다.

3. 그림자 변수 (Shadow Variable) 의 역할

어떤 사람은 "매운 걸 싫어해서" 피자를 안 보냅니다. 이 '매운 걸 싫어함'이라는 데이터는 서버가 볼 수 없습니다. 하지만 FLOSS 는 사용자의 만족도나 기기 속도 같은 '그림자 같은 정보'를 이용해, 보이지 않는 이유를 간접적으로 추론합니다. 마치 "이 사람은 배가 고파서 피자를 안 보냈을 거야"라고 추측하는 것과 비슷합니다.

📊 결과는 어떨까요?

논문의 실험 결과 (그림 3) 를 보면:

보정 없이 학습: 데이터가 빠지면 AI 의 성능 (정확도) 이 확 떨어집니다. (주황색 선)
FLOSS 적용: FLOSS 를 쓰면, 데이터가 빠져도 AI 가 마치 모든 피자를 다 본 것처럼 정확한 레시피를 만듭니다. (빨간색 선이 파란색 '완벽한 상황' 선과 거의 일치함)

🎯 핵심 요약

FLOSS는 AI 가 학습할 때, 데이터를 보내지 않는 사람이나 느린 기기 때문에 생기는 '편향'을 수학적으로 계산해서 고쳐주는 시스템입니다.

기존 방식: "보이는 것만 보고 학습하자." → 결과: 치우친 AI.
FLOSS 방식: "누가 왜 빠졌는지 분석해서, 빠진 사람들의 목소리를 가상으로 복원해 보자." → 결과: 공정하고 정확한 AI.

이 기술은 우리가 스마트폰이나 IoT 기기로 AI 를 훈련시킬 때, 개인정보 보호를 지키면서도 더 똑똑한 AI 를 만들 수 있게 해주는 중요한 열쇠가 될 것입니다.

논문 요약: FLOSS (Federated Learning with Opt-Out and Straggler Support)

1. 문제 정의 (Problem Statement)

연방 학습 (Federated Learning, FL) 은 사용자의 데이터를 중앙 서버로 전송하지 않고 로컬에서 모델을 학습시켜 프라이버시를 보호하는 기술입니다. 그러나 실제 배포 환경에서는 다음과 같은 두 가지 주요 원인으로 인해 데이터 누락 (Missing Data) 문제가 발생하며, 이는 모델 성능 저하와 편향 (Bias) 을 초래합니다.

스트래글러 (Stragglers): 이기적인 장치 성능이나 네트워크 문제로 인해 특정 클라이언트가 기한 내에 그래디언트를 전송하지 못하는 경우.
사용자 옵트아웃 (User Opt-out): 현대적인 데이터 프라이버시 동의서에 따라 사용자가 학습 참여를 임의로 거부하거나 중단하는 경우.

기존 연구는 주로 데이터가 '완전 무작위 결손 (MCAR, Missing Completely At Random)'이라고 가정하거나, 단순히 누락된 데이터를 무시하는 데 집중했습니다. 하지만 실제 FL 환경에서는 다음과 같은 **체계적 결손 (Systematic Missingness)**이 발생합니다.

MAR (Missing At Random): 네트워크 상태나 장치 사양 (관측 가능 변수) 에 따라 누락 확률이 달라지는 경우.
MNAR (Missing Not At Random): 사용자의 데이터 내용 자체 (예: 민감한 정보 포함) 나 모델에 대한 불만족 (관측 불가능 변수) 이 옵트아웃 결정에 영향을 미치는 경우.

이러한 체계적 결손을 무시하고 관측된 데이터만으로 그래디언트를 집계하면, 모델 업데이트가 편향되어 전체적인 학습 성능이 저하됩니다.

2. 방법론 (Methodology)

저자들은 FLOSS라는 시스템을 제안하며, 역확률 가중치 (Inverse Probability Weighting, IPW) 와 결손 데이터 그래픽 모델 (m-DAG) 을 결합하여 MNAR 데이터를 보정합니다.

수학적 모델링 (m-DAG):
- 결손 메커니즘을 시각화하기 위해 결손 데이터 방향 비순환 그래프 (m-DAG) 를 사용합니다.
- 사용자의 옵트아웃 결정 ( $R$ ) 이 관측 가능한 정보 ( $D$ : 장치 사양 등) 와 관측 불가능한 데이터 ( $X, Y$ : 피처 및 결과) 모두에 의존할 수 있음을 모델링합니다.
- 특히, 사용자의 **만족도 ( $S$ )**가 모델 성능과 데이터 민감도에 의해 결정되며, 이 만족도가 옵트아웃을 유도한다는 가정을 도입합니다.
그림자 변수 (Shadow Variable) 활용:
- MNAR 데이터의 편향을 보정하기 위해서는 관측되지 않은 변수에 대한 정보가 필요합니다. 이를 위해 **그림자 변수 ( $Z$ )**를 도입합니다.
- $Z$ 는 결손 확률 ( $R$ ) 에는 직접적인 영향을 주지 않지만, 결손의 원인이 되는 만족도 ( $S$ ) 와는 상관관계가 있는 변수 (예: 장치 처리 능력) 로 정의됩니다.
- 이를 통해 관측된 데이터 ( $D', S_{miss}$ ) 만으로 결손 확률 $P(R=1 | D', S_{miss})$ 를 추정할 수 있게 됩니다.
가중치 재조정 알고리즘 (Reweighted Device Selection):
- 알고리즘 1에서 제시된 바와 같이, 서버는 참여하는 클라이언트를 무작위로 선택하는 대신, 추정된 결손 확률의 역수 ( $1/\pi$ ) 를 가중치로 사용하여 **가중치 샘플링 (Weighted Sampling)**을 수행합니다.
- 이 과정을 통해 관측된 데이터의 분포를 전체 모집단의 분포에 가깝게 재조정하여, 편향 없는 위험 최소화 (Risk Minimization) 를 달성합니다.
- 이 방식은 사용자의 데이터 자체를 서버에 수집하지 않으면서도 (프라이버시 유지), 옵트아웃과 스트래글러로 인한 편향을 보정합니다.

3. 주요 기여 (Key Contributions)

FLOSS 시스템 제안: 옵트아웃과 스트래글러로 인한 체계적 결손 (특히 MNAR) 을 보정하는 최초의 프라이버시 보존 FL 시스템 프레임워크를 제시했습니다.
형식적 모델링: FL 환경에서의 결손 데이터를 m-DAG 를 통해 형식화하고, 그림자 변수를 활용한 MNAR 보정의 이론적 근거를 마련했습니다.
이론적 증명: 가중치 샘플링을 통해 관측된 데이터만으로도 실제 불관측 위험 (True Unobserved Risk) 을 최소화할 수 있음을 증명했습니다 (Proposition 2).
프라이버시 유지: 추가적인 데이터 수집이나 사용자의 동의 위반 없이, 기존 동의서 범위 내에서 보정이 가능함을 입증했습니다.

4. 실험 결과 (Preliminary Results)

실험 설정: Python 기반 프로토타입을 구현하여 이진 분류 작업에서 MNAR 데이터가 존재하는 시나리오를 시뮬레이션했습니다.
비교 대상:
- 결손 없는 데이터 (Baseline)
- 보정 없는 MNAR 데이터
- 오라클 (Oracle, 실제 결손 확률을 안다고 가정) 보정
- 제안된 FLOSS 보정
결과:
- 보정 없이 MNAR 데이터를 사용하면 모델 정확도가 현저히 떨어졌습니다.
- FLOSS 를 적용한 경우, 오라클 보정 (Green line) 과 매우 유사한 성능을 보였으며, 클라이언트 수가 증가할수록 결손이 없는 경우 (Blue line) 에 근접하는 성능을 달성했습니다.
- 단순히 클라이언트 수를 늘리는 것만으로는 결손으로 인한 성능 저하가 해결되지 않음을 확인했습니다.

5. 의의 및 결론 (Significance)

실용성: 현대의 데이터 프라이버시 규정 (사용자의 옵트아웃 권리 존중) 과 이기적인 장치 환경 (스트래글러) 을 모두 고려한 현실적인 FL 솔루션을 제공합니다.
편향 해소: 결손 데이터로 인한 통계적 편향을 줄여 모델의 정확도를 향상시킬 뿐만 아니라, 알고리즘 공정성 (Fairness) 개선에도 기여할 수 있음을 시사합니다.
미래 연구: 생성 모델 등 다양한 ML 작업으로 확장 가능하며, Flower 프레임워크를 통한 대규모 실험과 실제 배포 시의 계산 오버헤드 분석을 통해 실용성을 더욱 검증할 계획입니다.

요약하자면, FLOSS 는 사용자의 프라이버시 권리와 시스템의 불완전성을 동시에 고려하여, **통계적 보정 기법 (IPW)**을 통해 연방 학습의 신뢰성과 성능을 획기적으로 개선하는 혁신적인 접근법입니다.