💻 컴퓨터 과학

FedSS: Shareability-Aware Privacy-Preserving Federated Learning for Sports Recognition

본 논문은 클리핑 왜곡을 완화하고 프라이버시-유용성 트레이드오프를 개선하기 위해, 클라이언트 고유의 컨텍스트는 로컬에 유지하면서 전이 가능한 스포츠 시맨틱만을 선택적으로 공유하는 스포츠 인식 분야의 차분 프라이버시 기반 연합 학습을 위한 공유 가능성 인지 프레임워크인 FedSS를 제안한다.

원저자: Jiahui Lin, Jie Wu, Ke Sun, Yuanyuan Huang

게시일 2026-10-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiahui Lin, Jie Wu, Ke Sun, Yuanyuan Huang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

스포츠의 세계에서 챔피언과 도전자 사이의 차이는 움직임, 자세, 기술의 미세한 디테일에 있는 경우가 많습니다. 컴퓨터가 이러한 세부 사항을 인식하도록 가르치기 위해서는 행동 중인 운동선수들의 방대한 이미지 데이터가 필요합니다. 그러나 이러한 이미지들은 한곳에 중앙 집중적으로 모여 있지 않습니다. 이들은 학교, 프로 클럽, 훈련 센터, 그리고 개별 체육관 등에 흩어져 있으며, 각기 고유한 사진 컬렉션을 보유하고 있습니다. 이러한 분산된 구조는 인공지능에 큰 장애물을 만듭니다. 즉, 모든 조직이 자신들의 사적인 데이터를 넘겨주지 않고도 컴퓨터가 이 모든 이미지로부터 어떻게 학습할 수 있을 것인가 하는 문제입니다. 그 해답은 연합 학습(federated learning)이라 불리는 방법 속에 있습니다. 사진을 중앙 서버로 이동시키는 대신, 컴퓨터 모델이 로컬 데이터가 있는 곳으로 직접 찾아가는 방식입니다. 모델은 현장에서 이미지를 통해 학습하고, 원래의 사진은 그대로 둔 채 자신이 학습한 내용의 요약본만을 다시 보냅니다. 이는 프라이버시를 보호하지만, 새로운 문제를 야기합니다. 이러한 요약본조차 때로는 사진 속 인물들에 대한 민감한 정보를 드러낼 수 있기 때문입니다. 이를 해결하기 위해 연구자들은 요약본에 수학적 노이즈를 추가하는 층을 더하는데, 이는 개인에 대한 잠재적인 단서를 흐트리는 '차분 프라이버시(differential privacy)'라는 기술입니다. 하지만 이 안전 조치에는 대가가 따릅니다. 노이즈는 컴퓨터가 학습하는 데 필요한 바로 그 디테일을 흐릿하게 만들어, 서로 다른 스포츠나 선수를 구별하는 것을 어렵게 만들 수 있습니다.

한 연구팀은 스포츠 인식에서의 이러한 프라이버시와 정확성 사이의 특정한 긴장 관계를 해결하기 위한 새로운 접근법을 개발했습니다. 그들은 이 시스템을 FedSS라고 부릅니다. 이 연구의 핵심 아이디어는 스포츠 사진으로부터 학습된 모든 정보가 공유하기에 똑같이 가치 있는 것은 아니라는 점입니다. 컴퓨터가 농구 선수의 사진을 볼 때, 두 가지 뚜렷한 유형의 정보를 학습합니다. 첫째, 그것은 스포츠의 보편적인 규칙을 배웁니다. 선수가 점프하는 방식, 슛을 할 때 무릎의 각도, 그리고 공의 일반적인 형태 같은 것들입니다. 이것들은 컴퓨터가 어디서든 농구를 인식할 수 있게 돕는 '전이 가능한(transferable)' 비밀입니다. 둘째, 그것은 해당 특정 사진의 구체적인 세부 사항을 배웁니다. 팀 유니폼의 색상, 특정 체육관의 조명, 배경의 관중, 또는 독특한 카메라 각도 등이 이에 해당합니다. 이러한 디테일은 그 특정 클라이언트에게만 국한된 것이며, 컴퓨터가 스포츠 자체를 이해하는 데는 도움이 되지 않습니다. 전통적인 프라이버시 보호 시스템에서는 컴퓨터가 이 모든 정보를 하나의 패키지로 취급합니다. 정보 묶음 전체에 노이즈를 추가하기 때문에, 가장 가치 있는 보편적 규칙들이 무익한 특정 세부 사항들과 함께 흐려지게 됩니다. 이는 정보를 전송하는 데 사용 가능한 제한된 '공간'을 낭비하고 가장 중요한 지식을 왜곡합니다.

중국과학원, 경일대학교, 청두 정보기술대학교의 연구진은 이를 더 스마트하게 처리하는 방법을 제안했습니다. 그들은 정보가 로컬 컴퓨터를 떠나기 전에 필터 역할을 하는 시스템을 구축했습니다. 데이터를 보내기 전, 시스템은 학습된 정보를 분석하여 보편적인 스포츠 규칙과 로컬의 특정 세부 사항을 분리합니다. 그런 다음 보편적인 규칙에만 프라이버시 보호를 적용하고, 로컬 세부 사항은 내부적으로 유지합니다. 이를 통해 전송되는 데 허용된 제한된 정보가 가장 유용한 지식으로만 가득 채워지도록 보장합니다. 이 분리를 작동시키기 위해, 그들은 세 가지 기준에 따라 정보를 평가하는 모듈을 만들었습니다. 시스템은 정보가 스포츠를 식별하는 데 얼마나 도움이 되는지, 그 정보가 서로 다른 팀과 장소 간에 얼마나 일관성이 있는지, 그리고 노이즈가 추가되었을 때 얼마나 안정적으로 유지되는지를 확인합니다. 만약 어떤 정보가 스포츠를 인식하는 데 매우 유용하고 여러 클라이언트 간에 일관성을 유지한다면, 시스템은 이를 공유 대상으로 표시합니다. 반면, 그것이 특정 체육관의 조명이나 특정 팀의 유니폼을 반영하는 것에 불과하다면, 시스템은 이를 로컬에 남겨둡니다.

연구팀은 22가지의 서로 다른 스포츠가 포함된 컬렉션과 100가지의 스포츠가 포함된 또 다른 대규모 스포츠 이미지 컬렉션을 사용하여 이 방법을 테스트했습니다. 그들은 많은 조직이 참여하며, 각 조직은 자신들만의 독특한 선수, 유니폼, 카메라 환경을 가진 실제적인 환경을 시뮬레이션했습니다. 그들은 이 새로운 시스템을 프라이버시를 보호하려는 여러 기존 방식들과 비교했습니다. 결과는 로컬 노이즈를 데이터를 보내기 전에 필터링함으로써, 그들의 시스템이 스포츠 인식 측면에서 훨씬 더 뛰어난 성능을 보였다는 것을 보여주었습니다. 데이터가 클라이언트마다 매우 달랐던 가장 어려운 테스트 시나리오에서, 그들의 방식은 기존의 가장 우수한 방법들보다 스포츠 인식 정확도를 몇 퍼센트 포인트 향상시켰습니다. 이러한 개선은 연구자들이 프라이버시 보호를 더 강력하게 설정했을 때도(보통 이 경우 작업이 훨씬 어려워집니다) 일관되게 나타났습니다. 또한 시스템은 더 효율적임이 증명되었습니다. '정크(junk)' 데이터를 덜 보냈기 때문에, 프라이버시를 위한 수학적 노이즈가 최종 결과에 미치는 부정적인 영향이 적었습니다.

연구진은 또한 시스템 내부에서 어떤 일이 일어나는지 면밀히 조사하여 왜 이 방식이 작동하는지 파악했습니다. 그들은 시스템이 배경이나 유니폼에 한눈을 팔지 않고, 선수의 실제 움직임과 기술에 컴퓨터가 집중하도록 성공적으로 유지한다는 것을 발견했습니다. 이는 모델이 단순히 본 사진들을 암기하는 것이 아니라, 스포츠 자체를 이해하는 모델로 이어졌습니다. 이 연구는 참여하는 조직의 수가 매우 많거나, 매 훈련 단계마다 소수의 조직만이 참여하는 경우에도 이 접근 방식이 잘 작동함을 확인했습니다. 연구 결과는 스포츠 인식처럼 다양한 환경 전반에 걸쳐 특정 활동을 이해하는 것이 목표인 작업의 경우, 무엇이 보편적이고 무엇이 로컬인지를 구분하는 것이 매우 중요하다는 것을 시사합니다. 그렇게 함으로써, 컴퓨터가 효과적으로 학습할 수 있는 능력을 희생하지 않으면서도 운동선수와 기관의 프라이버시를 보호할 수 있습니다. 이 연구는 프라이버시와 효용성이 반드시 적대적인 관계일 필요는 없음을 보여줍니다. 적절한 전략이 있다면, 그들은 함께 협력하여 스포츠 세계를 분석하는 더 스마트하고 안전한 시스템을 만들 수 있습니다.

기술 요약: FedSS – 스포츠 인식을 위한 공유 가능성을 고려한 프라이버시 보호 연합 학습

1. 문제 정의

연합 학습(Federated Learning, FL)은 선수 정보 및 기관 데이터 소유권에 관한 프라이버시 문제를 해결하면서, 데이터를 중앙 집중화하지 않고도 협력적인 스포츠 이미지 인식을 수행할 수 있는 패러다임을 제공한다. 그러나 표준 FL 방식은 스포츠 응용 분야에서 두 가지 결정적인 문제에 직면한다:

시각적 이질성(Visual Heterogeneity): 서로 다른 클라이언트(학교, 클럽, 경기장)에 분산된 스포츠 데이터는 동일한 스포츠 카테고리라 할지라도 선수의 외형, 유니폼, 배경, 조명, 관점 등에서 상당한 시각적 차이를 보인다. 이는 전이 가능한 스포츠 의미론(예: 동작 패턴, 신체 구성)과 클라이언트 특유의 시각적 맥락 사이의 충돌을 야기한다.
프라이버시-효용 트레이드오프(Privacy-Utility Trade-off): 엄격한 프라이버시를 보장하기 위해, 차분 프라이버시 연합 학습(DP-FL)은 그래디언트 클리핑(gradient clipping)과 가우시안 노이즈를 적용한다. 기존의 DP-FL은 모든 모델 업데이트를 균등하게 취급한다. 결과적으로, 공유 가능성이 낮은 클라이언트 특유의 맥락적 변동이 제한된 클리핑 범위( $L_2$ norm)의 일부를 소모하게 되어, 가치가 높은 전이 가능한 스포츠 의미론을 불필요하게 왜곡한다. 이는 프라이버시 제약 조건 하에서 심각한 효용 저하를 초러한다.

기존 방법들은 최적화 안정성이나 희소화(sparsification)를 개선하려 노력하지만, 프라이버시 메커니즘을 적용하기 전에 전역적으로 전이 가능한 지식과 로컬 맥락을 명시적으로 구분하는 데에는 실패한다.

2. 방법론: FedSS 프레임워크

저자들은 프라이버시 섭동(perturbation)을 가하기 전에 전이 가능한 스포츠 의미론과 클라이언트 특유의 맥락을 분리하도록 설계된 프레임워크인 FedSS(Shareability-Aware Privacy-Preserving Federated Learning)를 제안한다.

핵심 구성 요소:

스포츠 의미론 공유 가능성 모듈(SSSM): 이 모듈은 네트워크 단계(예: ResNet-18 백본)를 평가하여 각 단계에 대한 "공유 가능성 점수"( $q_{i,b}^t \in [0,1]$ $q_{i, b}^{t} \in [0, 1]$ )를 추정한다. 점수는 다음 세 가지 기준을 통해 도출된다:
1. 스포츠 판별성(Sport Discriminativeness): 그래디언트-활성화 관련성(gradient-activation relevance)을 사용하여 특정 단계가 올바른 스포츠 인식에 얼마나 강력하게 기여하는지 측정한다.
2. 클라이언트 간 불변성(Cross-Client Invariance): 현재의 업데이트가 이전에 공유된 프라이빗 업데이트의 지수 이동 평균(EMA)과 얼마나 일치하는지 측정하여 글로벌 지식과의 정렬을 보장한다.
3. 프라이버시 강건성(Privacy Robustness): 그래디엔트 기반 최소화(GAM)를 사용하여 로컬 섭동 하에서의 단계별 그래디언트 안정성을 평가하고, 예상되는 가우시안 노이즈 대비 신호 강도를 평가한다.
의미론-맥락 분리(Semantic-Context Decoupling): 추정된 공유 가능성 점수를 사용하여 후보 업데이트( $\Delta_i^t$ $Δ_{i}^{t}$ )를 다음과 같이 부드럽게 분해한다:
- 전이 가능한 성분( $\Delta_{i,sport}^t$ ): 공유 가능성 점수에 따라 가중치가 부여되며, 프라이버시 처리가 적용(클리핑 및 노이즈 추가)된 후 업로드된다.
- 맥락 성분( $\Delta_{i,context}^t$ ): 잔차(residual)는 클라이언트 특유의 적응(예: 특정 유니폼 또는 경기장)을 보존하기 위해 로컬 맥락 메모리( $r_i$ )에 로컬에 유지되며, 서버에 노출되지 않는다.
로컬 최적화: 클라이언트는 노이즈에 대한 강건성을 향상시키기 위해 1차 평탄도(first-order flatness)를 특징짓는 **그래디언트 기반 최소화(GAM)**를 사용하여 로컬 모델을 최적화한다.
서버 집계: 서버는 글로벌 모델을 업데이트하기 위해 프라이버시 처리가 완료된 스포츠 의미론 업데이트만을 집계하며, 다음 라운드를 위해 EMA 참조값을 갱신한다.

프라이버시 보장:
이론적 분석(Proposition 1)을 통해, 공유 가능성 계수와 로컬 잔차가 전송되지 않으며 최종 출시되는 업데이트가 표준 클라이언트 수준 DP 메커니즘을 사용하여 제한되고 프라이버시 처리가 된다는 점을 확인하였다. 따라서 FedSS는 추가적인 프라이버시 계정(privacy accounting) 없이도 표준 DP-FL과 동일한 $(\epsilon, \delta)$ -차분 프라이버시 보장을 유지한다.

3. 주요 기여

프레임워크 제안: 이질적인 연합 환경에서 전역적으로 전이 가능한 스포츠 의미론과 클라이언트 특유의 시각적 맥락을 명시적으로 구분하는 FedSS를 도입하였다.
공유 가능성 모듈: 판별성, 불변성 및 강건성을 기반으로 단계별 공유 가능성을 적응적으로 평가하여 지식의 선택적 공유를 유도하는 SSSM을 개발하였다.
이론적 분석: 단계별 소프트 필터링이 비확장적(non-expansive)임을 증명하여(Proposition 2), 클리핑 왜곡을 증가시키지 않음을 보여주었으며, 의미론적 억제 및 맥락 누출을 줄이는 오차 경계(error bounds)를 도출하였다(Propositions 3 & 4).
포괄적 평가: 다양한 이질성 설정(레이블 스큐, 시각적 맥락 변화, 결합된 형태) 및 프라이버시 예산 하에서 sport22 및 sport100 데이터셋을 대상으로 광범위한 실험을 수행하였다.

4. 실험 결과

ResNet-18 백본을 사용하여 다양한 클라이언트 규모(100개 및 500개 클라이언트)와 프라이버시 예산( $\epsilon \in [4, 12]$ )에 대해 실험을 진행하였다.

정확도: FedSS는 대표적인 DP-FL 베이스라인(DP-FedAvg, DP-FedSAM, DPSIR-Fed 포함)을 일관되게 능가하였다. 도전적인 혼합 이질성(Mixed Heterogeneity, M-Het) 설정에서, FedSS는 가장 강력한 베이스라인인 DPSIR-Fed와 비교했을 때 sport22에서 5.78%, sport100에서 **5.71%**의 Top-1 정확도 향상을 보였다.
프라이버시-효용 트레이드오프: FedSS는 모든 프라이버시 예산에서 우수한 성능을 보였으며, 특히 강력한 프라이버시 제약 조건( $\epsilon=4$ ) 하에서 눈에 띄는 이득을 입증하였다.
메커니즘 분석:
- 클리핑 왜곡(Clipping Distortion): FedSS는 클리핑 전 낮은 공유 가능성을 가진 맥락을 필터링함으로써 클리핑 왜곡(ClipDist)을 크게 감소시켰다.
- 의미론적 일관성: 이 방법은 더 높은 스포츠 의미론 일관성(SCS)과 더 낮은 클래스 조건부 클라이언트-맥락 예측 가능성(C-CCP)을 달성하였으며, 이는 공유된 모델이 클라이언트 특유의 아티팩트보다는 스포츠 자체에 대해 더 많이 학습했음을 나타낸다.
절제 연구(Ablation Studies): SSSM을 제거했을 때 가장 큰 성능 저하가 발생하였으며, 이는 SSSM이 개선의 핵심 동력임을 확인시켜 준다. 로컬 맥락 메모리와 GAM 최적화는 보완적인 이득을 제공하였다.

5. 의의 및 주장

본 논문은 FedSS가 스포츠 인식에서 프라이버시 보호 연합 학습과 관련된 효용 저하를 효과적으로 완화한다고 주장한다. 모든 학습된 정보가 글로벌 공유에 똑같이 가치 있는 것은 아니라는 점을 인식함으로써, FedSS는 고가치의 전이 가능한 스포츠 의미론을 보존하는 동시에 로컬에 낮은 가치의 클라이언트 특유 맥락을 유지하도록 제한된 "클리핑 예산"을 최적화한다.

저자들은 이 **공유 가능성 인지 접근 방식(shareability-aware approach)**이 이질적인 스포츠 데이터에 대한 강력한 솔루션을 제공하며, 다음과 같은 이점을 제공한다고 단언한다:

엄격한 프라이버시 보장 하에서의 향상된 인식 정확도.
프라이버시 메커니즘 과정 중 유용한 지식의 왜곡 감소.
글로벌 모델에서의 더 강력한 클라이언트 간 의미론적 일관성.

이 연구는 향후 연구가 이러한 공유 가능성 인지 패러다임을 비디오 데이터, 멀티모달 입력 및 더 세밀한 적응형 추정으로 확장할 수 있음을 시사하지만, 현재의 기여는 정적 이미지 인식 벤치마크에 확고히 기반을 두고 있다.