FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

현대 통신의 거대하고 상호 연결된 네트워크 속에서, 컴퓨터가 학습하는 방식에 조용한 혁명이 일어나고 있습니다. 전통적으로 인공지능 시스템은 방대한 양의 데이터를 하나의 중앙 위치로 모아, 알고리즘이 수백만 개의 사례를 연구하여 패턴을 찾아내는 방식으로 훈련됩니다. 그러나 이러한 접근 방식은 개인의 휴대폰, 의료 기기, 그리고 개인용 서버로부터 민감한 개인 정보를 중앙 허브로 이동시켜야 하기 때문에 프라이버시와 보안에 대한 심각한 우려를 낳습니다. 이를 해결하기 위해 연구자들은 연합 학습(federated learning)이라는 방법을 개발했는데, 이는 여러 다양한 기기가 원시 데이터를 전혀 공유하지 않고도 함께 학습할 수 있게 해줍니다. 데이터를 직접 보내는 대신, 기기들은 자신이 배운 교훈, 즉 자신이 무엇을 보았는지 설명하는 수학적 업데이트만을 보냅니다. 이는 개인 정보를 로컬에 유지하면서도 집단적 노력을 통해 전역적인 지능이 출현할 수 있도록 합니다.

하지만 이 협력적인 과정은 고집스러운 장애물에 직면해 있습니다. 바로 각 기기에 있는 데이터가 거의 균형을 이루지 못한다는 점입니다. 어떤 사람의 휴대폰은 고양이 사진으로 가득 차 있을 수 있는 반면, 다른 사람의 휴대폰에는 자동차 이미지만 들어 있을 수 있습니다. 이러한 기기들이 공유 모델을 가르치려 할 때, 특정 범주에 대한 데이터가 풍부한 기기들은 대화를 주도하게 되어, 모델이 그 특정 분야의 전문가는 되게 만들면서도 희귀하거나 누락된 분야는 무시하게 만듭니다. 이러한 불균형은 사각지대를 만들어, 시스템이 한 번도 본 적 없는 것들에 대해 확신에 찬 틀린 추측을 하게 만듭니다. 이 문제는 기기들이 정체(tag)가 없는 공유 이미지 풀(unlabeled images)—즉, 식별 태그가 없는 사진들—로부터 학습하려고 할 때 더욱 심화되는데, 이는 프라이버시를 보호하기 위해 흔히 필요한 방식입니다. 공유된 이미지에 대한 실제 정답을 알 수 없기 때문에, 중앙 서버는 개별 기기들에 의해 도입된 편향을 수정하는 데 어려움을 겪으며, 결과적으로 왜곡되고 신뢰할 수 없는 전역 모델을 만들게 됩니다.

한 연구팀은 이 문제를 해결하기 위해 FedCC라고 부르는 새로운 접근 방식을 제안했습니다. 그들의 연구는 기기들이 내부 설정 대신 예측값을 공유하는 특정한 유형의 협력 학습에 초점을 맞춥니다. 이 설정에서 각 기기는 일련의 공용 미분류 이미지를 살펴보고, 각 이미지가 무엇이라고 생각하는지에 대한 확률 목록을 보냅로 보냅니다. 문제는 특정 유형의 이미지만을 본 기기가 모든 것에 대해 추측을 강요받을 때 발생합니다. 만약 어떤 기기가 오직 개 사진만 본 적이 있다면, 그 기기는 고양이를 개라고 확신하며 오인할 것이고, 많은 기기가 이와 같이 행동한다면 중앙 서버는 이러한 오류들을 하나의 결함 있는 결론으로 집계하게 됩니다. 연구자들은 해결책이 모든 기기에게 추측을 강요하는 것이 아니라, 불확실할 때 인정할 수 있는 권한을 주는 것이라는 점을 깨달았습니다.

FedCC의 핵심 혁신은 '알 수 없음(unknown)' 범주의 도입입니다. 전통적인 시스템에서는 기기가 본 적 없는 이미지를 마주하더라도 반드시 '개', '고양이', 또는 '자동차'와 같은 알려진 클래스 중 하나를 선택해야 합니다. FedCC는 규칙을 바꾸어 기기가 혼란스럽거나 생소한 이미지를 '알 수 없음'으로 태깅할 수 있도록 허용합니다. 이 단순한 추가는 안전 밸브 역할을 합니다. 기기가 자신의 제한된 경험 범위를 벗어나는 이미지를 만났을 때, 그것을 억지로 틀린 답을 내놓는 대신 이 새로운 포괄적 범주로 할당할 수 있습니다. 이는 기기가 자신의 좁은 관점으로 인해 집단의 집단적 지식에 잘못된 확신을 주입하는 것을 방지합니다. 자신이 무엇을 모르는지 인정함으로써, 기기는 자신의 편협한 시각에 의해 집단이 오도되는 것을 막습니다.

이것이 작동하도록 하기 위해, 연구자들은 기기들이 먼저 자신의 개인 데이터를 통해 학습한 다음, 공유된 미분류 이미지 세트를 사용하여 이해도를 정교화하는 과정을 설계했습니다. 이 정교화 과정 동안, 시스템은 기기가 예측에 대해 얼마나 확신하는지를 계산합니다. 만약 기기가 높은 확신을 가지고 있다면 그 추측을 공유합니다. 만약 불확실하다면, 시스템은 '알 수 없음' 범주에 크게 의존합니다. 이러한 불확실성은 실패가 아니라 가치 있는 신호로 취급됩니다. 중앙 서버는 모든 기기의 예측을 결합할 때, 확신이 있는 것에는 더 많은 가중치를 주고 확신이 없는 것에는 더 적은 가중치를 줍니다. 결정적으로, 서버는 최종적인 글로벌 레슨을 만들 때 '알 수 없음' 태그를 필터링하여, 공유된 지식이 오직 신뢰할 수 있고 합의된 정보만을 바탕으로 구축되도록 보장합니다. 이 방법은 데이터가 심하게 치우쳐져 있는 경우, 즉 일부 기기가 특정 범주에 대한 데이터가 매우 적은 경우에도 효과적으로 학습할 수 있게 해줍니다.

연구자들은 일상적인 사물과 동물의 컬렉션을 포함한 여러 표준 이미지 데이터셋을 사용하여, 데이터가 매우 불균형하게 분포된 조건 하에서 이 방법을 테스트했습니다. 가장 극단적인 테스트에서, 그들은 10개의 기기 각각이 10개의 가능한 카테데리 중 단 하나의 클래스 이미지만 보유한 시나리오를 시뮬레이션했습니다. 이 가혹한 환경에서 기존 방식들은 붕괴되어 정확도가 무작위 추측 수준인 12% 미만으로 떨어졌습니다. 반면, FedCC 시스템은 67.3%의 견고한 정확도를 유지했습니다. 이 결과는 기기들이 강제된 오류를 범하는 것을 멈추게 함으로써, 시스템 전체가 훨씬 더 정확해질 수 있음을 입증합니다. FedCC와 다른 방법 사이의 격차는 데이터가 더 불균형해질수록 더 커졌으며, 이는 이 접근 방식이 도전 과제가 가장 클 때 특히 효과적임을 증명합니다.

글로벌 모델을 개선하는 것을 넘어, 연구는 이 접근 방식이 개별 기기들에게도 도움이 되었다는 것을 보여주었습니다. 자신의 한계를 인식하고 불확실한 샘 샘플을 '알 수 없음'으로 태깅하는 법을 배움으로써, 기기들은 자신들이 배워야 할 희귀한 범주들을 더 잘 식별하게 되었습니다. 시스템은 효과적으로 규제자(regularizer) 역할을 하여, 모델이 잘 아는 클래스에 과도하게 확신을 갖고 알지 못하는 클래스를 무시하는 것을 방지했습니다. 데이터의 시각적 분석은 FedCC로 훈련된 모델이 서로 다른 범주들을 뚜렷하고 분리된 상태로 유지하는 반면, 다른 방식들은 그것들을 서로 뭉뚱그리는 경향이 있음을 보여주었습니다. 이러한 명확성은 '알 수 없음' 범주가 협력 학습을 탈선시키는 데 드는 노이즈와 혼란을 흡수하는 완충제 역할을 한다는 것을 시사합니다.

이러한 결과는 다양하고 파편화된 데이터의 세계에서, 무지를 인정하는 것이 학습을 위한 강력한 도구라는 점을 시사합니다. 예측을 강요하는 것에서 불확실성을 허용하는 것으로 목표를 전환함으로써, FedCC는 더 신뢰할 수 있고 공정한 인공지능 시스템을 구축하는 단순하면서도 효과적인 방법을 제시합니다. 이 방법은 복잡한 새로운 인프라를 요구하거나 개인 데이터를 공유할 필요가 없으며, 단지 기기들이 자신의 확신을 전달하는 방식을 바꿀 뿐입니다. 네트워크의 기기들이 계속 증가하고 그들이 보유한 데이터가 점점 더 다양해짐에 따라, 프라이버시를 희생하지 않으면서 이러한 불균형을 처리할 수 있는 기술은 필수적이 될 것입니다. FedCC는 때때로 최선의 학습 방법은 "모른다"라고 말할 때를 아는 것임을 보여주며, 명확한 길을 제시합니다.