당신의 스마트폰, 스마트워치, 그리고 이웃의 노트북이 모두 고양이를 인식하는 법을 배우고 싶어 하지만, 서로의 사진을 공유할 수는 없는 세상을 상상해 보세요. 아마도 그 사진들이 너무 사적이거나, 인터넷 연결 속도가 너무 느려 그 모든 것을 거대한 중앙 컴퓨터로 업로드할 수 없기 때문일 것입니다. 이것이 바로 **연합 학습(Federated Learning)**이 해결하고자 하는 문제입니다. 모든 데이터를 한곳에 모으는 대신, "선생님"(중앙 서버)은 기초적인 수업 계획안을 모두에게 보냅니다. 각 "학생"(클라이언트 기기)은 자신만의 사적인 사진으로 연습하며 무엇을 배웠는지 파악한 뒤, 오직 그 수업 노트만을 선생님에게 다시 보냅니다. 선생님은 이 노트들을 모두 섞어서 다음 라운드를 위한 더 똑똑한 수업 계획안을 만듭니다. 이는 마치 모두가 자신의 숙제를 숨긴 채 함께 배우는 거대하고 글로벌한 스터디 그룹과 같습니다.

하지만 이 스터디 그룹에는 몇 가지 엉망인 문제들이 있습니다. 첫째, 모두가 가진 숙지량이 같지 않습니다(어떤 학생은 사진이 10장뿐이지만, 어떤 학생은 10,000장이나 있습니다). 둘째, 어떤 학생은 오렌지색 고양이 사진만 가지고 있고, 다른 학생은 검은색 고양이 사진만 가지고 있습니다(이를 '레이블 왜곡(label skew)'이라고 합니다). 셋째, 어떤 학생은 실수로 고양이 사진에 "개"라고 잘못 적었을 수도 있습니다(잘못된 레이블 데이터). 만약 선생님이 무작위로 학생들을 뽑아 노트를 공유하게 한다면, 학급은 이상한 것을 배우거나 학습이 정체될 수 있습니다. 큰 질문은 이것입니다. 어떻게 하면 선생님이 누군가의 사적인 숙제를 훔쳐보지 않고도, 학급이 가장 잘 배울 수 있도록 도와줄 학생을 결정할 수 있을까요?

**"불완전한 데이터셋이 연합 학습의 클라이언트 선택에 미치는 영향 평가(Assessing the Impacts of Imperfect Datasets in Client Selections in Federated Learning)"**라는 제목의 이 논문은 바로 이 혼란스러운 상황을 깊이 있게 다룹니다. 저자들인 국립 양밍교통대학교 연구진은 다양한 유형의 "나쁜" 데이터가 그룹의 학습 속도와 최종 성적에 어떤 영향을 미치는지 확인하기 위해 일련의 실험을 진행했습니다. 그들은 해결책이 모든 상황에 적용되는 단 하나는 아니라는 것을 발견했습니다. 때로는 모두를 똑같이 공정하게 뽑아야 하지만, 때로는 데이터가 엉망인 학생들을 피하기 위해 엄격해져야 할 때도 있습니다. 이를 해결하기 위해 그들은 누군가의 사적인 사진을 전혀 보지 않고도 각 학생이 얼마나 도움이 되는지 평가할 수 있는 새로운 "성적표" 시스템을 발명했습니다.

위대한 스터디 그룹 실험

연구진은 100명의 클라이언트(학생)와 중앙 서버(선생님)가 있는 가상의 교실을 설정했습니다. 실험을 위해 두 가지 고전적인 데이터셋인 MNIST(손글씨 숫자)와 CIFAR-10(동물 및 사물 사진)을 사용했습니다. 시뮬레이션에서 그들은 게임의 규칙을 바꿀 때 어떤 일이 일어나는지 테스트했습니다.

"나쁜 데이터" 시나리오
그들은 학급이 어떻게 반응하는지 보기 위해 세 가지 주요 유형의 문제를 만들었습니다:

1. 수량 왜곡(Quantity Skew): 어떤 학생은 작은 공책을 가졌고, 어떤 학생은 거대한 도서관을 가졌습니다. 그들은 큰 공책이 일반적으로 더 좋은 성적을 이끌어내지만, 공책이 너무 작으면 별로 도움이 되지 않는다는 것을 발견했습니다.
2. 레이블 왜곡(Label Skew): 어떤 학생은 "3"의 사진만 가지고 있고, 다른 학생은 "7"의 사진만 가지고 있다고 상상해 보세요. 만약 학급이 이 두 사람의 말만 듣는다면, "1"이나 "2"가 어떻게 생겼는지는 배우지 못할 것입니다. 연구진은 "모두가 골고루 섞인 경우"부터 "모두가 특정 숫자 하나만 가진 경우"까지 모든 상황을 테스트했습니다. 그들은 데이터가 매우 불균형할 때(예: 한 학생이 "3"만 가진 경우), 특히 어려운 CIFAR-10 이미지의 경우 학급 학습이 어려워진다는 것을 발견했습니다.
3. 잘못된 레이블 데이터(Mislabeled Data): 이것은 진짜 골칫거리였습니다. 그들은 고양이 사진을 "개"라고 레이블링한 학생들을 시뮬레이션했습니다. 그들은 이 오류가 발생하는 세 가지 방식(무작위 실수, 순차적 실수[예: 1이 2가 되고, 2가 3이 되는 식], 순환적 실수)을 테스트했습니다. 결과는 극명했습니다: 잘못된 레이블 데이터는 불균형한 데이터보다 훨씬 더 나쁜 영향을 미쳤습니다. 실제로 높은 수준의 순차적 오류(레이블이 7칸 밀린 경우)를 시뮬레이션했을 때, 학습 과정은 완전히 실패했습니다. 학급은 확신에 차서 틀린 정보를 전달하는 학생들로부터는 아무것도 배울 수 없었습니다.

"공정성"의 딜레마
다음으로 그들은 물었습니다: "선생님이 학생들을 무작위로 뽑아야 할까요(공정)? 아니면 데이터가 엉망인 학생들을 피해야 할까요(불공정)?"

• 문제의 원인이 레이블 왜곡(불균형한 데이터)일 때: 공정함이 승자였습니다. 비록 어떤 학생이 "3"의 사진만 가지고 있더라도, 그들이 참여하게 하는 것이 학급이 그 특정 숫자를 배우는 데 도움이 되었습니다. 만약 선생님이 그들을 제외한다면, 학급은 배움의 기회를 놓치게 됩니다. 결과적으로 공정한 선택이 정확도를 높였지만, 완료하는 데 몇 번의 라운드가 더 걸리기도 했습니다.
• 문제의 원인이 잘못된 레이블 데이터일 때: 공정함은 재앙이었습니다. 잘못된 레이블을 가진 학생들을 포함하는 것은 학급 전체를 끌어내렸습니다. 이런 경우에는 "불공정"한 전략(엉망인 학생들을 제외하는 것)이 실제로 더 효과적이었습니다. 이 논문은 데이터가 오염되었을 때는 공정성보다 품질을 우선시해야 한다고 제안합니다.

새로운 "성적표" 시스템

선생님은 학생들의 사적인 공책을 훔쳐볼 수 없는데, 어떻게 누가 도움이 되고 누가 엉망인지 알 수 있을까요? 저자들은 서버 측에서 완전히 실행되는 세 단계의 점수 체계를 제안했습니다:

1. 데이터 크기 점수(Datasize Score): 이것은 간단합니다. 단순히 학생의 공책이 얼마나 큰지를 확인합니다. 큰 공책일수록 높은 점수를 받습니다(0과 1 사이로 정규화됨).
2. 품질 점수(Quality Score): 이것은 아주 영리한 부분입니다. 학생이 수업 노트를 보내온 후, 선생님은 이미 정답을 알고 있는 비밀 "연습 테스트"로 그 노트들을 테스트합니다. 만약 학생의 노트가 연습 테스트에서 높은 점수를 이끌어낸다면, 그 학생은 높은 품질 점수를 받습니다. 만약 테스트에 실패한다면 점수가 깎입니다. 이를 통해 선생님은 실제 사진을 보지 않고도 "이 학생의 데이터는 유용하다" 또는 "이 학생의 데이터는 노이즈가 많다"라는 것을 알 수 있습니다.
3. 공정성 점수(Fairness Score): 이것은 "인내 측정기"입니다. 매 라운드마다 모든 학생의 점수는 조금씩 올라갑니다. 만약 어떤 학생이 참여하도록 선택되면, 그 점수는 0으로 초기화됩니다. 이는 한동안 뽑히지 않은 학생들도 결국 기회를 얻게 하여, 선생님이 똑똑한 아이들의 말만 듣는 상황을 방지합니다.

스마트한 조절자(The Smart Balancer)
진정한 마법은 이 점수들을 결합하는 방식에 있습니다. 시스템은 품질 점수의 분산(퍼져 있는 정도)을 살핍니다.

• 만약 품질 점수들이 모두 비슷하다면(낮은 분산), 이는 데이터가 대체로 깨끗하다는 것을 의미합니다. 이때 시스템은 공정성 점수에 의존하여 모두가 차례를 가질 수 있도록 합니다.
• 만약 품질 점수들이 제각각이라면(높은 분산), 이는 일부 학생의 데이터가 매우 형편없다는 것을 의미합니다. 시스템은 즉시 태세를 전환하여 공정성 점수를 무시하고, 가장 높은 품질 점수를 가진 학생들만을 선택합니다.

발견한 것 (그리고 발견하지 못한 것)

논문은 학생을 뽑는 단 하나의 "최선"의 방법은 없다고 결론짓습니다. 그것은 전적으로 데이터가 왜 불완전한지에 달려 있습니다.

• 데이터가 단지 불균형한 경우(희귀한 레이블을 가진 학생이 있는 경우), 논문은 공정성이 매우 중요하다고 제안합니다. 이들을 제외하는 것은 모델에 해가 됩니다.
• 데이터가 오염된 경우(잘못된 레이블인 경우), 논문은 공정성을 희생해야 한다고 제안합니다. 나쁜 정보로부터 모델을 보호하기 위해서입니다.

저자들은 자신들의 "품질 점수"가 훌륭한 도구이지만, 사각지대가 있다는 점을 주의 깊게 명시했습니다. 이 점수는 데이터가 "나쁘다"는 것은 알려줄 수 있지만, 왜 나쁜지는 알려줄 수 없습니다. 데이터가 불균형해서(레이블 왜곡) 나쁜 것인지, 아니면 고양이 사진에 "개"라고 잘못 적어서(잘못된 레이블) 나쁜 것인지 알 수 없습니다. 이 때문에 시스템은 때때로 추측해야 합니다. 만약 분산이 높다면, 시스템은 최악의 상황을 가정하고 품질을 우선시하여 안전한 선택을 합니다. 그러나 만 만약 높은 분산이 실제로는 레이블 왜곡 때문이라면, 이러한 보수적인 접근 방식이 좋은 학습 기회를 놓칠 수도 있다고 저자들은 인정합니다.

요약하자면, 이 논문은 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 상황에 따라 "공정하게"와 "엄격하게" 사이를 전환할 수 있는 적응형 시스템—즉, 똑똑한 조절자가 가장 좋은 길이라는 것을 보여주는 측정된 실험적 가이드를 제공합니다. 그들은 향-후 연구가 "불균형한" 데이터와 "오염된" 데이터를 더 잘 구별할 수 있는 시스템을 구축하는 데 집중해야 한다고 제약하며, 그래야 선생님이 매번 완벽한 선택을 할 수 있을 것이라고 제안합니다.