HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

당신은 서로 다른 방에 있고, 서로 다른 교과서를 사용하며, 서로 다른 속도로 학습하는 수많은 학생들을 가르치려는 거대한 학급의 교사라고 상상해 보세요. 이것이 바로 **연합 지속 학습(Federated Continual Learning, FCL)**의 세계입니다. 목표는 이 모든 학생으로부터 배우되, 그들의 개인적인 노트를 절대 훔쳐보지 않는 하나의 똑똑한 "슈퍼 교사" 모델을 훈련하는 것입니다. 하지만 문제는 학생들이 배우는 내용이 계속 변한다는 점입니다. 어느 날은 고양이에 대해 배우고, 다음 날은 강아지에 대해 배우고, 그다음 날은 로켓에 대해 배웁니다. 교사는 로켓을 배우는 동안에도 고양이를 기억해내야 하며, 이 모든 과정은 전 세계에 흩어져 있는 학생들을 대상으로 이루어집니다.

오랫동안 이 "슈퍼 교사"를 테스트하려던 과학자들은 "사과와 오렌지를 비교하는" 게임을 하고 있었습니다. 어떤 연구자는 100장의 사진 데이터셋으로 테스트하고, 다른 연구자는 1,000장으로 테스트할 수 있습니다. 또 어떤 이는 모든 학생이 동일한 순서로 학습하게 하는 반면, 다른 이는 혼돈 속에서 학습하게 할 수도 있습니다. 어떤 방법이 실제로 똑똑한 것인지, 아니면 단지 운이 좋아서 테스트가 쉬웠던 것인지 구별하는 것이 불가능했습니다.

여기에 HERO(Federated Continual Learning을 위한 이질성 인지 벤치마크 라이브러리)가 등장합니다. HERO를 모든 슈퍼 교사가 반드시 통과해야 하는 거대하고 완벽하게 조율된 장애물 코스라고 생각하세요. 연구자들이 자신만의 엉망진창인 트랙을 만드는 대신, HERO는 모두가 정확히 같은 허들을 마주하도록 트랙을 만들어 줍니다.

세 가지 마법의 조절 노브 (The Three Magic Knobs)

이 논문의 주요 발견은 이전의 테스트들이 세 가지 다른 종류의 문제점을 하나의 큰 덩어리로 뒤섞어 놓았다는 것입니다. HERO는 이를 세 개의 별개 "노브(knoba)"로 분리하여, 무엇이 모델을 망가뜨리는지 정확히 파악할 수 있게 합니다.

1. "누가 무엇을 갖는가" 노브 (클라이언트 데이터 왜곡 - Client Data Skew): 피자 파티를 상상해 보세요. 모든 사람이 모든 토핑이 골고루 들어간 피자 조각을 받는다면 쉽습니다. 하지만 한 학생은 페퍼로니만 받고, 다른 학생은 버섯만 받고, 세 번째 학생은 이상한 조합을 갖게 된다면 어떨까요? 이것이 클라이언트 데이터 왜곡입니다. 논문은 이를 제어하기 위해 $\alpha$라는 숫자를 사용합니다. 높은 $\alpha$ (예: 100.00)는 모두가 공평한 몫을 갖는 것을 의미합니다. 낮은 $\alpha$ (예: 0.10)는 조각들이 매우 불균형함을 의미합니다.
2. "누가 언제 가는가" 노브 (태스크 순서 불일치 - Task-Order Mismatch): 릴레이 경주를 상상해 보세요. 동기화된 경주에서는 모두가 함께 1구간, 2구간, 3구간을 달립니다. 하지만 혼란스러운 경주에서는 학생 A는 1구간, 3구간, 2구간 순으로 달리고, 학생 B는 2구간, 1구간, 3구간 순으로 달립니다. 이것이 태스크 순서 불일치입니다. 논문은 이를 제어하기 위해 $\rho$라는 숫자를 사용합니다. $\rho$가 0.00이면 모두가 완벽하게 발을 맞춰 달립니다. $\rho$가 1.00이면 모두가 각자의 혼란스러운 리듬으로 달립니다.
3. "메뉴에 무엇이 있는가" 노브 (태스크 분할 - Task Split): 이것은 어떤 주제(예: "고양이" 또는 "강아지")가 각 수업을 구성할지를 결정합니다.

이들을 분리함으로써, HERO는 연구자들이 "모델이 실패한 이유가 데이터가 불균형해서인가, 아니면 학생들이 수업 순서 때문에 혼란스러워해서인가?"라고 물을 수 있게 해줍니다.

큰 놀라움: 평균 점수는 거짓말을 한다

논문은 CIFAR-100(100개의 이미지 카테고리 데이터셋)과 TinyImageNet(더 작은 규모의 100개 이미지 카테고리 데이터셋)을 사용하여 대규모 실험을 진행했습니다. 그들은 다양한 "슈퍼 교사" 방법들을 테스트했습니다.

여기서 큰 폭로가 있습니다: 평균 점수는 재앙을 숨길 수 있습니다.

"쉬운(Easy)" 설정(데이터가 공평하고 모두가 순서대로 학습하는 환경)에서는 FedCBDR이라는 방법이 스타였습니다. 이 방법은 가장 높은 평균 정확도를 기록했습니다. 하지만 연구자들이 혼돈을 높임에 따라(데이터를 불균형하게 만들고 순서를 섞음), FedCBDR은 무너지기 시작했습니다.

반면, TagFed나 LGA와 같은 다른 방법들은 쉬운 설정에서는 최고가 아니었지만, 어려운 설정에서는 가장 끈질긴 생존자였습니다. 이들은 (가장 힘든 데이터와 이상한 일정을 가진) 하위 10%의 학생들을 완전히 실패하지 않도록 지켜냈습니다.

논문은 세 가지 특정 점수를 사용하여 이를 측정했습니다:

• 최종 평균 정확도 (AFA): 학급 평균.
• 평균 망각 (AF): 교사가 이전 수업을 얼마나 잊어버렸는지.
• 하위 10% 클라이언트 정확도 (B10): 가장 불리한 조건에 처한 학생들의 성적.

결과는 특정 방법이 높은 AFA를 가질 수 있지만 끔찍한 B10을 가질 수 있음을 보여주었습니다. 이는 상위권 학생들은 A+를 받지만, 하위 10%는 낙제하는 학교와 같습니다. 평균만 본다면 그 학교는 아주 훌륭하다고 생각할 것입니다. HERO는 진실을 보기 위해 하위 10%를 반드시 확인하도록 강요합니다.

그래프 실험: 단순한 그림이 아니다

HERO가 단순히 사진만을 위한 것이 아님을 증명하기 위해, 저자들은 분자(화학 구조)에 관한 데이터셋인 OGB-MolPCBA에 이를 적용했습니다. 모델은 새로운 종류의 분자를 배우는 대신, 서로 다르게 보이는(예: 서로 다른 스캐폴드) 서로 다른 그룹의 분자들로부터 배워야 했습니다.

저자들은 분자들을 5, 15, 25개의 서로 다른 도메인으로 그룹화하여 테스트했습니다. 그룹이 더 작고 구체적으로 변함에 따라(도메인 수 증가), 모델의 성능은 저하되었습니다. "평균 정밀도(AP)"는 떨어졌고, "망각"은 증가했습니다. 이는 HERO의 인터페이스가 이미지가 아닌 그래프와 화학 물질에도 작동함을 입증했습니다.

이 논문이 부정하는 것

이 논문은 이러한 모델들을 단 하나의 "리더보드" 점수로 판단할 수 있다는 생각에 명시적으로 반대합니다. 저자들은 단순하고 동기화된 테스트에서 승리한 방법이 실제 세상이 혼란스러워질 때 처참하게 패배할 수 있음을 보여줍니다. 또한 "평균 성능"만으로는 충분하다는 생각도 부정합니다. 방법이 진정으로 견고한지 알기 위해서는 가장 취약한 클라이언트의 성능을 반드시 확인해야 합니다.

얼마나 확실한가?

저자들은 단순히 추측한 것이 아니라 측정했기 때문에 자신들의 결과에 매우 확신하고 있습니다. 그들은 결과가 단지 운이 아니라는 것을 증명하기 위해 서로 다른 랜덤 시드를 사용하여 실험을 5번 반복했습니다. 그들은 CIFAR-100의 쉬운 설정에서의 정확도로 53.91 ± 1.53과 같은 수치를 보고함으로써, 결과가 얼마나 변동하는지를 정확히 보여주었습니다.

그들은 "Joint-Hard" 설정($\alpha = 0.10$ 및 $\rho = 1.00$)에서 가장 좋은 방법인 TagFed가 CIFAR-100에서 42.83의 AFA를 달성한 반면, 쉬운 설정의 승자인 FedCBDR은 39.74로 떨어졌음을 발견했습니다. 이것은 단순한 제안이 아니라 측정된 사실입니다.

핵심 요약

HERO는 AI 모델을 위한 새로운 종류의 체육관과 같습니다. 모든 모델이 빠르게 달려 보이는 평평하고 빈 트랙에서 달리게 하는 대신, HERO는 언덕과 바람, 그리고 불균형한 지면이 있는 트랙에 그들을 세웁니다. HERO는 "누가 무엇을 갖는가"와 "누가 언제 가는가"를 분리함으로써, 평평한 트랙에서 가장 빨라 보였던 모델이 진흙탕 속에서 넘어질 수 있음을 보여줍니다. 이를 통해 HERO는 우리가 예측 불가능하고 혼란스러운 실제 세상을 위해 진정으로 준비된 AI를 구축하도록 돕습니다.