수천 명의 사람들이 로봇에게 말하기, 글쓰기, 문제 해결 능력을 가르치고 싶어 하지만, 서로의 개인적인 노트를 공유할 수는 없는 세상을 상상해 보세요. 이것이 바로 **연합 학습(Federated Learning)**의 핵심입니다. 이는 컴퓨터가 중앙의 '보스'에게 개인 데이터를 절대 보내지 않고도 함께 학습할 수 있는 방법입니다. 보통 이 방식은 모두가 고양이를 인식하는 법처럼 똑같은 것을 배울 때 아주 잘 작동합니다. 하지만 만약 어떤 사람은 로봇에게 수학을 가르치고, 다른 사람은 시 쓰기를 가르치며, 또 다른 사람은 엔진 수리법을 가르치고 있다면 어떨까요? 이를 **태스크 이질성(task heterogeneity)**이라고 부릅니다. 이 모든 서로 다른 수업들을 하나의 큰 솥에 한꺼번에 섞어버리면, 로봇은 수학 공식과 소네트를 뒤섞어 버리며 혼란에 빠지게 됩니다.

이를 해결하기 위해 과학자들은 LoRA(Low-Rank Adaptation)라는 기술을 사용합니다. 이는 로봇의 전체 뇌를 다시 쓰는 대신, 새로운 기술을 배울 수 있도록 작고 탈착 가능한 '노트' 세트를 주는 것과 같습니다. 또한 그들은 전문가 혼합(Mixture of Experts, MoE) 기술도 사용하는데, 이는 '라우터(router)'가 각 질문에 대해 어떤 전문가를 호출할지 결정하는 팀을 구성하는 것과 같습니다. 하지만 기존의 방식은 그룹 환경에서 이 작업을 수행할 때, 방 안의 각 사람에게 한 명의 전문가를 배정하는 것과 같았습니다. 만약 한 사람이 수학과 시 쓰기를 동시에 배우고 있다면, 그 사람의 단일 전문가는 엉망으로 뒤섞인 업데이트를 받게 될 것이고, 라우터는 누구를 믿어야 할지 알 수 없게 됩니다.

여기서 FedWeave라는 새로운 방법이 등장하여 우리가 학습 팀을 조직하는 방식을 재고합니다. FedWeave는 전문가를 사람 단위로 배정하는 대신, 각 사람의 노트 내부를 들여다보고 유사한 질문들을 모아 더 작고 순수한 그룹을 찾아냅니다. 그런 다음 특정 그룹에 전문가를 배정하며, 모든 것을 경험해 본 하나의 똑똑한 '라우터'는 유지합니다. 그 결과, 로봇은 더 빠르게 학습하고, 실수를 줄이며, 학생들이 서로 매우 다른 것들을 동시에 배우고 있더라도 정확히 어떤 전문가를 불러야 할지 알게 됩니다.

문제점: 혼란스러운 교실

모든 학생이 서로 다른 과목을 공부하고 있는 교실을 상상해 보세요. 어떤 학생은 역사를 공부하고, 어떤 학생은 미적분을 하고, 어떤 학생은 베이킹을 배우고 있습니다. 기존의 연합 학습 설정에서는 선생님이 각 학생에게 한 명의 '튜터(tutor)'를 배정합니다. 하지만 여기에는 함정이 있습니다. 학생 A는 미적분과 베이킹을 둘 다 배우고 있습니다. 학생 A가 숙제를 튜터에게 보낼 때, 튜터는 수학 방정식과 쿠키 레시피가 뒤섞인 혼란스러운 결과물을 받게 됩니다. 튜터는 베이킹 규칙을 수학 문제에 적용하려 하며 혼란에 빠집니다. 한편, 학생 B 역시 미적분을 배우고 있지만, 이들은 서로 다른 사람이기 때문에 학생 A의 튜터는 학생 A의 수학 문제를 보고 비교할 기회가 전혀 없습니다. 결국 튜터들은 고립된 채로 일하게 되며, "라우터"(어떤 튜터를 사용할지 결정하는 사람)는 학생을 개별 작업 단위가 아닌 전체로서만 보기 때문에 혼란스러운 신호를 받게 됩니다.

연구자들은 문제가 단순히 학생이 너무 많은 것이 아니라, 수업을 어떻게 그룹화하느냐에 있다는 것을 깨달았습니다. 그들은 **전문가(experts)**들에게는 **순수성(purity)**이 필요하다는 것을 발견했습니다. 전문가는 수학 문제를 제대로 배우려면 수학 문제만 봐야 하고, 베이킹을 마스터하려면 베이킹 레시피만 봐야 합니다. 만약 섞인 내용을 보게 되면, 그들은 특화된 기술을 잃게 됩니다. 하지만 **라우터(router)**에게는 **대조(contrast)**가 필요합니다. 수학 튜터를 부를지 베이커를 부를지 결정하려면, 라우터는 모든 것을 보아야 합니다. 수학 문제와 베이킹 문제를 비교해 봄으로써 차이점을 배워야 하기 때문입니다.

기존의 방법들은 동일한 그룹화를 통해 이 두 가지를 동시에 수행하려고 했습니다. 이는 마치 고양이와 강아지에게 똑같은 그릇의 음식을 먹이고 둘 다 행복해지기를 기대하는 것과 같습니다. 그것은 제대로 작동하지 않습니다.

해결책: FedWeave의 비대칭적 댄스

FedWeave는 이 작업을 두 개의 서로 다른 트랙으로 나누는 개념인 **비대칭적 집계(asymmetric aggregation)**를 통해 이 문제를 해결합니다. 이는 마치 고도의 기술이 적용된 도서관 시스템과 같습니다.

1. "버킷" 발견 (순수한 그룹 찾기)
먼저, 모든 학생(클라이언트)은 자신의 엉망진창인 숙제 더미를 살펴봅니다. 선생님에게 과목이 무엇인지 묻지 않고도, 학생들은 스마트한 분류 도구를 사용하여 내용이 얼마나 유사한지에 따라 종이들을 "버킷(bucket)"으로 그룹화합니다. 한 버킷은 수학 문제로 가득 차 있을 수 있고, 다른 하나는 시 쓰기로, 또 다른 하나는 베이킹 지침으로 채워질 수 있습니다. 이 과정은 로컬에서 일어나므로 학생의 책상을 떠나 개인 데이터가 외부로 유출되지 않습니다.

2. 전문가 배정 (전문가를 위한 순수성)
버킷이 형성되면, 학생들은 각 버킷의 아주 작은 "시그니처(signature)"를 중앙 서버로 보냅니다. 서버는 이 시그니처들을 살펴보고 서로 유사한 버킷들을 매칭합니다. 학생 A, B, C로부터 온 모든 "수학 버킷"은 하나로 묶입니다. 그런 다음 단일 **전문가(Expert)**가 이 글로벌 수학 그룹에 배정됩니다. 이 전문가는 오직 모든 사람으로부터 오는 수학 문제만을 보게 되어, 훈련의 순수성과 집중도를 유지합니다. 이 전문가는 수학 수업 중에 쿠키 레시피를 접하는 일이 결코 없습니다.

3. 글로벌 라우터 (의사결정을 위한 대조)
이것이 영리한 부분입니다. 전문가들이 순수한 수학이나 순수한 시 쓰기에 대해 훈련받는 동안, **라우터(Router)**는 다르게 훈련됩니다. 라우터는 버킷을 개별적으로 보지 않습니다. 대신, 학생의 전체적인 여정을 관찰합니다. 라우터는 학생 A가 수학을 하다가 시 쓰기로 전환하고, 다시 수학으로 돌아오는 과정을 지켜봅니다. 전체적인 혼합 과정을 봄으로써, 라우터는 대조를 배웁니다. 라우터는 "아, 숙제가 이렇게 생겼을 때는 수학 전문가를 불러야겠구나. 저렇게 생겼을 때는 시인을 불러야겠구나"라고 학습합니다. 라우터는 글로벌 상태를 유지하며 모든 것을 보기 때문에, 올바른 선택을 내리는 데 달인이 됩니다.

4. 추론 (최종 시험)
로봇이 실제로 질문에 답해야 할 때, FedWeave는 "희소 추론(sparse inference)" 모드를 사용합니다. 모든 전문가를 호출하여 답변을 섞는 대신(이는 느리고 무겁습니다), 라우터는 해당 질문에 가장 적합한 단 하나의 전문가만을 골라 활성화합니다. 이는 수학 문제에 대해 수학 튜터만 부르고 베이커는 완전히 무시하는 것과 같습니다. 이 방식은 시스템을 믿을 수 없을 정도로 빠르고 효율적으로 만듭니다.

연구 결과

연구진은 네 가지 매우 다른 태스크(텍cript 편집, 수학 문장 문제 풀이, 트윗 감성 분석, 추론 챌린지 답변)가 포함된 벤치마크에서 이 아이디어를 테스트했습니다. 그들은 두 가지 인기 있는 대규모 언어 모델(Llama3.2-3B 및 Gemma-2-2B)을 사용했고, 서로 다른 학습 스타일을 가진 20명의 학생 네트워크를 시뮬레이션했습니다.

결과는 명확했습니다. FedWeave는 기존의 최고 방법들을 능가했습니다.

• Llama 모델의 경우, 전체 점수가 0.5673에서 0.5872로 향상되었습니다.
• Gemma 모델의 경우, 0.4839에서 0.5163으로 뛰어올랐습니다.
• 또한 오차율(loss)을 크게 줄여, Llama 모델에서 0.7496에서 0.7264로 떨어뜨렸습니다.

결정적으로, 이 연구는 이러한 개선이 단순히 더 많은 전문가를 가졌기 때문이 아님을 보여주었습니다. 기존의 "클라이언트 레벨" 그룹화(한 명의 전문가가 한 학생의 혼합된 숙제를 모두 처리하는 방식)를 강제했을 때 성능은 하락했습니다. 또한 라우터를 모든 버킷마다 아주 작게 쪼개려고 했을 때, 라우터는 혼란에 빠져 좋은 선택을 내리지 못했습니다. 오직 비대칭적 접근 방식, 즉 전문가를 위한 순수한 버킷과 라우터를 위한 혼합된 버킷을 사용하는 방식만이 효과적이었습니다.

또한 연구진은 "희소 추론" 모드(단 하나의 전문가만 활성화)가 모든 전문가를 섞는 복잡한 "소프트 라우팅(soft routing)" 모드와 거의 대등한 성능을 보이면서도 훨씬 빠르다는 것을 발견했습니다. 테스트 결과, 단 하나의 전문가만 사용하는 것은 품질 저하 없이 답변 생성 시간을 3177 밀리초에서 2147 밀리초로, 약 32.4% 단축시켰습니다.

요약

FedWeave는 뒤섞인 데이터가 가득한 세상에서, 하나의 크기가 모든 것에 적합할 수는 없다는 교훈을 줍니다. 학생이 여러 가지를 배우고 있다면, 그들을 하나의 단위로 취급해서는 안 됩니다. 순수성(전문가를 위한 것)과 대조(라우터를 위한 것)의 필요성을 분리하고, 이를 다르게 다룸으로써 우리는 더 똑똑하고, 빠르며, 협력적인 AI 시스템을 구축할 수 있습니다. 이는 때때로 복잡한 문제를 해결하는 가장 좋은 방법은 모든 것을 같은 방식으로 하려고 노력하는 것이 아니라, 서로 다른 실들을 더 스마트한 패턴으로 엮어내는 것임을 상기시켜 줍니다.