Transmit Coefficients and Receive Combining Vector Design for OTA-FL with Imperfect CSI

당신의 스마트폰, 스마트워치, 그리고 이웃의 태블릿이 서로의 개인적인 사진이나 메시지는 공유하지 않으면서도 함께 똑똑해지기 위해 학습하고 싶어 하는 세상을 상상해 보세요. 이것이 바로 **연합 학습(Federated Learning, FL)**의 핵심입니다. 이는 많은 기기가 개인 데이터를 중앙 서버로 전혀 보내지 않고도 하나의 공유된 "두뇌"를 훈련시키는 영리한 방법입니다. 숙제를 우편으로 보내는 대신, 그들은 자신들의 "아이디어"(수학적 업데이트)만을 주고받습니다.

이제, 이 아이디어들을 북적거리고 시끄러운 라디오 파동 위로 외친다고 상상해 보세요. 만약 모두가 동시에 소리를 지른다면, 그 목소리들은 서로 뒤섞여 버릴 것입니다. 이것이 **무선 통신 연산(Over-the-Air computation, OTA)**입니다. 이 기술은 라디오 파동이 섞이는 현상을 결함이 아닌 하나의 특징으로 취급합니다. 동시에 소리를 지름으로써, 기기들은 즉각적으로 아이디어를 병합하여 시간과 배터리를 절약할 수 있습니다. 하지만 여기에는 함정이 있습니다. 라디오 파동은 변덕스럽습니다. 건물에 부딪히고, 사라지기도 하며, 환경에 의해 왜곡되기도 합니다. 만약 기기들이 라디오 파동이 어떻게 움직이는지(이를 채널 상태 정보 또는 CSI라고 합니다) 정확히 알지 못한다면, 이 섞인 목소리들은 엉망이 되어 학습 과정을 망쳐버릴 수 있습니다. 이 논문은 이러한 불완전한 라디오 파동의 복잡한 현실을 다루어 집단 학습이 궤도를 벗어나지 않도록 보장하는 방법을 다룹니다.

거대한 라디오 합창단: 소음을 해결하다

이 연구에서 저자인 샤오얀 마(Xiaoyan Ma)와 그녀의 팀은 특정한 문제, 즉 학습을 시도하는 기기들이 라디오 파동에 대한 완벽한 지도를 가지고 있지 않을 때 어떤 일이 발생하는지를 조사했습니다. 현실 세계에서 채널의 정확한 상태를 아는 것은 마라톤을 하는 동안 바람의 방향을 예측하는 것과 같습니다. 바람은 항상 변하며, 결코 100% 확신할 수 없습니다. 대부분의 기존 연구는 기기들이 바람에 대한 완벽하고 투명한 지도를 가지고 있다고 가정했는데, 이는 이론적으로는 훌륭하지만 실제로는 거의 일어나지 않는 일입니다.

연구진은 큰 질문을 던졌습니다. 만약 기기들이 안개 낀 라디오 채널을 향해 소리를 지르고 있다면, 어떻게 해야 그들의 결합된 목소리가 여전히 전역 모델을 가르칠 수 있을 만큼 명확하게 유지될 수 있을까요? 그들은 **평균 제곱 오차(Mean Squared Error, MSE)**를 최소화하는 데 집중했습니다. 이는 쉽게 말해 "메시지가 얼마나 엉망이 되었는가?"를 측정하는 세련된 방식입니다. 목표는 단 한 번의 외침뿐만 아니라, 여러 차례의 학습 과정 동안 이 엉망이 되는 정도를 최대한 낮게 유지하는 것이었습니다.

2단계 댄스: 볼륨과 귀 조절하기

이를 해결하기 위해, 팀은 기기들(외치는 자들)과 중앙 서버(듣는 자)를 포함하는 두 부분으로 구성된 전략을 설계했습니다.

1. 외치는 자들 (송신 계수): 각 기기는 얼마나 크게 소리를 지를지 결정해야 합니다. 너무 크게 지르면 배터리를 낭비하게 되고, 너무 작게 지르면 서버가 들을 수 없습니다. 저자들은 각 기기가 가진 불완전한 라디오 파동 지도를 바탕으로 완벽한 볼륨을 계산하는 방법을 개발했습니다. 그들은 만약 지도가 흐릿하다면(불완식한 CSI), 기기가 더 주의를 기울여야 하며, 아마도 소음이 악화되는 것을 방지하기 위해 조금 더 작게 소리를 질러야 한다는 점을 깨달았습니다.
2. 듣는 자 (수신 결합 벡터): 서버는 여러 개의 안테나(마치 여러 개의 귀를 가진 것과 같음)를 가지고 있습니다. 서버는 모든 기기로부터 온 섞인 신호들을 어떻게 조합하여 원래의 메시지를 재구성할지 결정해야 합니다. 연구팀은 흐릿한 지도 때문에 발생하는 정전기(static)를 걸러낼 줄 아는 특별한 수학적 "귀"를 설계했습니다.

타임 트래블 문제와 "가상 큐"

여기서 이야기는 까다로워집니다. 연구팀이 처음 내놓은 솔루션은 매우 영리했지만 **타임 트래블(시간 여행)**을 요구했습니다. 오늘을 위한 완벽한 볼륨을 계산하기 위해, 기기들은 미래의 모든 학습 단계에 대한 라디오 상태를 미리 알고 있어야 했습니다. 우리는 미래를 볼 수 없으므로, 이 "비인과적(non-causal)" 접근 방식은 이론적으로는 훌륭했지만 실생활에서는 쓸모가 없었습니다.

이를 해결하기 위해, 저자들은 **리야푸노프 최적화(Lyapunov optimization)**를 사용하여 이를 해결했으며, 이를 **가상 큐(virtual queue)**라는 개념으로 설명했습니다. 각 기기에 배터리 사용량에 대한 "부채 미터기"가 있다고 상상해 보세요. 만약 어떤 기기가 오늘 너무 크게 소리를 지르면, 미터기가 올라갑니다. 시스템의 임무는 장기적으로 이 미터기가 넘치지 않도록 관리하는 것입니다. 이 미터기를 관찰함으로써, 기기들은 현재 시점에서 가진 정보(인과적 CSI)만을 사용하여 지금 당장 얼마나 크게 소리를 지를지에 대한 스마트한 결정을 내릴 수 있습니다. 이를 통해 미래를 볼 필요 없이 장기적인 계획을 세울 수 있습니다.

연구 결과

연구팀은 Fashion-MNIST(의류 인식), CIFAR-10(단순한 사물 인식), CIFAR-100(더 복잡한 사물 인식)과 같은 유명한 이미지 데이터셋을 사용하여 아이디어를 테스트했습니다. 그들은 20개의 기기와 다양한 수준의 라디오 노이즈가 있는 환경을 시뮬레이션했습니다.

시뮬레이션 결과, 그들의 새로운 방식은 놀라운 효과를 보였습니다. 라디오 지도가 매우 흐릿할 때(높은 채널 추정 오류)조차도, 그들의 접근 방식은 높은 학습 정확도를 유지했습니다.

• "완벽함"과 "현실" 사이의 간극: 그들은 불완전한 지도를 사용하더라도 그들의 방식이 완벽한 지도를 가졌을 때와 거의 비슷하게 성능을 낸다는 것을 발견했습니다. 정확도의 하락은 아주 미미했습니다.
• 기본 방식 압도: 그들의 방식을 기존의 더 단순한 전략들(예: 단순히 고정된 평균 볼륨으로 소리를 지르거나, 노이즈를 상쇄하기 위해 더 크게 소리를 지르려고 시도하는 방식)과 비교했을 때, 그들의 방식이 일관되게 승리했습니다. 기존 방식들은 종로종으로 노이즈에 혼란을 겪어 학습이 제대로 되지 않는 "엉망이 된" 전역 모델을 만들어냈습니다.
• 규모 확장: 그들은 또한 더 많은 기기(최대 40개)를 추가했을 때 어떤 일이 일어나는지 확인했습니다. 더 다양한 데이터를 확보하게 됨에 따라 시스템은 더 좋아졌으며, 그들의 방식은 늘어난 노이즈를 유연하게 처리했습니다.

결론

이 논문은 모든 무선 학습 문제를 해결했다고 주장하는 것이 아니라, 불완전한 라디오 신호라는 복잡한 현실을 다루는 견고하고 실용적인 방법을 제시합니다. 배터리 사용량을 부채 미터기처럼 취급하고, 기기들이 현재 알고 있는 정보를 바탕으로 지능적으로 소리 지르고 듣도록 설계함으로써, 저자들은 빠르고 회복 탄력성이 있는 연합 학습 시스템을 구축할 수 있음을 보여주었습니다. 설령 강한 바람이 불고 지도가 흐릿할지라도, 합창단은 여전히 음을 맞춰 노래할 수 있습니다.