Hierarchical Multi-Task Federated Learning in VANETs

당신의 자동차가 단순히 A 지점에서 B 지점으로 당신을 데려다주는 기계가 아니라, 도로를 보고 교통 체증을 예측하며 사고를 피하도록 돕는 스마트한 파트너가 되는 세상을 상상해 보십시오. 이를 위해 자동차에는 엄청난 양의 데이터를 생성하는 카메라와 센서들이 가득 차 있습니다. 수년 동안 이러한 자동차를 더 똑똑하게 만드는 표준적인 방법은 그 모든 로우 데이터(raw data)를 거대한 중앙 컴퓨터(마치 슈퍼 선생님처럼)로 보내 학습시키는 것이었습니다. 하지만 이는 마치 학교의 모든 학생에게 자신의 일기 전체를 선생님이 읽도록 제출하라고 요구하는 것과 같습니다. 이는 느리고, 인터넷 대역폭을 막히게 하며, 당신의 사적인 운전 습관이 노출되는 것을 원치 않는다는 점에서 큰 개인정보 보호 문제를 일으킵니다.

여기에 **연합 학습(Federated Learning)**이라는 영리한 해결책이 등장합니다. 여기서 '학습'은 자동차 내부에서 직접 이루어집니다. 일기장 페이지(로우 데이터)를 보내는 대신, 자동차는 오직 '학습된 교훈'(모델 업데이트)만을 보냅니다. 이는 당신의 데이터를 비공개로 유지하고 대역폭을 절약해 줍니다. 하지만 여기에는 함정이 있습니다. 현재 대부분의 시스템은 모든 자동차가 정지 표지판을 인식하는 법처럼 정확히 똑같은 것을 배우려고 한다고 가정합니다. 하지만 현실에서는 어떤 차는 신호등을 배워야 하고, 다른 차는 보행자를, 또 다른 차는 도로 공사 상황을 배워야 할 수도 있습니다. 이 서로 다른 작업들을 하나의 단일한 '슈퍼 모델' 안에 억지로 밀어 넣으려는 시도는, 마치 요리사, 정비사, 화가에게 모든 작업에 대해 똑같은 도구를 사용하라고 가르치려는 것과 같습니다. 그것은 제대로 작동하지 않습니다. 이 논문은 자동차들이 각자의 개성을 잃지 않으면서도 함께 학습할 수 있는 새로운 방법을 제안함으로써 이 복잡한 현실 문제를 다룹니다.

문제점: 서로 다른 과목을 공부하는 교실

복잡한 고속도로를 거대하고 움직이는 교실이라고 생각해 보십시오. 기존의 연합 학습 설정에서는 선생님(중앙 서버)이 모든 학생(자동차)에게 똑같은 교과서를 공부하라고 지시했습니다. 만약 한 학생은 빨간색 신호등을 식별하는 법을 배우려 하고, 다른 학생은 무단 횡단하는 보행자를 포착하는 법을 배우려 한다면, 그들은 자신들의 노트를 하나의 거대하고 혼란스러운 더미로 섞어야만 했습니다. 그 결과는 어땠을까요? 선생님은 두 가지 작업 모두에서 별로 좋지 않은, 모호하고 평균적인 수업을 받게 되었습니다. 게za 더, 자동차는 빠릅니다! 자동차들은 도로를 너무 멀리 달리거나 연결이 끊기면 '수업'에서 빠져나가며 빠르게 이동합니다. 이로 인해 학습 과정은 혼란스럽고 불안정해집니다.

해결책: 스마트하고 유연한 스터디 그룹

이 논문의 저자인 HaghighiFard와 Coleri는 AERO-HMTFL이라는 새로운 프레임워크를 제an합니다. 이것을 도로의 혼란에 적응하는 매우 조직적이고 역동적인 스터디 그룹이라고 생각하면 됩니다.

작동 방식은 세 가지 멋진 기술으로 나누어 볼 수 있습니다.

1. "공유된 뇌"와 "특화된 손"
모든 자동차가 하나의 거대한 모델을 배우도록 강요하는 대신, 이 논문은 "분할 모델(split-model)" 구조를 제안합니다. 모든 자동차가 공유된 뇌(AutoEncoder)와 여러 개의 특화된 손(Task Heads)을 가지고 있다고 상상해 보십시오.

• 공유된 뇌는 "도로는 어떻게 생겼는가?" 또는 "그림자는 어떻게 드리워지는가?"와 같은 일반적인 특징을 학습합니다. 이는 모두에게 유용합니다.
• 특화된 손은 각 자동차의 특정 작업에 고유합니다. 한 자동차의 손은 정지 표지판을 인식하기 위한 것이고, 다른 자동차의 손은 보행자의 경로를 예측하기 위한 것입니다.
  이 새로운 시스템에서 자동차들은 오직 자신들의 공유된 뇌만을 그룹과 공유합니다. 그들은 자신들의 특화된 손은 각자의 글로브 박스 안에 잠가 둡니다. 이는 자동차들이 자신의 구체적인 작업을 섞지 않고도 일반적인 지식에 대해 협력할 수 있음을 의미합니다.

2. "스마트 클러스터링" (자신의 부족 찾기)
자동차들은 무작정 그룹을 맺는 것이 아니라, "삼중 가중치(tri-weighted)" 우정 지표를 바탕으로 클러스터를 형성합니다. 시스템은 자동차가 그룹에 참여하기 전에 세 가지 사항을 검토합니다.

• 이동성(Mobility): 우리가 비슷한 속도로 달리고 있는가? (2초 만에 쌩 하고 달려 나가는 차와 함께 공부하고 싶지는 않을 것입니다).
• 공유된 뇌 유사성(Shared Brain Similarity): 우리의 "공유된 뇌"가 이미 세상을 비슷한 방식으로 이해하고 있는가?
• 과제 친밀도(Task Affinity): 우리는 비슷한 숙제를 가지고 있는가? (한 차는 신호등을 공부하고 다른 차는 도로 파손(pothole)을 공부한다면, 최고의 스터디 파트너가 아닐 수도 있습니다).
  이를 통해 자동차들은 실제로 서로의 학습을 도울 수 있는 안정적이고 친밀한 그룹을 형성하게 됩니다.

3. "신뢰성 필터" (소음이 심한 학생 무시하기)
움직이는 교실에서는 어떤 학생들은 주의가 산만하거나, 연결 상태가 나쁘거나, 혹은 단순히 해당 과목에 서툴 수도 있습니다. 이 새로운 시스템은 **신뢰도 점수(Reliability Score)**를 사용합니다. 시스템은 과거에 어떤 자동차들이 일관되고 정확했는지에 대한 기록을 유지합니다. 그룹 리더(클러스터 헤드)가 모든 이의 "공유된 뇌" 업데이트를 결합할 때, 신뢰할 수 있는 학생들에게는 더 많은 가중치를 주고 신뢰할 수 없는 학생들에게는 적은 가중치를 줍니다. 이는 몇몇 잘못된 업데이트가 그룹 전체의 진전을 망치는 것을 방지합니다.

연구 결과 (결과)

연구진은 최대 50대의 자동차가 움직이는 실제 교통 상황을 모방한 컴퓨터 시뮬레이션을 사용하여 이 아이디어를 테스트했습니다. 그들은 이 새로운 방법을 세 가지의 다른 인기 있는 방식들과 비교했습니다. 시뮬레이션 결과는 다음과 같습니다.

• 더 똑똑한 학습: 새로운 방법은 훨씬 더 정확했습니다. 가장 까다로운 테스트(교통 표지판과 같은 복잡한 이미지 인식)에서, 기존의 가장 우수한 경쟁 방법보다 최대 13% 더 높은 정확도를 달ol했습니다.
• 빠른 수렴: 단순히 더 잘 배우는 것뿐만 아니라, 더 빨리 배웠습니다. 짧은 거리의 연결에서, 안정적이고 스마트한 상태에 도달하기 위해 약 13%에서 29% 더 적은 통신 라운드가 필요했습니다.
• 엄청난 데이터 절약: 자동차들이 전체 모델이 아닌 "공유된 뇌"만을 공유하고 효율적으로 그룹을 맺었기 때문에, 셀룰러 네트워크를 통해 전송되는 데이터 양이 극적으로 줄어들었습니다. 이 시스템은 다른 방법들과 비교했을 때 패킷 전송량을 **87%에서 97%**까지 줄였습니다. 이는 트럭 한 대 분량의 우편물 대신 엽서 한 장을 보내는 것과 같습니다.
• 최적의 지점: 시뮬레이션은 메시지가 몇 번의 "홉(hop, 건너뛰기)"(메시지가 전달되는 자동차의 단계)을 거쳐야 하는지도 테스트했습니다. 연구진은 메시지가 이웃을 거쳐 그룹 리더에게 전달되는 2-홉(2-hop) 연결이 완벽한 균형임을 발견했습니다. 더 멀리 가면(3-hop) 노이즈가 너무 많이 발생했고, 너무 가까우면(1-hop) 정보 공유가 충분하지 않았습니다.

결론

이 논문은 자동차가 혼란스럽고 빠른 세상에서 진정으로 함께 학습하기 위해서는, 그들의 서로 다른 직무를 존중하고, 그들의 정체성과 목적지에 따라 그룹을 묶으며, 신뢰할 수 없는 노이즈를 걸러내는 시스템이 필요하다는 것을 시사합니다. "공유된 뇌" 접근 방식과 스마트 클러스터링을 사용함으로써, 저자들은 우리가 현재의 방법들보다 훨씬 더 똑똑하고 효율적이며 개인정보를 보호할 수 있는 차량 군단을 구축할 수 있음을 보여주었습니다. 비록 이 결과는 시뮬레이션으로부터 나온 것이지만, 이는 미래의 지능형 교통 체계를 위한 유망한 청사진을 제공합니다.