🤖 machine learning

Federated Client Selection under Partial Visibility: A POMDP Approach with Spatio-Temporal Attention

본 논문은 부분 가시성 하의 연방 학습에서 클라이언트 선택 문제를 부분 관측 마르코프 결정 과정 (POMDP) 으로 공식화하고, 이질적 환경에서 우수한 성능을 달성하기 위해 과거 글로벌 모델과 클라이언트 임베딩을 활용하는 새로운 시공간 주의 기반 강화 학습 프레임워크를 제안함으로써 해당 과제를 다룬다.

원저자: Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 오케스트라의 지휘자가 되어 있다고 상상해 보세요. 하지만 한 가지 반전이 있습니다: 한 번에 모든 음악가를 볼 수 없다는 점입니다. 때로는 앞줄의 바이올린 연주자들만 보이고, 다른 때는 뒷줄의 드럼 연주자들만 보입니다. 당신의 임무는 지금 이 순간 노래의 특정 부분을 연주할 최고의 음악가 그룹을 선정하여, 시간이 지남에 따라 전체 오케스트라의 사운드를 더 좋게 만드는 것입니다.

이 논문이 다루는 문제는 정확히 이와 같습니다. 다만 오케스트라 대신 연방 학습(개인 데이터를 공유하지 않고 컴퓨터들이 함께 학습하는 방식) 이 등장하고, 음악가 대신 클라이언트(당신의 스마트폰이나 센서와 같은 것) 가 등장합니다.

다음은 그들의 해결책을 간단히 분해한 이야기입니다:

문제: "눈가리개"를 한 지휘자

완벽한 세상에서는 중앙 컴퓨터 (서버) 가 결정을 내려야 할 때마다 모든 클라이언트를 한 번에 볼 수 있을 것입니다. 그렇게 되면 모델 훈련을 돕기 위해 절대적으로 최고의 클라이언트들을 선택할 수 있겠죠.

하지만 현실 세계는 엉망입니다:

이동형 서버: 서버가 도시 위를 비행하는 드론이라고 상상해 보세요. 서버는 현재 호버링하고 있는 동네의 기기들만 "들을" 수 있습니다. 다음 마을에 있는 기기들은 볼 수 없습니다.
무작위 가용성: 기기들이 바쁜 사람들과 같다고 상상해 보세요. 때로는 Wi-Fi 를 끄거나, 잠들거나, 그냥 참여하기를 원치 않습니다. 서버는 군중의 무작위한 조각만 볼 뿐입니다.

이를 부분 가시성이라고 합니다. 서버는 "보이지 않는" 클라이언트들이 무엇을 하고 있는지 알지 못한 채 눈가리개를 한 채 결정을 내립니다. 만약 서버가 잘못된 가시적 클라이언트들을 선택한다면, 전체 학습 과정이 느려지거나 혼란에 빠지게 됩니다.

해결책: 시간 여행을 하는 탐정

저자들은 모든 것을 볼 수 없을 때 좋은 결정을 내리기 위해서는 과거를 활용하는 탐정이 되어야 한다고 깨달았습니다. 그들은 이 문제를 서버가 다음 두 가지에 기반하여 최선의 수를 추측해야 하는 게임처럼 취급했습니다:

지금 누가 보이는가? (현재의 단서).
지난 몇 라운드에 무슨 일이 있었는가? (과거의 단서).

그들은 이를 POMDP(부분 관측 마르코프 결정 과정) 라고 불렀습니다. 이는 *"나는 전체 그림을 가지고 있지 않지만, 최근 몇 차례의 수에 대한 기억이 있으므로 현명한 추측을 할 수 있다"*라고 말하는 세련된 방식이라고 생각하세요.

비밀 무기: "시공간" 뇌

이를 해결하기 위해 그들은 강화 학습(시행착오를 통한 학습) 을 사용하여 특별한 AI 뇌를 구축했습니다. 하지만 이 뇌에는 초능력이 있습니다: 시공간 주의 메커니즘입니다.

이를 비유로 분해해 보겠습니다:

공간 주의 ("누가 여기 있는가?" 눈): 서버가 가시적인 클라이언트 그룹을 바라볼 때, 그들을 모두 동일하게 취급하지 않습니다. *"지금 내가 볼 수 있는 사람들 중에서 누가 서로와 가장 잘 어울리는가?"*라고 묻습니다. 이는 서로에 대한 상대적 중요도를 가중치로 둡니다.
시간 주의 ("기억" 눈): 서버는 최근 몇 차례의 훈련 라운드를 돌아봅니다. *"글로벌 모델은 어떻게 변해 왔는가? 우리는上次에 무엇을 배웠는가?"*라고 묻습니다. 이는 현재 상황을 더 잘 이해하기 위해 이 과거를 활용합니다.

그들은 이 두 가지 "눈"을 Q-네트워크로 결합했습니다. 이 네트워크를 각 가시적 클라이언트에게 "점수"(Q-값) 를 부여하는 코치로 생각하세요. 코치는 클라이언트의 현재 성능을 보면서도 과거 행동을 기억하며 결정합니다: "이 클라이언트는 지금 스타 플레이어인가, 아니면 그냥 평범한 선수인가?"

"신분증" 트릭

부분 가시성의 까다로운 점 중 하나는 클라이언트가 잠시 사라졌다가 다시 돌아올 수 있다는 것입니다. 그들을 인식할 방법이 없다면, 서버는 그들을 낯선 사람처럼 대할 수 있습니다.

저자들은 모든 클라이언트에게 고유한 아이디 임베딩(영구 신분증과 같은 것) 을 부여했습니다. 클라이언트가 10 라운드 동안 보이지 않더라도, 그들이 돌아오면 서버의 AI 는 *"아, 이 사람은 클라이언트 #42 가군. 나는 이전부터 그들의 스타일을 알고 있어"*라고 기억합니다. 이는 군중이 계속 변하더라도 시스템이 안정적으로 유지되도록 도와줍니다.

결과: 더 나은 음악, 덜한 소음

팀은 세 가지 다른 "오케스트라"(데이터셋: 옷 이미지, 사물 이미지, 그리고 움직임 데이터) 에서 그들의 방법을 테스트했습니다. 그들은 가시성 문제를 무시하거나 과거를 활용하지 않은 다른 방법들과 그들의 "시간 여행을 하는 탐정"을 비교했습니다.

결과는 명확했습니다:

더 높은 정확도: 그들의 방법은 더 빠르게 학습했고, 다른 방법들보다 더 똑똑한 모델로 끝났습니다.
덜한 흔들림: 훈련 과정이 훨씬 매끄러웠습니다. 다른 방법들은 성능이 위아래로 크게 요동쳤지만 (흔들리는 손처럼), 그들의 방법은 안정적으로 유지되었습니다.
과거가 중요하다: 서버가 얼마나 멀리 과거를 돌아봐야 하는지 테스트했습니다. 단 한 단계만 뒤로 돌아보는 것 (과거 무시) 이 가장 나빴습니다. 약 5 단계 정도 뒤로 돌아보는 것이 적정선이었습니다. 너무 멀리 돌아보는 것은 그다지 도움이 되지 않았습니다.

요약하자면

이 논문은 말합니다: 함께 학습하는 그룹의 모든 사람을 볼 수 없을 때, 무작위로 선택하지 마세요. 현재 보이는 사람, 최근에 일어난 일을 기억하며, 시간이 지남에 따라 각 사람이 누구인지 인식하는 AI 를 사용하세요. 이 "시공간" 접근 방식은 서버가 눈가리개를 한 채 비행하더라도 학습 과정을 훨씬 더 똑똑하고 안정적으로 만듭니다.

기술 요약: 부분 가시성 하의 연방 클라이언트 선택

문제 정의

연방 학습 (FL) 은 일반적으로 데이터 이질성 (비 IID 데이터) 으로 인한 성능 저하를 완화하기 위해 효과적인 클라이언트 선택에 의존합니다. 그러나 기존 대부분의 클라이언트 선택 방법은 완전 가시성을 가정합니다. 즉, 서버가 모든 통신 라운드에서 전체 클라이언트 풀에 대한 정보에 접근할 수 있다고 보는 것입니다.

본 논문은 부분 가시성의 과제를 다룹니다. 이는 대규모 또는 엣지 기반 배포에서 서버가 다음과 같은 제약으로 인해 클라이언트 서브셋에만 접근할 수 있는 상황에서 발생합니다:

이동성: 네트워크 지역을 이동하는 모바일 서버는 현재 커버리지 내의 클라이언트와만 상호작용할 수 있습니다 (예: EdgeFlow 시나리오).
가용성: 클라이언트는 일정, 연결 문제 또는 개인 정보 보호 선호도로 인해 사용할 수 없을 수 있습니다.

이 설정에서 서버는 $t$ 라운드에서 클라이언트 서브셋 ( $C_t$ ) 만 관찰하므로, 전역 학습 상태는 부분적으로 관측 가능합니다. 완전한 상태 가시성을 가정하여 클라이언트 선택을 마르코프 결정 과정 (MDP) 으로 모델링하는 기존 강화 학습 (RL) 접근법은 이 문제에 부적합합니다.

방법론

1. POMDP 공식화

저자들은 부분 가시성 하의 클라이언트 선택 문제를 **부분 관측 마르코프 결정 과정 (POMDP)**으로 공식화합니다.

상태 ( $s_t$ ): 개념적으로 모든 $N$ 개 클라이언트의 잠재적 업데이트된 매개변수로 정의됩니다. 핵심적으로, 서버는 보이지 않는 클라이언트의 기울기나 업데이트에 접근할 수 없습니다.
행동 ( $a_t$ ): 현재 가시적인 클러스터 $C_t$ 에서 $K$ 개의 클라이언트 서브셋을 선택합니다.
관측 ( $o_t$ ): 가시적인 클라이언트 ( $j \in C_t$ ) 의 업데이트된 매개변수와 ID 만을 포함하는 상태의 마스킹된 서브셋입니다.
보상 ( $r_t$ ): 집계 후 글로벌 모델의 F1 점수를 기반으로 정의되며, 분산을 제어하기 위해 시간에 따라 평활화됩니다.

2. 심층 Q-학습 (DQL) 솔루션

POMDP 를 해결하기 위해 본 논문은 DQL 기반 에이전트를 제안합니다. 전체 상호작용 이력을 유지하는 것은 계산상 비실용적이므로, 이 방법은 최근 $H$ 라운드의 단편화된 시간적 컨텍스트를 사용하여 최적 Q-함수를 근사합니다.

클라이언트별 Q-값 분해: 가변적인 클러스터 크기와 조합적 행동 공간을 처리하기 위해 전역 Q-함수를 개별 클라이언트 기여도로 분해합니다. 에이전트는 각 가시적 클라이언트를 독립적으로 평가하고, 추정된 Q-값이 가장 높은 상위 $K$ 개를 선택합니다.
다단계 최적화: 에이전트는 할인 인자 $\gamma$ 를 사용하여 다단계 시간차 학습을 활용하며, $H$ 단계의 시간 범위 내에서 반환을 예측하도록 Q-네트워크를 최적화합니다.

3. 시공간 주의 (Spatio-Temporal Attention) 아키텍처

핵심 혁신은 가변 길이 입력을 처리하고 복잡한 의존성을 포착하도록 설계된 새로운 시공간 주의 기반 Q-네트워크입니다.

차원 축소: 고차원 모델 매개변수를 **랜덤 프로젝션 (RP)**을 사용하여 저차원 특징 공간으로 매핑합니다. PCA 와 달리 RP 는 사전 수집된 샘플을 필요로 하지 않으므로 동적 가시성에 적합합니다.
시간적 컨텍스트: 네트워크는 학습 궤적을 포착하기 위해 과거 글로벌 매개변수 시퀀스 ( $W_{glob}^{t-H} \dots W_{glob}^t$ ) 를 입력받습니다.
공간적 주의: 현재 가시적인 클라이언트의 토큰을 처리하여 특정 클러스터 내에서의 상대적 기여도에 대해 추론하는 모듈입니다.
시간적 주의: 위치 인코딩과 인과적 마스킹을 사용하여 과거 글로벌 매개변수 토큰을 처리하여 시간적 의존성을 학습하는 모듈입니다.
교차 주의 (Cross-Attention): 공간적 및 시간적 토큰이 교차 주의를 통해 통합되어, 클라이언트 표현이 과거 글로벌 컨텍스트에 주의를 기울일 수 있도록 합니다.
식별자 인식 임베딩: 간헐적인 클라이언트 참여로 인한 시간적 희소성을 해결하기 위해, 모델은 각 클라이언트에 대해 학습 가능한 식별자 벡터 (임베딩) 를 포함합니다. 이는 클라이언트가 보이지 않을 때조차 라운드 전반에 걸쳐 지속적인 클라이언트별 특성을 포착하는 "기억" 역할을 합니다.
듀얼링 아키텍처: Q-네트워크는 전역 상태 가치 추정과 특정 클라이언트 선택의 상대적 이점을 분리하여 학습 안정성을 향상시킵니다.

주요 기여

POMDP 프레임워크: 완전 가시성 가정과 현실적 제약 사이의 간극을 명시적으로 다루는, 부분 가시성 하의 연방 클라이언트 선택에 대한 최초의 POMDP 공식화.
시공간 주의 네트워크: 과거 글로벌 모델과 현재 클라이언트 관측을 통합하여 에이전트가 불완전한 관측에도 불구하고 전역 상태에 대해 추론할 수 있게 하는 새로운 아키텍처.
식별자 인식 메모리: 단절된 참여를 통해 클라이언트별 특성을 추적하는 메커니즘으로, 관측 희소성의 영향을 완화합니다.
강건한 DQL 전략: 이산적이고 비가역적인 FL 클라이언트 선택의 특성에 맞춘 클라이언트별 분해 및 다단계 최적화 접근법.

실험 결과

제안된 방법은 두 가지 부분 가시성 설정 (모바일 서버 및 무작위 가용성) 과 두 가지 이질성 수준 (디리클레 분포 및 레이블 편향) 하에서 세 가지 데이터셋 (CIFAR-10, Fashion-MNIST, UCI-HAR) 에서 평가되었습니다.

성능: 제안된 방법은 거의 모든 시나리오에서 베이스라인 (FedProx, HA-EdgeFlow, FedAWAC) 보다 우수한 정확도를 달성했습니다. 기존 방법 대비 평균 정확도가 **3.6% 에서 7.9%**까지 향상되었습니다.
안정성: 수렴 후 성능 변동 (표준 편차) 이 감소하여 향상된 학습 안정성을 나타냈습니다.
애블레이션 연구:
- 컨텍스트 길이 ( $H$ ): $H$ 가 1(MDP) 에서 5 로 증가함에 따라 성능이 향상되어 역사적 컨텍스트의 필요성을 입증했습니다. 추가 증가 ( $H=8, 10$ ) 는 체감 효과를 보였으며, 최근의 역사가 충분함을 시사합니다.
- 식별자 임베딩: 식별자 인식 모듈을 제거하면 심각한 레이블 편향 하에서 정확도가 크게 떨어지고 디리클레 분포 하에서 변동이 증가하여, 클라이언트 메모리 및 안정성에서의 역할을 확인했습니다.

중요성과 주장

본 논문은 부분 가시성 하의 클라이언트 선택이라는 미개척 문제에 대한 원칙적인 해결책을 제공한다고 주장합니다. 문제를 POMDP 로 모델링하고 시공간 주의를 활용함으로써, 이 방법은 불완전한 관측으로 인한 정보 격차를 효과적으로 해소합니다. 저자들은 이 프레임워크가 이질적이고 부분적으로 가시적인 설정에서 특히 효과적이며, 서버가 전체 클라이언트 풀을 관찰할 수 없을 때 실패하는 기존 MDP 기반 또는 휴리스틱 선택 전략에 대한 강건한 대안을 제공한다고 주장합니다. 이 연구는 동적인 현실 세계 엣지 환경에서 모델 성능을 유지하기 위해 역사적 컨텍스트와 클라이언트 식별자 메모리를 통합하는 것이 필수적임을 검증합니다.