기술 요약: 이질적 연합 클래스 점진적 학습을 위한 투영 리허설 오케스트레이션 (Projected Rehearsal Orchestration)

1. 문제 정의

본 논문은 연합 클래스 점진적 학습(Federated Class-Incremental Learning, FCIL) 문제를 다룹니다. 이는 글로벌 모델이 새로운 클래스를 지속적으로 학습하면서도 이전 클래스의 지식을 유지해야 하는 설정이며, 데이터 중앙 집중화를 방지하는 프라이버시 제약 조건 하에서 수행됩니다. 본 연구는 특히 다음과 같은 특성을 보이는 이질적(Heterogeneous) FCIL을 목표로 합니다:

• 감독 불균형(Supervision Imbalance): 서로 다른 클라이언트가 동일한 의미론적 태스크에 대해 서로 다른 레이블 부분 집합을 관찰하거나 불균등한 샘플 수를 제공함.
• 단계 불일치(Stage Misalignment): 클라이언트들이 의미론적 태스크의 시퀀스를 서로 다른 속도와 시점에 따라 진행함 (즉, $\pi_c[p] \neq \pi_{c'}[p]$).

기존의 FCIL 방법들은 이전 지식을 보존하기 위해 인공적인 입력 공간 샘플을 생성하는 생성기 기반 리플레이(generator-based replay) 또는 데이터 프리 합성(data-free synthesis)에 의존하는 경우가 많습니다. 저자들은 이질적인 스트림 환경에서 이러한 방식들이 다음과 같은 두 가지 주요 이유로 인해 취약해진다고 주장합니다:

1. 오류 누적(Error Compounding): 감독이 희소하거나 편향되어 태스크가 약하게 학습되면, 그 상태로부터 유도된 생성 리플레이 신호는 신뢰할 수 없게 됩니다. 이러한 저급한 신호를 이후 단계에서 재사용하면 다운스트림 성능 저하를 초래합니다.
2. 모달리티 결합(Modality Coupling): 입력 공간 생성기는 특정 데이터 유형(예: 이미지)에 밀접하게 결합되어 있어, 생성기 아키텍처를 재설계하지 않고는 다른 모달리티(예: 텍스트 또는 그래프)로 전이하기 어렵습니다.

2. 방법론

저자들은 입력 공간 합성을 대신하여 특징 공간(feature space)에 저장되는 **컴팩트한 투영 메모리(compact projected memories)**를 사용하는 생성기 프리(generator-free) 프레임워크인 **PRO (Projected Rehearsal Orchestration)**를 제안합니다.

핵심 아키텍처

모델은 다음과 같이 분해됩니다:

• $h_\theta$: 모달리티별 베이스 인코더.
• $a_\psi$: 경량 어댑터.
• $W$: 통합 분류기 헤드.
  시스템은 추론 시 태스크 정체성이 제공되지 않는 싱글 헤드(single-head) 프로토콜 하에서 작동합니다.

PRO 프레임워크

1. 공유 웜업(Shared Warmup): 모든 방법은 외부 사전 학습 없이 $h_\theta$를 초기화하기 위해 연합 도메인 내 자기 지도 웜업을 거치며, 이를 통해 공정한 비교를 보장합니다.
2. 투영 메모리 저장(Projected Memory Storage): 서버는 각 알려진 클래스 $y$에 대한 컴팩트한 클래스 수준 통계량, 즉 베이스 특징 $u = h_\theta(x)$의 평균($\mu_y^u$)과 대각 표준 편차($\sigma_y^u$)를 유지합니다. 원시 데이터나 입력 공간의 합성 샘플은 저장되지 않습니다.
3. 클라이언트 측 리허설(Client-Side Rehearsal):
   • 제어된 가소성(Controlled Plasticity): 클라이언트는 먼저 글로벌 모델으로부터의 과도한 드리프트를 방지하기 위해 근사 정규화 항(proximal regularizer)을 사용하여 현재 태스크 데이터로 짧은 학습 단계를 수행합니다.
   • 균형 잡힌 의사 멀티 태스크 학습(Balanced Pseudo Multi-Task Training): 클라이언트는 서버의 투영 메모리로부터 "이전" 의사 특징($\tilde{u}_{y,j} = \mu_y^u + \gamma \sigma_y^u \odot \epsilon_j$)을 샘플링하고 이를 실제 현재 태스크 특징과 결합합니다.
   • 통합 지점(Integration Point): 결정적으로, 이러한 오래된 투영 특징들은 어댑터($a_\psi$) 이전에 전달됩니다. 이는 이전 클래스로부터의 그래디언트가 어댑터와 분류기 모두를 업데이트하도록 보장하여, 어댑터가 현재 태스크만을 향해 편향되는 것을 방지합니다.
4. 서버 집계(Server Aggregation): 서버는 모델 업데이트를 집계(FedAvg)하고, 특징 공간에서의 일관성을 보장하기 위해 집계된 글로벌 모델을 사용하여 메모리 통계량을 갱신합니다.

PRO-MAX: 메모리 정렬 확장

이질적 환경에서의 강력한 표현 드리프트(representation drift)를 처리하기 위해, PRO-MAX는 메모리 정렬 메커니즘을 도입합니다:

• 로컬 트랜스포트 추정(Local Transport Estimation): 클라이언트는 로컬 업데이트 전후에 작은 캘리브레이션 서브셋을 캐싱하여 특징 드리프트($\delta = u^+ - u^-$)를 추정합니다.
• 이웃 가중치 정렬(Neighborhood-Weighted Alignment): 클라이언트는 캘리브레이션 셋 내의 최근접 이웃을 기반으로 이전 메모리에 대한 가중치 적용 트랜스포트 벡터를 계산합니다.
• 신뢰도 가중 집계(Confidence-Weighted Aggregation): 서버는 클라이언트의 현재 데이터가 이전 클래스와 얼마나 가까운지에 따른 신뢰도 점수를 사용하여 이러한 트랜스포트 벡터를 집계합니다. 이는 서버 측의 그래디언트 하강 없이도 진화하는 표현 공간에 맞춰 이전 투영 메모리를 정렬시킵니다.

3. 주요 기여

1. 생성기 취약성 식별: 본 논문은 이질적 FCIL에서 생성기 기반 리플레이가 단순히 자원 제한 때문이 아니라, 약한 태스크 학습이 저급한 합성 신호를 생성하여 다운스트림에서 오류를 증폭시키기 때문에 실패한다는 점을 규명했습니다.
2. 모달리티 불가지론적 메모리 인터페이스: PRO는 컴팩트한 클래스 수준 투영 통계량을 사용하는 생성기 프리 프레임워크를 도입하여, 모달리티별 생성기 없이도 이미지, 텍스트, 그래프 간의 원활한 전이를 가능하게 합니다.
3. 이질성에 대한 강건성: 균형 잡힌 의사 멀티 태스크 학습을 수행하고 서버 경량 메모리 통계량을 유지함으로써, PRO와 PRO-MAX는 감독 불균형 및 단계 불일치 상황에서도 우수한 유지력(retention)과 효용성(utility)을 달성합니다.
4. 메모리 정렬: PRO-MAX는 신뢰도 가중 트랜스포트를 통해 이전 메모리를 표현 드리프트에 명시적으로 정렬함으로써 이질적 스트림에서의 망각을 크게 줄임을 입증했습니다.

4. 실험 결과

방법론들은 동질적 및 이질적 프로토콜 하에서 CIFAR-100(이미지), THUCNews-10(텍스트), Cora(그래프)를 대상으로 평가되었습니다.

• 이질적 성능: 심각한 이질성 환경에서, 생성기 기반 베이스라인(TARGET, MFCL, HR)은 리플레이 예산을 확장했음에도 불구하고 성능이 크게 저하되었습니다. 반면 PRO와 PRO-MAX는 높은 **최종 평균 정확도(FAA)**와 낮은 **평균 망각(AF)**을 유지했습니다. 예를 들어, CIFAR-100에서 PRO-MAX는 TARGET의 27.86%와 비교하여 46.12%의 FAA를 달 기록했습니다.
• 모달리티 전이: 이 접근 방식은 텍_스트 및 그래프 벤치마크로 성공적으로 전이되었으며, 모달리티별 베이스라인(예: 텍스트의 경우 FedSeIT, 그래프의 경우 POWER/MOTION)을 능가하면서도 더 낮은 통신 비용을 유지했습니다.
• 자원 효율성: PRO와 PRO-MAX는 고정된 투영 메모리 예산(단일 클래스의 특징과 유사한 수준)으로 작동하는 반면, 생성기 기반 방법들은 합성 샘포를 전송하거나 더 큰 리플레이 버퍼를 필요로 하여 훨씬 높은 통신 오버헤드를 요구하는 경우가 많습니다.
• 생성기 실패 진단: 실험 결과, 리플레이-실제 불일치(replay-real mismatch)(MMD로 측정)와 다운스트림 저하 사이에 강한 양의 상관관계가 있음이 나타났습니다. 불일치가 높은 방법(생성기 방식)은 약한 태스크 개입에 의해 더 많은 영향을 받은 반-면, PRO/PRO-MAX는 더 낮은 불일치와 적은 다운스트림 하락을 유지했습니다.

5. 의의 및 주장

본 논문은 리플레이 양(quantity)만으로는 리플레이 품질(quality)의 실패를 해결할 수 없다고 주장합니다. 이질적인 연방 환경에서 리플레이 신호의 품질은 기초적인 태스크 학습의 품질에 달려 있습니다. 감독이 약하거나 정렬이 맞지 않을 때, 입력 공간 생성기는 이러한 오류를 증폭시킵니다.

본 연구의 의의는 메모리 추상화를 입력 공간 합성에서 특징 공간 투영으로 전환했다는 점에 있습니다. 이 접근 방식은:

• 메모리 메커니즘을 특정 데이터 모달리티로부터 분리합니다.
• 합성 입력을 생성하고 전송하는 데 드는 계산 및 통신 비용을 피합니다.
• 서버가 집계와 메모리 계정만을 수행하는 서버 경량 솔루션을 제공하며, 서버 측의 그래디언트 기반 최적화나 생성기 학습을 피합니다.

저자들은 투영 메모리가 학습된 표현의 품질에 의존하며, 지원이 희소한 극도로 드문 클래스에 대해서는 노이즈가 발생할 수 있다는 한계를 조심스럽게 인정합니다. 또한, 이 방법이 원시 데이터 저장과 관련된 프라이버시 위험을 줄여주기는 하지만, 차분 프라이버시(differential privacy)와 같은 추가 메커니즘 없이는 표현 역전(representation inversion)에 대한 공식적인 프라이버시 보장을 제공하지는 않는다는 점을 명시했습니다.