기술 요약: 합의 임베딩 기반 연방 추론 (CE-FI)

1. 문제 제기

본 논문은 분산 환경에서 여러 독립적으로 배포된 머신러닝 모델 간 **협력적 추론 (cooperative inference)**을 가능하게 하는 과제를 다룹니다. 추론 성능을 향상시키기 위해 여러 모델을 활용하려는 요구가 증가하고 있지만, 기존 프레임워크는 개인정보가 민감하거나 조직 간 경계가 있는 환경에서 다음과 같은 중대한 한계에 직면해 있습니다:

• **연방 학습 (FL)**은 일반적으로 모델 업데이트나 파라미터 공유를 요구하며, 이는 모델 역전사 공격 (model inversion attacks) 의 위험을 초래하고 지적 재산권 제약을 위반합니다.
• **표준 연방 추론 (FI)**은 종종 모든 클라이언트가 동일한 원시 입력 데이터를 공유하거나 호환 가능한 중간 표현을 생성하기 위해 공통 인코더 아키텍처를 사용한다고 가정합니다.
• 에지 앙상블 (Edge Ensemble) 접근법은 공유 인코더에 의존하는데, 모델이 이질적 (서로 다른 아키텍처) 이거나 부분적인 모델 공개조차 금지된 경우에는 종종 실현 불가능합니다.

결과적으로, 원시 입력, 모델 파라미터를 공유하거나 공통 인코더를 가정하지 않으며, 협력 단계에서 레이블이 지정된 데이터를 요구하지 않고도 이질적인 사전 학습 모델들이 추론 시 협력할 수 있는 기존 프레임워크는 존재하지 않습니다.

2. 방법론: CE-FI 프레임워크

저자들은 중간 표현과 레이블이 없는 데이터만을 사용하여 이질적인 특징 공간을 연결하도록 설계된 합의 임베딩 기반 연방 추론 (CE-FI) 프레임워크를 제안합니다.

시스템 모델

• 환경: 각 기기가 로컬 사전 학습 모델 $M_k$(헤드 네트워크 $M^H_k$와 테일 네트워크 $M^T_k$로 구성) 을 보유하는 $K$개의 장치를 가진 크로스-실로 (cross-silo) 설정.
• 제약 조건: 장치는 원시 입력 $x$, 모델 파라미터, 또는 아키텍처를 공유할 수 없습니다. 오직 중간 특징만 공유할 수 있습니다.
• 데이터 가정: 모든 기기가 접근 가능한 공유 레이블 없는 데이터셋 $D_{share}$(예: 공개 로그 데이터 또는 센서 데이터) 이 존재하지만, 협력 학습 단계에서는 레이블이 지정된 데이터를 사용할 수 없습니다.

핵심 구성 요소

CE-FI 는 각 기기당 두 개의 학습 가능한 레이어를 도입하며, 이는 자기지도 학습 방식으로 훈련됩니다:

1. 합의 임베딩 (CE) 레이어 ($F_k$):

   • 기능: 기기별 중간 특징 $z_k = M^H_k(x)$를 공유되고 기기 중립적인 임베딩 공간 $z'_k = F_k(z_k)$으로 매핑합니다.
   • 훈련: 공유된 레이블 없는 데이터를 사용하여 대조 학습 (contrastive learning) (특히 NT-Xent 손실의 근사치) 을 통해 최적화됩니다. 목표는 동일한 입력 샘플에 대한 서로 다른 기기의 임베딩을 공통 중심점으로 정렬하여 동일한 $x$에 대한 $z'_i$와 $z'_j$ 간의 거리를 최소화하는 것입니다.
   • 개인정보 보호: 오직 합의 임베딩만 교환되며, 원시 입력과 원래 중간 특징은 로컬에 유지됩니다.

2. 협력 출력 (CO) 레이어 ($G_k$):

   • 기능: 합의 임베딩 $z'_k$를 작업별 출력 로짓 $m'_k = G_k(z'_k)$으로 다시 매핑합니다.
   • 훈련: 로컬 사전 학습 모델을 "교사"로 사용하여 **지식 증류 (knowledge distillation)**를 통해 최적화됩니다. CO 레이어는 공유된 레이블 없는 데이터에서 로컬 모델의 테일 네트워크 ($M^T_k$) 가 생성한 로짓과 자신의 출력 간의 Kullback–Leibler (KL) 발산을 최소화합니다.
   • 목표: 기기가 공유된 합의 임베딩만을 기반으로 정확한 예측을 생성할 수 있도록 합니다.

추론 및 집계

추론 중, 기기는 입력 $x$를 헤더와 CE 레이어를 통해 처리하여 합의 임베딩을 생성한 후 이를 다른 기기들과 공유합니다. 각 수신 기기는 이 임베딩을 CO 레이어를 통해 처리하여 로짓을 생성합니다.

• 앙상블 전략: 논문은 다양한 집계 방법을 평가합니다. 최소 에너지 (Minimum Energy) (로짓에서 유도된 에너지 점수가 가장 낮은 기기를 선택하는 방식) 가 분포 외 (OOD) 샘플과 심각한 레이블 불일치를 처리하는 데 효과적이며, 매우 비-IID 환경에서는 단순 평균이나 투표보다 종종 더 나은 성능을 보인다고 강조합니다.

3. 주요 기여

논문은 네 가지 주요 기여를 제시합니다:

1. 입력 또는 모델 공유 없는 협력적 추론: CE-FI 는 파라미터, 원시 입력을 공유하거나 공통 인코더를 가정하지 않고도 이질적인 사전 학습 모델 간 협력을 달성합니다. 이는 중간 특징 교환과 자기지도 학습에만 의존합니다.
2. 자기지도 학습: 프레임워크는 레이블 없는 데이터만으로 훈련되는 대조 학습 기반 임베딩 레이어와 지식 증류 기반 예측 레이어를 도입하여 주석 비용 (annotation costs) 을 줄입니다.
3. 이론적 특성화: 저자들은 CE-FI 와 기존 입력 공유 FI 간의 관계를 공식적으로 분석합니다. 이상적인 정렬 조건 하에서 CE-FI 는 이론적으로 입력 공유 FI 와 동등함을 증명하며, 합의 임베딩 정렬 오류에 비례하여 성능 저하가 발생함을 보여주는 한계를 유도합니다.
4. 종합적 평가: 이미지 (CIFAR-10/100), 텍스트 (IMDB), 시계열 (UCI-HAR) 작업에 걸쳐 다양한 비-IID 조건 (분리된 레이블 세트 포함) 에서 수행된 광범위한 실험을 통해 프레임워크의 유효성을 검증합니다.

4. 실험 결과

• 성능 대 베이스라인: CE-FI 는 모든 모달리티와 비-IID 조건에서 **솔로 추론 (Solo Inference)**보다 일관되게 우수한 성능을 보입니다. 많은 시나리오에서 더 엄격한 제약 하에 운영됨에도 불구하고 입력 공유 FI 및 에지 앙상블의 성능에 근접합니다.
• 이질성: 이 프레임워크는 기기들이 서로 다른 인코더 아키텍처 (예: ViT, ResNet, ConvNeXt) 와 서로 다른 사전 학습 목적 (Supervised, CLIP, DINOv3) 을 사용할 때도 여전히 효과적입니다.
• 앙상블 민감도: 앙상블 전략의 선택은 중요합니다. 부드러운 투표 (soft voting) 는 경미한 비-IID 설정에서 잘 작동하지만, 최소 에너지 선택은 특정 클래스가 없는 기기들의 신뢰할 수 없는 예측을 필터링함으로써 심각한 비-IID (편향/분리) 조건에서 견고성을 크게 향상시킵니다.
• 스크래치 대 사전 학습: CE-FI 는 모델이 스크래치 (scratch) 에서 훈련될 때도 작동하지만, 성능 향상은 사전 학습된 인코더를 사용할 때 더 두드러집니다. 연구는 로컬 특징 공간의 근본적인 의미 구조의 품질이 스크래치 설정에서의 성능을 제한한다고 식별합니다.
• 병목 분석: 제거 실험 (ablation studies) 은 CE 레이어의 **표현 정렬 (representation alignment)**이 주요 병목임을 보여줍니다. 통합된 합의 임베딩 공간을 강제하는 것은 특히 스크래치 설정에서 정확도를 크게 향상시키는 반면, 훈련에서 OOD 데이터를 제외하는 것은 미미한 영향만 미칩니다.
• 개인정보 보호 및 재구성: 합의 임베딩에 대한 DCGAN 을 사용한 재구성 공격은 저품질 재구성 (RMSE 약 0.22, SSIM 약 0.16) 을 산출하여, 합의 임베딩 공유가 원시 입력을 단순하게 노출시키지는 않지만 모든 개인정보 보호 위험으로부터 면역은 아님을 시사합니다.
• 통신 비용: 이미지 분류 작업에서 256 차원 합의 임베딩 (2.1 KB) 을 전송하는 것은 원시 이미지 (4.6–6.2 KB) 를 전송하는 것보다 효율적이었습니다.

5. 중요성 및 주장

본 논문은 CE-FI 가 실용적이고 개인정보가 보호되는 분산 AI 를 향한 중요한 진전이라고 주장합니다. 공유된 입력과 공통 인코더에 대한 가정을 제거함으로써, 전통적인 연방 추론이 실현 불가능한 시나리오 (예: 독점 모델과 엄격한 데이터 개인정보 보호법이 적용되는 의료 진단) 에서 협력을 가능하게 합니다.

저자들은 결과에 대해 겸손한 어조를 유지합니다:

• CE-FI 가 기존 FI 의 성능에 근접하지만, 주로 불완전한 표현 정렬로 인해 여전히 격차가 존재함을 인정합니다.
• 최적의 앙상블 전략은 모달리티와 비-IID 정도에 크게 의존하므로, "일률적 (one-size-fits-all)" 집계 방법은 최적이지 않음을 지적합니다.
• 데이터 필터링이나 앙상블 선택만으로는 부족하며, 표현 정렬을 향후 개선을 위한 핵심 과제로 식별합니다.

궁극적으로 이 작업은 공유된 레이블 없는 데이터와 중간 표현만을 활용하여 데이터 및 모델 개인정보 보호의 가장 엄격한 제약 하에서도 협력적 추론이 가능하다는 개념 증명 (proof-of-concept) 을 제공합니다.