기술 요약: 연방 개념 기반 모델 (F-CMs)

문제 제기

개념 기반 모델 (CMs) 은 예측을 인간이 이해할 수 있는 개념에 기반하게 함으로써 딥러닝의 해석 가능성을 향상시킵니다. 그러나 단일 데이터 소스 내에서의 개념 주석 비용이 높고 부족하다는 점으로 인해 실제 배포가 방해받고 있습니다. 연방 학습 (FL) 은 원시 데이터를 공유하지 않고 분산된 데이터 소유자 간에 협력적 훈련을 가능하게 하는 패러다임을 제공하지만, 기존 FL 프레임워크는 CMs 에 적합하지 않습니다. 표준 FL 은 고정된 공유 모델 아키텍처를 가정하는 반면, CM 은 특정 개념 집합과 그 의존성에 명시적으로 연결된 아키텍처에 의존합니다. 통계적 이질성과 시간적 비정상성 (예: 클라이언트의 참여/탈퇴 또는 데이터 드리프트) 이 특징인 현실적인 FL 환경에서는 사용 가능한 개념 집합과 그 구조적 관계가 진화할 수 있습니다. 이는 근본적인 불일치를 초래합니다. 표준 FL 은 새로운 개념이나 의존성이 나타날 때 필요한 아키텍처 적응을 수용하지 못하여 해석 가능성의 손실이나 비용이 많이 드는 전체 재훈련을 필요로 하게 됩니다.

방법론: 연방 개념 기반 모델 (F-CMs)

저자들은 진화하는 연방 환경에서 CM 을 배포하기 위해 설계된 **연방 개념 기반 모델 (F-CMs)**을 제안합니다. F-CMs 은 정적 FL 가정과 동적 개념 공간 사이의 불일치를 다음 세 가지 핵심 메커니즘을 통해 해결합니다:

1. 그래프 집계:
   사전 정의된 글로벌 구조를 가정하는 대신, 서버는 클라이언트들이 제공하는 구조적 정보 (유방향 비순환 그래프 또는 DAG) 를 집계합니다. 각 클라이언트 $k$는 감독 변수 간의 에지에 대한 로컬 신뢰도를 나타내는 가중 인접 행렬 $A^{(k)}$를 제출합니다. 서버는 이러한 신뢰도를 합산하고 에지의 존재와 방향을 결정하기 위해 최대 합의 규칙을 적용하여 공유 글로벌 DAG $G_t$를 구성합니다. 이 과정은 노이즈가 있거나 상충되는 로컬 구조를 처리하며, 글로벌 모델이 연방의 집단 지식을 반영하도록 보장합니다.

2. 동적 아키텍처 적응:
   공유 CM 은 잠재 인코더, 개념별 인코더, 작업 디코더와 같은 모듈식 구성 요소로 분해됩니다. 새로운 클라이언트가 참여하거나 데이터 분포가 이동하여 이전에 보지 못한 개념이나 의존성이 도입됨에 따라, 아키텍처는 모듈식으로 적응합니다:

   • 확장: 새로운 개념에 대해 새로운 모듈이 인스턴스화됩니다.
   • 재배선: 의존성이 변경되는 경우 (예: 새로운 에지 $C_i \to C_j$), 해당 모듈의 입력이 업데이트됩니다.
   • 웜-스타트: 영향을 받지 않는 모듈의 기존 파라미터는 보존되고, 새로운 파라미터는 초기화됩니다 (예: 0 초기화 또는 무작위 초기화). 이는 전체 재훈련을 피하고 이전에 학습된 지식을 유지합니다.

3. 모듈별 최적화 및 집계:
   부분적 감독 (클라이언트가 개념의 부분 집합만 주석할 수 있는 경우) 을 처리하기 위해 F-CMs 은 마스킹 최적화 전략을 사용합니다. 로컬 훈련 중 클라이언트는 감독하지 않는 변수에 대한 모듈을 고정합니다. 결과적으로 업데이트는 감독된 구성 요소에 대해서만 생성됩니다. 그런 다음 서버는 모듈별 집계를 수행하여 각 특정 모듈의 파라미터를 해당 변수에 대한 감독을 제공한 클라이언트 하위 집합에 대해서만 평균화합니다. 이는 글로벌 모델이 클라이언트들이 관찰할 수 없는 개념을 최적화하도록 강요하지 않으면서 이질적인 감독을 통합하도록 보장합니다.

주요 기여

본 논문은 고정된 아키텍처를 가정하는 대신 모델 구조를 적응시킴으로써 FL 에서 시간적 비정상성 하에 진화하는 개념 공간을 해결하는 최초의 방법론인 F-CMs 을 소개합니다. 구체적인 기여는 다음과 같습니다:

• 새로운 방법론: 이질적이고 부분적인 개념 감독 및 시간적 비정상성을 처리하는 현실적인 연방 환경에서 개념 기반 아키텍처를 배포하기 위한 체계적인 접근 방식.
• 아키텍처 유연성: 표준 FL 의 고정 아키텍처 가정을 넘어, F-CMs 은 훈련 중 공유 모델 구조가 적응하도록 허용하여 아키텍처 해석 가능성을 통합할 수 있게 합니다.
• 개인정보 보호 지식 공유: 원시 데이터를 공유하지 않고 엔티티 간 개념 지식을 집계함으로써 개별 기관의 주석 부담을 줄입니다.
• 경험적 검증: 네 가지 다른 CM 아키텍처 (CBM, CEM, CGM, C2BM) 로 F-CMs 을 구현하고, 합성 베이지안 네트워크 벤치마크와 두 가지 실제 의료 영상 데이터셋 (SIIM-Pneumothorax 및 CheXpert) 에서 검증했습니다.

실험 결과

저자들은 F-CMs 을 중앙 집중식 상한선, 로컬 훈련, 정적 연방 변형 (S-F-CMs), 그리고 최신 연방 개념 학습 베이스라인 (FedCBM, FCL) 과 비교 평가했습니다.

• 정확도 및 커버리지: F-CMs 은 전체 개념 감독을 가진 중앙 집중식 훈련과 비교 가능한 작업 정확도와 개념 커버리지를 달성했습니다. 반면, 정적 연방 베이스라인과 로컬 모델은 성능이 크게 저하되었고, 나중에 도착한 클라이언트가 도입한 개념을 커버하지 못했습니다.
• 개입 효과성: F-CMs 은 특정 기관에서 로컬로 주석이 없는 개념에 대한 해석 가능한 추론과 효과적인 개입을 가능하게 했습니다. 실제 개념에 개입이 가해졌을 때, F-CMs 은 높은 라벨 정확도를 유지하여 모델이 로컬 훈련 중 직접 관찰하지 않은 개념에 대해 추론하기 위해 집계된 감독을 성공적으로 활용함을 보여주었습니다.
• 비정상성 하의 효율성: 새로운 클라이언트가 보지 못한 개념을 도입하는 시나리오에서 F-CMs 은 정적 베이스라인보다 더 빠르게 수렴하고 더 낮은 손실에 도달했습니다. 특히, F-CMs 은 전체 재훈련 베이스라인 (S-F-CMs Reinit) 의 100% 에 비해 파라미터의 소수 (예: 설정에 따라 8%–61%) 만 업데이트해야 했으며, 이는 높은 적응 효율성을 보여줍니다.
• 강건성: 이 프레임워크는 클라이언트 간 의미적 불일치와 그래프 교란 (클라이언트가 제공한 DAG 의 노이즈) 에 대해 강건함을 보여주었습니다. 제안된 그래프 집계 전략은 일관성 없는 로컬 제안을 효과적으로 노이즈 제거했습니다.
• 멀티모달 확장: 개념 증명 확장으로 F-CMs 이 공통 의미 개념 공간을 공유하면서 이질적인 입력 모달리티 (예: 이미지 및 텍스트) 를 처리할 수 있음을 보여주었습니다.

중요성 및 주장

본 논문은 F-CMs 이 데이터 프라이버시, 주석 부족, 동적 배포 환경과 같은 현실 세계의 제약을 준수하면서 해석 가능한 모델을 확장하는 중요한 단계라고 주장합니다. 표준 FL 의 정적 성격과 CM 의 구조적 요구 사항 사이의 격차를 해소함으로써 F-CMs 은 다음을 가능하게 합니다:

1. 보지 못한 개념에 대한 해석 가능한 추론: 특정 클라이언트에서 주석이 없는 개념에 대해 해석 가능한 예측을 수행하는 능력으로, 기존 정적 연방 접근 방식에는 존재하지 않는 기능입니다.
2. 지속 가능한 연방 성장: 이전에 학습된 지식을 폐기하거나 전체 재훈련의 계산 비용을 치르지 않고 새로운 데이터 소스 및 감독 유형을 통합할 수 있는 메커니즘.
3. 개인정보 보호 해석 가능성: 고비용의 중앙 집중식 개념 주석 노력의 필요성을 줄이기 위해 기관 간 고수준 의미 지식을 집계할 수 있는 경로.

저자들은 현재 CM 아키텍처가 본래 진화하는 공간을 위해 설계되지 않았음을 인정하며, 향후 작업은 더 큰 모듈성을 가진 연방 인식 CM 개발에 초점을 맞출 수 있다고 언급합니다. 또한 개념 기반 연방 모델에 특화된 잠재적 공격 표면과 관련된 추가적인 프라이버시 분석의 필요성을 강조합니다.