기술 요약: PrivFusion

문제 정의

임상 및 생물의학 데이터의 급속한 성장은 위험 예측 및 코호트 발견과 같은 작업을 위한 기계 학습 (ML) 도입을 촉진했습니다. 그러나 전자 건강 기록 (EHR) 과 같은 민감한 정보의 경우 개인정보 보호, 보안 및 거버넌스 제약으로 인해 전통적인 중앙 집중식 데이터 집계는 종종 실행 불가능합니다. 연방 학습 (FL) 은 데이터를 온프레미스에 유지함으로써 분산된 대안을 제공하지만, 기관 간 데이터 이질성으로 인해 실제 배포가 방해받고 있습니다.

임상 데이터세트는 특징 정의, 코딩 시스템, 세분성 (granularity), 측정 관행에서 자주 차이가 납니다. 분산 분석이 수행되기 전에 이러한 데이터세트는 변수 정렬 및 의미적 해결을 포함하는 노동 집약적인 과정인 **조화 (harmonization)**되어야 합니다. 현재의 FL 방법론은 종종 조화가 사전에 완료되었다는 비현실적인 가정을 하여 주요 병목 현상을 초래합니다. 기존 온톨로지 기반 솔루션은 종종 중앙 집중화나 사전 정의된 매핑을 요구하며, 이는 서로 다른 워크플로우를 가진 기관 간에 구축하기 어렵습니다. 원시 민감 데이터를 중앙 집중화하지 않고 분산 환경에서 작동하는 자동화되고 확장 가능하며 개인정보 보호를 유지하는 조화 방법에 대한 시급한 필요성이 있습니다.

방법론: PrivFusion 프레임워크

PrivFusion 은 연방 학습 전에 구조화된 데이터세트의 조화를 자동화하도록 설계된 개인정보 보호를 유지하는 다중 에이전트 프레임워크입니다. 이는 중앙 서버가 프로토콜을 준수하지만 민감한 정보를 추론하려 할 수 있는 정직하지만 호기심이 많은 (honest-but-curious) 위협 모델에서 작동합니다. 이 프레임워크에는 로컬 데이터세트를 보유한 연구자 (researchers) 와 집계기 (aggregator) 인 서버 (server) 라는 두 당사자가 포함됩니다.

이 과정은 반복적이며 네 가지 주요 단계로 구성됩니다:

1. 로컬 메타데이터 생성 (데이터세트 분석기):
   각 연구자는 원시 데이터를 공유하지 않고 일련의 에이전트를 사용하여 로컬 데이터세트 ($D_i$) 를 분석하여 메타데이터 ($M_i$) 를 생성합니다. 여기에는 다음이 포함됩니다:

   • 특징 추출: 범용 온톨로지 (DBPedia) 를 사용하여 데이터 유형 (예: 문자열, 숫자) 및 의미적 유형을 식별합니다.
   • 설명 생성: 에이전트 ($A_D$, $A_F$) 가 데이터세트 설명과 의미적 특징 설명을 생성합니다.
   • 관계 추론: 에이전트 ($A_R$) 가 특징 간의 관계를 추론하는 동안 다른 에이전트 ($A_T$) 가 관련 주제를 추출합니다.
   • 합성 데이터: 연구자는 특징 형식과 도메인에 대해 서버를 안내하기 위해 차분 프라이버시 (DP) 접근 방식을 사용하여 $n$ 개의 저유틸리티 합성 샘플을 생성합니다.

2. 특징 클러스터링 (서버 측):
   서버는 모든 사이트로부터 메타데이터 ($M_i$) 를 수신합니다. 에이전트 ($A_C$) 가 이름, 데이터 유형 및 DBPedia URI 를 기반으로 의미적 유사성에 따라 데이터세트 간 특징을 클러스터링합니다. 동일한 클러스터 내의 특징은 통합 또는 정렬을 위한 후보로 식별됩니다.

3. 변환 권장 (서버 측):
   권장 에이전트 ($A_H$) 가 클러스터와 메타데이터를 분석하여 필요한 변환을 결정합니다. DBPedia URI 와 의미적 설명을 비교하여 대표 URI 와 세분성 수준에 수렴합니다. 서버는 각 사이트에 대한 구체적인 지침을 출력하여 어떤 특징을 결합, 제거 또는 수정해야 하는지 및 대상 표현을 상세히 설명합니다.

4. 로컬 변환 및 반복:
   연구자는 Python 스크립트 또는 코드 생성 LLM ($M_C$) 을 사용하여 권장된 변환을 로컬에 적용합니다. 업데이트된 메타데이터가 서버로 다시 전송됩니다. 더 이상 변환이 필요하지 않거나 최대 반복 횟수 ($T$) 에 도달할 때까지 이 루프가 계속됩니다.

주요 기여

• 자동화된 개인정보 보호 조화: PrivFusion 은 원시 데이터를 중앙 집중화하지 않고 기관 간 이질적인 데이터세트의 정렬을 자동화하는 프레임워크를 도입하여 문헌에서 종종 간과되는 FL 의 중요한 전제 조건을 해결합니다.
• 다중 에이전트 아키텍처: 이 시스템은 의미 정렬 및 변환 논리의 복잡성을 처리하기 위해 분석, 클러스터링, 권장, 코드 생성과 같은 고유한 작업을 위한 전문 에이전트를 활용합니다.
• 온톨로지 기반 의미 정렬: DBPedia URI 와 의미적 설명을 활용함으로써 이 프레임워크는 단순한 문자열 매칭을 넘어 특징의 의미적 의미에 대해 추론하여 개념적으로 동등하지만 구조적으로 다른 열의 정렬을 가능하게 합니다.
• 합성 데이터 안내: 저유틸리티 합성 샘플의 사용은 개인정보 보장 유지하면서 서버가 특징 도메인과 형식을 이해할 수 있게 하여 개인 수준 통계의 유출을 방지합니다.

평가 및 결과

이 프레임워크는 인도네시아 (IDN), 아프가니스탄 (AFG), 이탈리아 (IT), 미국 (US) 의 네 가지 실제 이질적 COVID-19 데이터세트에서 평가되었습니다. 이러한 데이터세트는 날짜 형식, 위치 세분성 (예: 군 vs 주 vs 국가), 특징 명명 관행에서 상당한 차이를 보였습니다.

실험 설정:

• 모델: 저자는 GPT-OSS-120b (GPT-120b), Llama-3-70b (Llama-70b), DeepSeek-Coder-33b (DSC-33b) 를 포함한 다양한 대형 언어 모델 (LLM) 조합을 테스트했습니다.
• 지표: 수렴 속도 (반복 횟수), 권장된 총 변환 수, 그리고 조화 후 공통 특징 (이름과 DBPedia URI 공유) 의 수입니다.

주요 발견:

• 효율성: PrivFusion 은 일반적으로 쌍별 데이터세트 조합에 대해 2~3 회 반복 내에서 조화를 달성했습니다. 예를 들어, IDN-AFG 쌍은 GPT-120b 를 사용하여 2 회 반복으로 수렴했습니다.
• 특징 정렬: 이 프레임워크는 특징 이름 (예: 스네이크 케이스로) 을 표준화하고, 날짜 형식을 조화하며, 위치 세분성을 정렬하는 데 성공했습니다.
• LLM 영향:
  • GPT-120b는 우수한 지시 준수를 보여주었으며, 종종 추가 반복이 불필요할 때 인식하고 점진적 업데이트를 선호했습니다.
  • Llama-70b는 더 높은 창의성을 보였지만 때때로 정규화 단계를 잘못 적용하거나 불필요한 변경 (예: 특징을 임의로 이름 변경) 을 도입하여 일부 구성에서 더 높은 반복 횟수를 초래했습니다.
  • DeepSeek-Coder는 정확한 코드를 생성했지만 때때로 수동 개입이 필요한 불완전한 응답을 생성했습니다.
• 확장성: 복잡성은 당사자 수에 따라 비선형적으로 증가했습니다. 쌍별 조화는 몇 가지 변환만 필요로 했지만, 다중 당사자 시나리오 (예: AFG-IDN-IT) 는 훨씬 더 많은 변환 (일부 구성에서 최대 49 개) 과 반복을 필요로 했습니다.
• 수렴: 특징 이름 간의 자카드 유사성 점수는 일반적으로 3~6 회 반복 내에서 정점을 찍어 스키마의 빠른 안정화를 나타냈습니다.

중요성 및 한계

중요성:
PrivFusion 은 자동화된 개인정보 보호 조화가 실행 가능하고 효과적임을 보여줍니다. 데이터세트 정렬의 수동 부담을 줄임으로써 협력 분석에 대한 접근성을 확대하고 결과 모델의 일반화 가능성을 향상시킵니다. 이 프레임워크는 연방 학습의 이론적 잠재력과 이질적이고 고립된 임상 데이터의 실제 현실 사이의 간극을 성공적으로 연결합니다.

한계:

• LLM 의존성: 성능은 기반 LLM 의 추론 일관성에 의존하며 이는 변할 수 있습니다. LLM 은 때때로 특징을 과도하게 정렬하거나 부족하게 정렬할 수 있습니다.
• 인간 개입: 고위험 임상 환경에서 저자는 의미적 정확성과 신뢰성을 보장하기 위해 권장 사항에 대한 인간 검토가 필요할 수 있음을 인정합니다.
• 이론적 보장: 프레임워크가 실험에서 수렴했지만, 수렴에 필요한 반복 횟수에 대한 이론적 보장은 부족합니다.
• 계산 비용: 다중 에이전트 워크플로우는 계산 집약적일 수 있어 자원이 제한된 기관에 잠재적인 문제를 제기할 수 있습니다.

이 논문은 PrivFusion 이 최소한의 변환으로 데이터세트를 효과적으로 조화시키지만, 향후 연구는 추가 도메인 적용과 확장성을 더욱 향상시키기 위한 대체 LLM 평가를 탐구할 것이라고 결론지었습니다.