Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

기술 요약: Memisis – 표형 건강 데이터셋을 위한 합성 데이터의 오케스트레이션 및 평가

문제 제기
합성 데이터는 원본 데이터 분포를 반영하면서 프라이버시 우려를 완화하는 데이터셋을 생성하기 위해 의료 분야에서 점점 더 중요해지고 있습니다. 그러나 고품질 합성 데이터를 생성하려면 프라이버시, 유용성, 공정성이라는 세 가지 핵심 차원 간의 미묘한 균형이 필요합니다. 기존 플랫폼들은 생성 오케스트레이션, 분포 충실도 검증, 공정성 지표 평가를 동시에 수행할 수 있는 통합 워크플로우를 제공하는 경우가 드뭅니다. 또한, 현재 접근 방식들은 사용자가 고수준 생성 목표를 지정하는 대신 에포크, 샘플 크기 등 "노브"를 수동으로 조정하는 데 의존하는 경우가 많습니다. 진단에서의 교차 편향이 임상적으로 문서화된 의료와 같은 도메인에서는 이러한 트레이드오프를 추론할 수 있는 에이전트 워크플로우가 필요합니다.

방법론
저자들은 표형 건강 데이터셋에 대한 합성 데이터 생성을 오케스트레이션하고 평가하기 위해 설계된 대화형 에이전트 기반 도구인 Memisis를 제시합니다. 이 시스템은 대규모 언어 모델 (LLM) 과 최신 평가 지표를 활용하여 통합 워크플로우를 생성합니다.

• 아키텍처 및 워크플로우:

  • 백엔드 통합: Memisis 는 기존 합성기, 특히 CTGAN, TVAE, GaussianCopula를 활용하기 위해 **Synthetic Data Vault(SDV)**에 연결됩니다.
  • 에이전트 오케스트레이션: 시스템은 LangGraph ReACT(추론 및 행동) 프레임워크를 사용합니다. Supervisor 에이전트는 워크플로우를 Generator 서브그래프와 Evaluator 서브그래프로 분할합니다. 이 분리는 점수 산정 메커니즘이 합성 과정을 조용히 영향을 미치지 못하도록 보장합니다.
  • 사용자 상호작용: 사용자는 Streamlit UI를 통해 자연어로 생성 목표 (예: 목표 분포, 공정성 제약 조건) 를 지정하고 저수준 매개변수를 조정하는 대신 상호작용합니다. 에이전트는 이러한 목표를 구체적인 도구 호출로 변환합니다.
  • 평가 패러다임: 시스템은 Train-on-Synthetic, Test-on-Real(TSTR) 패러다임을 활용합니다.
    • 유용성: SDMetrics(특히 SingleTableQualityReport) 를 사용하여 측정하며, 이는 주변 열 모양 충실도와 쌍별 상관관계 충실도를 0 에서 1 사이의 점수로 집계합니다.
    • 공정성: Fairlearn을 사용하여 보호 속성 (예: 인종, 성별) 간의 **거짓 긍정률 (FPR)**에 초점을 맞춰 측정합니다.
  • 복합 점수: 공정성 - 유용성 트레이드오프를 공동으로 포착하기 위해 저자들은 다음 복합 점수를 제안합니다:
    $$\text{synth\_score} = \text{quality} \times \text{fairness\_mult}$$
    fairness_mult는 페널티 역할을 합니다. 가장 높은 그룹의 FPR 대 가장 낮은 그룹의 FPR 비율 (max_rel_FPR) 이 2 의 임계값을 초과하면 승수 품질 점수를 비례하여 할인합니다. 비율이 $\le 2$이면 승수는 1.0 입니다.

• 배포 스택:

  • 서버: GitHub 에 연결된 Streamlit Cloud 상의 Python 기반 서버.
  • LLM: Llama3.2(Ollama 를 통해 로컬에서 실행) 가 채팅 모델로 사용됩니다.
  • 하드웨어: 합성기 훈련에 NVIDIA RTX 3090 GPU 가 사용됩니다.

주요 기여

1. 통합 에이전트 워크플로우: Memisis 는 사용자가 자연어로 목표를 정의하고 에이전트가 수동 하이퍼파라미터 조정이 필요 없이 합성기 선택, 훈련, 평가를 오케스트레이션하는 새로운 인터페이스를 제공합니다.
2. 관심사의 분리: 다중 에이전트 아키텍처는 생성 프로세스를 평가 프로세스와 엄격하게 분리하여, 점수 산정 지표가 우연히 생성 메커니즘에 편향을 일으킬 수 있는 피드백 루프를 방지합니다.
3. 의료용 복합 지표: 이 논문은 높은 분포 충실도를 달성하지만 인구 통계학적 그룹 간 하류 분류 오류 (FPR) 의 균형을 유지하지 못하는 합성 데이터에 페널티를 부과하는 특정 복합 점수 메커니즘을 도입합니다.
4. 건강 데이터에 대한 시연: 이 도구는 보호 속성 (인종, 성별) 과 임상 레이블을 포함하는 오픈 소스 조현병 데이터셋 (OpenML 45040) 에서 시연되어 교차 불평등을 감지하는 능력을 보여줍니다.

결과
저자들은 조현병 데이터셋 (1,000 개의 실제 훈련 행, 500 개의 합성 행, 20 에포크) 에서 세 가지 합성기 (CTGAN, TVAE, GaussianCopula) 를 평가했습니다:

• GaussianCopula: 가장 높은 분포 충실도 (SDMetrics quality = 0.91) 를 달성했습니다. 그러나 히스패닉 그룹의 FPR 이 백인 그룹의 FPR 보다 2.67 배 높아 (2.0 임계값 초과) 심각한 공정성 페널티를 받아 더 낮은 복합 점수 (0.68) 를 기록했습니다.
• CTGAN: 가장 균형 잡힌 복합 점수 (0.77) 를 생성했습니다. max_rel_FPR이 1.57(허용 범위 내) 로 유지되어 충실도와 공정성을 성공적으로 균형 잡았음을 보여주었습니다.
• TVAE: max_rel_FPR이 1.0 이었으나, 저자들은 이는 진정한 균등이 아니라 "퇴행성 하류 분류기"(모든 긍정 예측) 를 반영한다고 지적합니다. 그 복합 점수는 0.60이었습니다.

의의 및 주장
이 논문은 Memisis가 합성 건강 데이터 생성을 위한 유연하고 자연어 기반 메커니즘을 제공하며, 큐레이션 및 검증의 부담을 인간 - 루프 감독을 갖춘 에이전트로 전환한다고 주장합니다. 저자들은 의료 응용 분야에서는 높은 분포 충실도만으로는 부족하며, 합성 데이터는 하류 작업에서도 공정성을 유지해야 한다고 강조합니다. 이 도구는 연구자와 데이터 소유자가 이러한 트레이드오프를 명시적으로 탐색할 수 있게 합니다.

저자들은 현재 범위에 대해 겸손하게 언급하며, 이 도구가 현재 소수의 연구자 커뮤니티에 의해 사용되고 있다고 지적합니다. 아키텍처 최종화, 클라우드 제공업체의 토큰 제한, 여러 에이전트 간의 조정 등의 과제를 인정합니다. 향후 작업은 상호 운용성 개선, 영구 서버 배포, HL7/HIPAA 와 같은 표준 준수 보장, 그리고 더 다양한 데이터셋으로 실험 확장에 중점을 둡니다.