Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

Resumo Técnico: Memisis – Orquestração e Avaliação de Dados Sintéticos para Conjuntos de Dados Tabulares de Saúde

Declaração do Problema
Os dados sintéticos são cada vez mais vitais na saúde para criar conjuntos de dados que espelham as distribuições dos dados originais, ao mesmo tempo que mitigam preocupações de privacidade. No entanto, gerar dados sintéticos de alta qualidade exige um equilíbrio delicado em três dimensões críticas: privacidade, utilidade e equidade. Plataformas existentes frequentemente carecem de um fluxo de trabalho unificado que permita aos usuários orquestrar facilmente a geração, validar a fidelidade distribucional e avaliar métricas de equidade simultaneamente. Além disso, abordagens atuais frequentemente dependem do ajuste manual de "controles" (por exemplo, épocas, tamanhos de amostra) em vez de permitir que os usuários especifiquem objetivos de geração de alto nível. Há uma necessidade de um fluxo de trabalho agêntico capaz de raciocinar sobre esses trade-offs, particularmente em domínios como a saúde, onde o viés interseccional no diagnóstico é clinicamente documentado.

Metodologia
Os autores apresentam o Memisis, uma ferramenta interativa baseada em agentes projetada para orquestrar e avaliar a geração de dados sintéticos para conjuntos de dados tabulares de saúde. O sistema aproveita Modelos de Linguagem de Grande Escala (LLMs) e métricas de avaliação state-of-the-art para criar um fluxo de trabalho unificado.

• Arquitetura e Fluxo de Trabalho:

  • Integração de Backend: O Memisis conecta-se ao Synthetic Data Vault (SDV) para utilizar sintetizadores existentes, especificamente CTGAN, TVAE e GaussianCopula.
  • Orquestração de Agentes: O sistema emprega um framework LangGraph ReACT (Raciocínio e Ação). Um agente Supervisor particiona o fluxo de trabalho em um subgrafo Gerador e um subgrafo Avaliador. Essa separação garante que os mecanismos de pontuação não influenciem silenciosamente o processo de síntese.
  • Interação do Usuário: Os usuários interagem por meio de uma Interface de Usuário Streamlit usando linguagem natural para especificar objetivos de geração (por exemplo, distribuição alvo, restrições de equidade) em vez de ajustar parâmetros de baixo nível. O agente traduz esses objetivos em chamadas de ferramentas específicas.
  • Paradigma de Avaliação: O sistema utiliza o paradigma Treinar em Sintético, Testar em Real (TSTR).
    • Utilidade: Medida usando SDMetrics (especificamente o SingleTableQualityReport), que agrega a fidelidade da forma da coluna marginal e a fidelidade da correlação par a par em uma pontuação entre 0 e 1.
    • Equidade: Medida usando Fairlearn, focando nas Taxas de Falsos Positivos (FPR) através de atributos protegidos (por exemplo, raça, gênero).
  • Pontuação Composta: Para capturar conjuntamente o trade-off entre equidade e utilidade, os autores propõem uma pontuação composta:
    $$\text{synth\_score} = \text{quality} \times \text{fairness\_mult}$$
    O fairness_mult atua como uma penalidade. Se a razão da FPR do grupo mais alto para a FPR do grupo mais baixo (max_rel_FPR) exceder um limite de 2, o multiplicador desconta a pontuação de qualidade proporcionalmente. Se a razão for $\le 2$, o multiplicador é 1,0.

• Pilha de Implantação:

  • Servidor: Servidor baseado em Python na Streamlit Cloud conectado ao GitHub.
  • LLM: Llama3.2 (executando localmente via Ollama) serve como o modelo de chat.
  • Hardware: GPU NVIDIA RTX 3090 usada para treinar sintetizadores.

Principais Contribuições

1. Fluxo de Trabalho Agêntico Unificado: O Memisis fornece uma interface inovadora onde os usuários definem objetivos em linguagem natural, e o agente orquestra a seleção de sintetizadores, o treinamento e a avaliação sem exigir ajuste manual de hiperparâmetros.
2. Separação de Responsabilidades: A arquitetura multiagente separa estritamente o processo de geração do processo de avaliação, prevenindo loops de feedback onde métricas de pontuação poderiam inadvertidamente enviesar o mecanismo de geração.
3. Métrica Composta para Saúde: O artigo introduz um mecanismo específico de pontuação composta que penaliza dados sintéticos que alcançam alta fidelidade distribucional, mas falham em manter a paridade em erros de classificação a jusante (FPR) através de grupos demográficos.
4. Demonstração em Dados de Saúde: A ferramenta é demonstrada em um conjunto de dados de esquizofrenia de código aberto (OpenML 45040) contendo atributos protegidos (Raça, Sexo) e rótulos clínicos, mostrando sua capacidade de detectar disparidades interseccionais.

Resultados
Os autores avaliaram três sintetizadores (CTGAN, TVAE, GaussianCopula) no conjunto de dados de esquizofrenia (1.000 linhas reais de treinamento, 500 linhas sintéticas, 20 épocas):

• GaussianCopula: Alcançou a maior fidelidade distribucional (SDMetrics quality = 0,91). No entanto, sofreu uma penalidade significativa de equidade porque a FPR do grupo hispânico foi 2,67 vezes maior que a FPR do grupo branco (excedendo o limite de 2,0). Isso resultou em uma pontuação composta mais baixa (0,68).
• CTGAN: Produziu a melhor pontuação composta equilibrada (0,77). Mantive um max_rel_FPR de 1,57 (dentro da faixa aceitável), demonstrando que equilibrou com sucesso a fidelidade com a equidade.
• TVAE: Alcançou um max_rel_FPR de 1,0, mas os autores observam que isso reflete um "classificador a jusante degenerado" (prevendo tudo como positivo) em vez de verdadeira paridade. Sua pontuação composta foi 0,60.

Significado e Alegações
O artigo afirma que o Memisis oferece um mecanismo flexível, orientado por linguagem natural, para gerar dados sintéticos de saúde, transferindo o ônus da curadoria e validação para um agente com supervisão humana no loop. Os autores enfatizam que a alta fidelidade distribucional por si só é insuficiente para aplicações de saúde; os dados sintéticos também devem preservar a equidade em tarefas a jusante. A ferramenta permite que pesquisadores e proprietários de dados explorem explicitamente esses trade-offs.

Os autores permanecem modestos quanto ao seu escopo atual, observando que a ferramenta é atualmente utilizada por uma pequena comunidade de pesquisadores. Eles reconhecem desafios na finalização da arquitetura, limites de tokens para provedores de nuvem e coordenação entre múltiplos agentes. Trabalhos futuros focam em melhorar a interoperabilidade, implantar em servidores persistentes, garantir conformidade com padrões como HL7/HIPAA e expandir experimentos para conjuntos de dados mais diversos.