🤖 machine learning

Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

Memisis es una herramienta unificada que aprovecha los modelos de lenguaje grandes para orquestar y evaluar la generación de datos tabulares de salud sintéticos, permitiendo a los usuarios especificar objetivos de alto nivel mientras gestiona automáticamente el flujo de trabajo a través de múltiples sintetizadores y métricas para garantizar la privacidad, la utilidad y la equidad.

Autores originales: Nitish Nagesh, Mahdi Bagheri, Arshia Harish Puthran, Pengbao Zhou, Muhjaazee Love, Aadi Sharma, Ian Harris, Amir M. Rahmani

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nitish Nagesh, Mahdi Bagheri, Arshia Harish Puthran, Pengbao Zhou, Muhjaazee Love, Aadi Sharma, Ian Harris, Amir M. Rahmani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un médico tratando de entrenar a un nuevo asistente de IA para ayudar a diagnosticar condiciones de salud mental. Tienes un cuaderno masivo y del mundo real lleno de registros de pacientes. Pero no puedes compartir ese cuaderno con el entrenador de la IA porque contiene secretos privados (nombres, direcciones, historias médicas específicas). Si lo compartes, violas las leyes de privacidad.

El Problema: Necesitas un cuaderno "falso" que se vea y actúe exactamente como el real, pero que no contenga personas reales. Esto se llama datos sintéticos. Sin embargo, crear un cuaderno falso es complicado. Si los datos falsos son demasiado diferentes de los datos reales, la IA no aprenderá nada útil (baja utilidad). Si los datos falsos aprenden accidentalmente a tratar injustamente a ciertos grupos de personas (como razas o géneros específicos), la IA cometerá errores sesgados (baja justicia).

La Solución: Memisis
El artículo introduce una herramienta llamada Memisis. Piensa en Memisis como un gerente de proyectos superinteligente y automatizado para crear estos cuadernos falsos.

Así es como funciona, usando analogías simples:

1. El "Director de Orquesta" (Orquestación)

Por lo general, crear datos sintéticos es como intentar construir una casa pidiendo a tres contratistas diferentes que hagan el trabajo sin hablar entre sí. Uno construye los cimientos, otro pinta las paredes y un tercero intenta instalar el techo, pero nunca verifican si la casa es realmente habitable o segura.

Memisis actúa como el director de orquesta. No solo construye los datos; coordina todo el proceso. Le dices lo que quieres en inglés sencillo (por ejemplo: "Hazme un conjunto de datos falso que se parezca al real pero que sea justo para todos"). Luego, Memisis:

Elige al mejor "constructor" (un modelo de IA específico como CTGAN, TVAE o GaussianCopula).
Le dice cuánto tiempo trabajar.
Verifica el trabajo inmediatamente.

2. Los "Degustadores" (Evaluación)

Memisis no confía solo en el constructor. Utiliza dos "degustadores" especializados para calificar los datos falsos antes de que tú los veas:

El Chef de Realismo (SDMetrics): Este probador verifica si los datos falsos saben como la cosa real. ¿Tiene la misma mezcla de edades, géneros y síntomas? Si los datos falsos no se parecen en nada al mundo real, este probador le da una puntuación baja.
El Juez de Justicia (Fairlearn): Este probador verifica si los datos están sesgados. Imagina que los datos falsos son una prueba para un gerente de contratación. Si los datos falsos sugieren que las personas de una raza están "enfermas" 3 veces más a menudo que las personas de otra raza (incluso si eso no es cierto en la realidad), el Juez de Justicia golpea el mazo.

3. La "Tarjeta de Puntuación" (Puntuación Compuesta)

Memisis combina estas dos pruebas en una puntuación final. Utiliza una regla astuta:

Si los datos son perfectamente realistas pero injustos, la puntuación recibe una penalización severa.
Si los datos son justos pero sin sentido, la puntuación es baja.
El objetivo es una puntuación "Ricitos de Oro": datos que sean tanto realistas como justos.

La Regla de "No Hacer Trampa":
Una característica clave de Memisis es que el "Juez" (Evaluador) y el "Constructor" (Generador) se mantienen en habitaciones separadas. El Juez no puede susurrarle al Constructor para "hacer que los números se vean mejor". Trabajan de forma independiente. El Juez solo informa al "Supervisor" (la IA principal), quien luego decide: "Este lote es bueno, envíalo al usuario" o "Este lote es injusto, vuelve e inténtalo de nuevo".

¿Qué Encontraron?

El equipo probó Memisis utilizando un conjunto de datos real sobre la esquizofrenia (una condición de salud mental) que incluía raza y género. Probaron tres "constructores" diferentes:

GaussianCopula: Este constructor creó datos que se veían muy realistas (91% de coincidencia), pero eran injustos. Hizo que el grupo "Hispano" pareciera mucho más enfermo que el grupo "Blanco" en los datos falsos. Debido a esta injusticia, su puntuación final disminuyó.
TVAE: Este constructor creó datos que eran perfectamente "justos" (todos se veían iguales), pero en realidad estaban rotos. Era tan uniforme que no enseñaba nada útil a la IA.
CTGAN: Este fue el ganador. Encontró el mejor equilibrio. Los datos se veían realistas lo suficiente para ser útiles y trataban a los diferentes grupos con suficiente justicia para aprobar la prueba.

¿Por Qué Esto Importa?

Memisis es una herramienta para investigadores y propietarios de datos. Les permite decir: "Necesito datos médicos falsos", y la herramienta maneja las matemáticas complejas, las verificaciones de privacidad y las auditorías de justicia automáticamente. Asegura que, cuando usemos la IA para ayudar a los médicos, la IA no esté aprendiendo de una versión sesgada o rota de la realidad.

En resumen: Memisis es el gerente de control de calidad automatizado que asegura que nuestros datos médicos "falsos" sean tanto una buena copia de la cosa real como una copia justa para todos.

Resumen Técnico: Memisis – Orquestación y Evaluación de Datos Sintéticos para Conjuntos de Datos Tabulares de Salud

Declaración del Problema
Los datos sintéticos son cada vez más vitales en el sector de la salud para crear conjuntos de datos que reflejen las distribuciones de los datos originales mientras se mitigan las preocupaciones de privacidad. Sin embargo, generar datos sintéticos de alta calidad requiere un equilibrio delicado en tres dimensiones críticas: privacidad, utilidad y equidad. Las plataformas existentes a menudo carecen de un flujo de trabajo unificado que permita a los usuarios orquestar fácilmente la generación, validar la fidelidad distribucional y evaluar métricas de equidad simultáneamente. Además, los enfoques actuales suelen depender del ajuste manual de "perillas" (por ejemplo, épocas, tamaños de muestra) en lugar de permitir que los usuarios especifiquen objetivos de generación de alto nivel. Existe una necesidad de un flujo de trabajo agente que pueda razonar sobre estos compromisos, particularmente en dominios como la salud, donde el sesgo interseccional en el diagnóstico está documentado clínicamente.

Metodología
Los autores presentan Memisis, una herramienta interactiva basada en agentes diseñada para orquestar y evaluar la generación de datos sintéticos para conjuntos de datos tabulares de salud. El sistema aprovecha los Modelos de Lenguaje Grande (LLM) y métricas de evaluación de última generación para crear un flujo de trabajo unificado.

Arquitectura y Flujo de Trabajo:
- Integración del Backend: Memisis se conecta a la Bóveda de Datos Sintéticos (SDV) para utilizar sintetizadores existentes, específicamente CTGAN, TVAE y GaussianCopula.
- Orquestación de Agentes: El sistema emplea un marco LangGraph ReACT (Razonamiento y Acción). Un agente Supervisor divide el flujo de trabajo en un subgrafo Generador y un subgrafo Evaluador. Esta separación asegura que los mecanismos de puntuación no puedan influir silenciosamente en el proceso de síntesis.
- Interacción del Usuario: Los usuarios interactúan mediante una interfaz de usuario Streamlit utilizando lenguaje natural para especificar objetivos de generación (por ejemplo, distribución objetivo, restricciones de equidad) en lugar de ajustar parámetros de bajo nivel. El agente traduce estos objetivos en llamadas específicas a herramientas.
- Paradigma de Evaluación: El sistema utiliza el paradigma Entrenar en Sintético, Probar en Real (TSTR).
  - Utilidad: Medida mediante SDMetrics (específicamente el SingleTableQualityReport), que agrega la fidelidad de la forma de las columnas marginales y la fidelidad de la correlación par a par en una puntuación entre 0 y 1.
  - Equidad: Medida mediante Fairlearn, centrándose en las Tasas de Falsos Positivos (FPR) a través de atributos protegidos (por ejemplo, raza, género).
- Puntuación Compuesta: Para capturar conjuntamente el compromiso entre equidad y utilidad, los autores proponen una puntuación compuesta:
  $\text{puntuación\_sintética} = \text{calidad} \times \text{multiplicador\_equidad}$
  El multiplicador_equidad actúa como una penalización. Si la relación entre la FPR del grupo más alto y la FPR del grupo más bajo (max_rel_FPR) supera un umbral de 2, el multiplicador descuenta la puntuación de calidad proporcionalmente. Si la relación es $\le 2$ , el multiplicador es 1.0.
Pila de Implementación:
- Servidor: Servidor basado en Python en Streamlit Cloud conectado a GitHub.
- LLM: Llama3.2 (ejecutándose localmente a través de Ollama) sirve como modelo de chat.
- Hardware: GPU NVIDIA RTX 3090 utilizada para entrenar sintetizadores.

Contribuciones Clave

Flujo de Trabajo Agente Unificado: Memisis proporciona una interfaz novedosa donde los usuarios definen objetivos en lenguaje natural, y el agente orquesta la selección de sintetizadores, el entrenamiento y la evaluación sin requerir ajuste manual de hiperparámetros.
Separación de Responsabilidades: La arquitectura multiagente separa estrictamente el proceso de generación del proceso de evaluación, evitando bucles de retroalimentación donde las métricas de puntuación podrían sesgar inadvertidamente el mecanismo de generación.
Métrica Compuesta para Salud: El artículo introduce un mecanismo de puntuación compuesta específico que penaliza los datos sintéticos que logran una alta fidelidad distribucional pero fallan en mantener la paridad en los errores de clasificación aguas abajo (FPR) entre grupos demográficos.
Demostración en Datos de Salud: La herramienta se demuestra en un conjunto de datos de esquizofrenia de código abierto (OpenML 45040) que contiene atributos protegidos (Raza, Sexo) y etiquetas clínicas, mostrando su capacidad para detectar disparidades interseccionales.

Resultados
Los autores evaluaron tres sintetizadores (CTGAN, TVAE, GaussianCopula) en el conjunto de datos de esquizofrenia (1,000 filas de entrenamiento reales, 500 filas sintéticas, 20 épocas):

GaussianCopula: Logró la mayor fidelidad distribucional (Calidad SDMetrics = 0.91). Sin embargo, sufrió una penalización significativa de equidad porque la FPR del grupo hispano fue 2.67 veces mayor que la FPR del grupo blanco (superando el umbral de 2.0). Esto resultó en una puntuación compuesta más baja (0.68).
CTGAN: Produjo la mejor puntuación compuesta equilibrada (0.77). Mantuvo un max_rel_FPR de 1.57 (dentro del rango aceptable), demostrando que logró equilibrar exitosamente la fidelidad con la equidad.
TVAE: Logró un max_rel_FPR de 1.0, pero los autores señalan que esto refleja un "clasificador aguas abajo degenerado" (prediciendo todo positivo) en lugar de una verdadera paridad. Su puntuación compuesta fue 0.60.

Significado y Afirmaciones
El artículo afirma que Memisis ofrece un mecanismo flexible impulsado por lenguaje natural para generar datos sintéticos de salud, trasladando la carga de la curaduría y validación a un agente con supervisión humana en el bucle. Los autores enfatizan que la alta fidelidad distribucional por sí sola es insuficiente para aplicaciones de salud; los datos sintéticos también deben preservar la equidad en tareas aguas abajo. La herramienta permite a los investigadores y propietarios de datos explorar estos compromisos explícitamente.

Los autores mantienen modestia respecto a su alcance actual, señalando que la herramienta es utilizada actualmente por una pequeña comunidad de investigadores. Reconocen desafíos en la finalización de la arquitectura, los límites de tokens para proveedores en la nube y la coordinación entre múltiples agentes. El trabajo futuro se centra en mejorar la interoperabilidad, desplegar en servidores persistentes, garantizar el cumplimiento de estándares como HL7/HIPAA y expandir los experimentos a conjuntos de datos más diversos.