Scalable Patient-Level Prediction in a Trusted Research Environment: New Capabilities for the Veterans Precision Oncology Data Commons

Resumen Técnico: Predicción a Nivel de Paciente Escalable en un Entorno de Investigación Confiable

Planteamiento del Problema
El Veterans Precision Oncology Data Commons (VPODC) sirve como un Entorno de Investigación Confiable (TRE, por sus siglas en inglés) que proporciona acceso seguro a datos clínicos, genómicos y de imagen del Departamento de Asuntos de los Veteranos (VA). Sin embargo, una barrera significativa para el descubrimiento científico es el requisito de que los investigadores tengan acceso directo a datos sensibles para realizar tareas complejas de aprendizaje automático. Los flujos de trabajo tradicionales a menudo requieren la descarga de datos o el uso de entornos locales, lo que compromete la privacidad y la escalabilidad. El desafío consiste en permitir que los investigadores aprobados realicen el descubrimiento de cohortes, entrenen modelos predictivos y evalúen resultados sobre datos sensibles del VA sin acceder nunca directamente a los conjuntos de datos subyacentes, manteniendo al mismo tiempo una infraestructura rentable y que preserve la privacidad.

Metodología
Los autores desarrollaron una arquitectura extensible y centrada en aplicaciones dentro del VPODC utilizando la pila de software de código abierto Gen3. Esta infraestructura integra servicios de autenticación (Fence) y autorización (Arborist) para gestionar el acceso de los usuarios y la colaboración basada en equipos. La metodología central involucra tres aplicaciones front-end principales integradas en una interfaz web unificada:

1. ATLAS: Una herramienta de código abierto de la comunidad OHDSI utilizada para el descubrimiento y la definición de cohortes basadas en el Modelo de Datos Común (CDM) de la Observational Medical Outcomes Partnership (OMPO).
2. Aplicación de Predicción a Nivel de Paciente (PLP): Una interfaz personalizada que integra el paquete de R de OHDSI PLP. Esta aplicación permite a los investigadores seleccionar cohortes, definir ventanas de observación y de desenlace, especificar covariables y entrenar modelos de aprendizaje automático. El backend utiliza scikit-learn de Python para Máquinas de Vectores de Soporte (SVM) y Bosques Aleatorios (RF), y un paquete cyclops modificado para la Regresión Logística de Lasso (LLR).
3. Aplicación de Resultados: Una aplicación basada en React para visualizar el estado de los trabajos de entrenamiento, métricas de rendimiento del modelo, gráficos de diagnóstico (por ejemplo, ROC, calibración) y la descarga de resultados en formato ZIP.

La infraestructura se ejecuta en Kubernetes, utilizando Karpenter para el escalado automático de nodos y servicios web personalizados (por ejemplo, cohort-middleware, workflow-wrapper) para gestionar la ejecución del flujo de trabajo y rastrear los costos mediante etiquetas de AWS.

Para validar el sistema, los autores llevaron a cabo dos casos de uso principales:

• Validación Germinal: Replicación de un estudio previamente publicado que predice la mortalidad por todas las causas en pacientes con enfermedad coronaria y fibrilación auricular utilizando datos sintéticos de Synpuf.
• Aplicación de Investigación de Cáncer: Entrenamiento de modelos para predecir el desarrollo de neoplasia maligna primaria de próstata en Veteranos con un diagnóstico existente de cáncer respiratorio. Esto implicó el entrenamiento de modelos LLR, SVM y RF en una cohorte de N=37,716 Veteranos fallecidos (Cohorte B) con ventanas de desenlace de 3, 5 y 10 años.

Contribuciones Clave
El artículo presenta tres contribuciones específicas:

1. Entorno de Investigación Integrado: Una plataforma unificada que permite la generación de hipótesis, el descubrimiento de cohortes y el desarrollo de modelos PLP sobre datos sensibles del VA sin acceso directo a los datos.
2. Infraestructura Extensible: Una arquitectura escalable que permite a los investigadores interactuar con los datos únicamente a través de aplicaciones front-end, asegurando que los datos permanezcan dentro del límite seguro del VPODC mientras se apoya la colaboración basada en equipos y el control de acceso granular.
3. Demostración de Utilidad Científica: Una aplicación de prueba de concepto para predecir múltiples neoplasias malignas (cáncer respiratorio a cáncer de próstata), demostrando la capacidad de la plataforma para identificar covariables biológicamente significativas y replicar hallazgos de investigación establecidos.

Resultados

• Validación de la Infraestructura: La aplicación PLP replicó con éxito los resultados del estudio germinal (Ahmadi et al.), produciendo métricas de AUC y Brier consistentes, confirmando la precisión de la infraestructura.
• Rendimiento del Modelo: En la tarea de predicción de cáncer de la respiración a la próstata, el modelo de Regresión Logística de Lasso (LLR) superó a los modelos SVM y RF, los cuales exhibieron sobreajuste y una pobre calibración. El mejor modelo LLR logró AUC de prueba de 0.80 (3 años), 0.83 (5 años) y 0.85 (10 años) en validación interna.
• Identificación de Covariables: Los modelos entrenados identificaron predictores establecidos, incluyendo niveles elevados de antígeno prostático específico (PSA), niveles anormales de metabolitos (creatinina, neutrófilos, leucocitos) y una asociación significativa entre la raza negra o afroamericana y el desarrollo posterior de cáncer de próstata en Veteranos con cáncer respiratorio.
• Costo y Eficiencia: En datos sintéticos que comprenden más de un millón de individuos, el entrenamiento y prueba de modelos clásicos de ML (por ejemplo, Random Forest) se completó en menos de cuatro horas con un costo de menos de un dólar. Los flujos de trabajo con datos reales en la Cohorte B demostraron una eficiencia de costos similar.

Significancia y Reivindicaciones
Los autores afirman que la infraestructura actualizada del VPODC permite la prueba de hipótesis y la selección de modelos de manera rápida, rentable y preservando la privacidad. Al eliminar la necesidad de acceso directo a los datos, la plataforma reduce la barrera de entrada para los investigadores manteniendo un estricto cumplimiento de seguridad (SaaS de impacto bajo de FedRAMP). El estudio demuestra que la plataforma puede soportar investigación de cáncer multimodal compleja, como la investigación de múltiples neoplasias malignas primarias, e identifica con éxito factores de riesgo clínicamente relevantes. Los autores señalan que, si bien la implementación actual soporta el aprendizaje automático clásico, el diseño modular permite la futura integración de arquitectes de aprendizaje profundo y de transformadores a medida que las cohortes se expandan. El artículo enfatiza que los hallazgos relativos a las múltiples neoplasias malignas y las disparidades raciales requieren una mayor validación en cohortes más grandes e independientes, pero sirven como una prueba de concepto para la utilidad de la plataforma en la generación de conocimientos biológicamente significativos.