🤖 machine learning

SurvBench: A Standardised Preprocessing Pipeline for Multi-Modal Electronic Health Record Survival Analysis

SurvBench é um pipeline de pré-processamento padronizado e de código aberto que converte dados brutos de registros eletrônicos de saúde do PhysioNet em tensores prontos para modelos em quatro bancos de dados de cuidados críticos e quatro modalidades, abordando a inconsistência no processamento de dados a montante que atualmente impede a comparação justa de modelos de sobrevivência baseados em aprendizado profundo.

Autores originais: Munib Mesinovic, Tingting Zhu

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Munib Mesinovic, Tingting Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando criar a receita definitiva para prever quanto tempo um paciente permanecerá no hospital ou se ele pode falecer. Você tem quatro cozinhas diferentes (quatro bancos de dados massivos de registros de pacientes: MIMIC-IV, eICU, HiRID e MC-MED). Cada cozinha tem sua própria maneira de armazenar ingredientes, suas próprias xícaras de medição e seus próprios balcões bagunçados.

No passado, todo chef (pesquisador) que queria testar sua nova receita (modelo de IA) precisava limpar sua própria cozinha primeiro. Um chef podia cortar os vegetais (dados) em cubinhos, enquanto outro os deixava inteiros. Um podia lavar a carne (imputar dados ausentes) com água, outro com sabão. Como todos limpavam suas cozinhas de maneira diferente, era impossível dizer se uma nova receita era realmente melhor, ou se funcionava melhor apenas porque aquele chef tinha uma cozinha mais limpa para começar.

Aí entra o SurvBench.

Pense no SurvBench como uma estação de preparo de cozinha universal e automatizada. É uma ferramenta gratuita e de código aberto que pega os ingredientes crus e bagunçados desses quatro hospitais diferentes e os transforma em pacotes perfeitamente padronizados e "prontos para modelo".

Veja como funciona, dividido em partes simples:

1. O Tradutor Universal (Pré-processamento)

O artigo argumenta que o maior problema nesse campo não são os próprios modelos de IA, mas a "lacuna de pré-processamento". O SurvBench resolve isso atuando como um tradutor rigoroso.

Padronização de Unidades: Se um hospital registra temperatura em Fahrenheit e outro em Celsius, o SurvBench converte tudo para a mesma escala antes que alguém os toque.
Tratamento de Dados Ausentes: Às vezes, a frequência cardíaca de um paciente não foi registrada por uma hora. O SurvBench não apenas adivinha; ele preenche a lacuna usando uma regra específica (observando o último valor conhecido) e, crucialmente, anexa uma "máscara de ausência". Isso é como um post-it no ingrediente que diz: "Este valor foi preenchido pela máquina, não medido". Isso garante que a IA saiba a diferença entre um zero real e um zero estimado.
Janelas de Tempo: Em vez de olhar para um fluxo caótico de dados, o SurvBench corta a permanência do paciente em blocos de tempo limpos e de tamanho igual (como fatiar um pão), para que os dados de cada paciente tenham o mesmo formato.

2. As Quatro Cozinhas (Os Bancos de Dados)

O SurvBench conecta-se a quatro bancos de dados públicos principais, que são como quatro tipos diferentes de hospitais:

MIMIC-IV & eICU: São grandes coleções de registros de Unidades de Terapia Intensiva (UTI). Eles acompanham os pacientes desde o momento em que entram na UTI até que saiam ou faleçam.
HiRID: Outro banco de dados de UTI, mas da Suíça, com dados de altíssima resolução (medições tomadas a cada poucos minutos).
MC-MED: Este é um banco de dados do Pronto-Socorro (PS). Em vez de apenas rastrear óbitos, ele rastreia para onde o paciente vai a seguir: se vai para casa, para uma cama hospitalar comum ou é enviado para a UTI? Este é um cenário de "riscos competitivos", como uma corrida onde há múltiplas linhas de chegada possíveis.

3. Os Ingredientes (Modalidades)

O SurvBench não olha apenas para uma coisa; ele combina quatro tipos diferentes de "ingredientes" em um único tensor (um bloco de dados multidimensional):

Estáticos: Coisas que não mudam, como idade, sexo e peso.
Séries Temporais: A frequência cardíaca, a pressão arterial e os resultados de laboratório que mudam ao longo do tempo.
Códigos CID: Os códigos de diagnóstico médico (como o histórico de doenças de um paciente).
Laudos de Radiologia: O texto dos relatórios de raio-X e tomografia computadorizada, que a ferramenta converte em números matemáticos usando modelos de linguagem avançados.

4. A Prova de Fogo (Os Resultados)

Para provar que sua estação de preparo de cozinha funciona, os autores não apenas construíram a estação; eles cozinham cinco "receitas" diferentes (modelos de IA) usando os ingredientes padronizados para ver qual tinha o melhor sabor.

Eles testaram métodos estatísticos clássicos e modelos modernos de aprendizado profundo (como Transformers, que geralmente são usados para linguagem, mas agora estão sendo usados para dados de séries temporais).
O Vencedor: Nos dados de UTI, modelos que conseguiam olhar para o histórico dos sinais vitais do paciente (séries temporais) performaram muito melhor do que aqueles que olhavam apenas para fatos estáticos como idade.
A Estrela Multimodal: Um novo modelo que eles construíram, chamado TransformerSurv (que usa todos os quatro tipos de ingredientes), performou muito bem, especialmente nos dados do Pronto-Socorro, onde conseguiu combinar resultados de laboratório com o texto dos laudos de radiologia.

A Grande Conclusão

O artigo afirma que o SurvBench é a primeira ferramenta a padronizar o "trabalho de preparo" para análise de sobrevivência nesses principais bancos de dados.

Antes disso, comparar dois modelos de IA era como comparar dois corredores que começaram em linhas de partida diferentes. Agora, com o SurvBench, todos começam exatamente na mesma linha, com os mesmos sapatos e na mesma pista. Isso permite que os pesquisadores finalmente digam: "O Modelo A é realmente melhor que o Modelo B", em vez de: "O Modelo A apenas teve um processo de limpeza de dados melhor".

Os autores enfatizam que esta ferramenta não é uma cura milagrosa ou um produto acabado pronto para uso nos hospitais amanhã. É uma fundação. Ela fornece um campo de jogo justo para que futuros cientistas possam construir modelos de IA melhores, mais seguros e mais confiáveis, sem se perderem nos detalhes bagunçados da limpeza dos dados.

Em resumo: O SurvBench é o grande equalizador. Ele pega os dados bagunçados e inconsistentes de diferentes hospitais, limpa-os com exatamente as mesmas regras e os entrega aos pesquisadores de IA para que finalmente possam comparar suas ideias de forma justa.

Resumo Técnico: SurvBench

Declaração do Problema

Os modelos de sobrevivência de aprendizado profundo para dados de Prontuário Eletrônico de Saúde (EHR) enfrentam uma barreira significativa à reprodutibilidade e comparação justa: a "lacuna de pré-processamento". Embora as arquiteturas de modelagem a jusante (por exemplo, DeepSurv, Dynamic-DeepHit) sejam cada vez mais sofisticadas, as etapas a montante necessárias para converter exportações brutas de EHR em entradas prontas para modelos raramente são compartilhadas, documentadas ou padronizadas. Decisões críticas relativas à definição de coorte, discretização temporal, tratamento de dados ausentes, filtragem de características e regras de censura variam entre os estudos. Consequentemente, as diferenças de desempenho relatadas (por exemplo, em índices de concordância) frequentemente refletem essas escolhas de pré-processamento em vez de contribuições genuínas de modelagem. Além disso, benchmarks existentes como o MIMIC-III foram superados pelo MIMIC-IV e carecem de suporte para tarefas modernas de análise de sobrevivência, incluindo riscos competitivos e entradas multimodais.

Metodologia

Os autores apresentam o SurvBench, um pipeline de pré-processamento de código aberto e configurável projetado para padronizar a criação de coortes de análise de sobrevivência a partir de exportações brutas do PhysioNet.

Arquitetura Central do Pipeline

O SurvBench processa dados de quatro bancos de dados de cuidados intensivos: MIMIC-IV, eICU, MC-MED e HiRID. Ele suporta quatro modalidades de entrada:

Características estáticas: Demografia (idade, sexo, etc.).
Séries temporais: Sinais vitais e valores laboratoriais.
Códigos ICD: Históricos de diagnóstico (codificados como multi-hot).
Radiologia: Embeddings de relatórios em texto livre (via modelos HuggingFace como Clinical-Longformer).

O pipeline opera através das seguintes etapas:

Definição de Coorte: Configurável via YAML. Impõe divisão ao nível do paciente para evitar vazamento de dados (garantindo que todas as internações de um único paciente permaneçam em uma única dobra). Aplica filtros específicos por conjunto de dados (por exemplo, duração mínima de permanência de 24 horas para conjuntos de dados de UTI, filtros de idade).
Processamento de Rótulos de Sobrevivência: Suporta tanto endpoints de risco único (por exemplo, mortalidade na UTI) quanto de riscos competitivos (por exemplo, disposição da Emergência: admissão, observação, admissão na UTI). A censura é tratada por truncamento administrativo em um horizonte configurável (por exemplo, 240 horas para UTI, 24 horas para Emergência).
Processamento de Séries Temporais: Medições amostradas irregularmente são agregadas em janelas temporais de largura fixa (por exemplo, intervalos de 4 horas) usando agregação por média. As características são filtradas com base em um limite de dados ausentes (padrão de 1% das janelas de treinamento).
Tratamento de Dados Ausentes: É empregada uma estratégia de duas etapas, segura contra vazamento:
1. Preenchimento para frente: Preenchimento para dentro do paciente com resolução horária.
2. Imputação por Média: Os valores ausentes restantes são preenchidos com a média por característica calculada apenas na dobra de treinamento.
3. Mascaramento: Uma máscara binária é gerada junto com cada tensor para distinguir valores observados dos imputados.
Escala: A normalização Z-score é aplicada usando StandardScaler ajustado exclusivamente na dobra de treinamento. Blocos de características dinâmicas e estáticas são escalados independentemente para evitar que características estáticas dominem as estatísticas de escala dos blocos dinâmicos.
Integração Multimodal: Características estáticas são transmitidas (broadcast) através de todas as janelas temporais. Códigos ICD e embeddings de radiologia são concatenados com o tensor de séries temporais.

Referências de Linha de Base

Para validar o pipeline e fornecer um benchmark, os autores treinaram cinco modelos nas coortes geradas:

Riscos Proporcionais de Cox: Ajustado em características estáticas agrupadas por média.
DeepHit: Uma rede de riscos competitivos de tempo discreto usando características estáticas.
Dynamic-DeepHit: Estende o DeepHit com um LSTM e atenção temporal sobre dados de séries temporais.
DySurv: Um autoencoder variacional LSTM com cabeças de risco logístico específicas de causa.
TransformerSurv: Uma nova arquitetura utilizando um codificador Transformer pré-LN. Foi testado em duas configurações: (a) séries temporais + estáticas, e (b) multimodal completo (incluindo ICD e radiologia).

Resultados Principais

O pipeline gerou coortes variando de ~15.000 (HiRID) a ~128.000 (eICU) internações em UTI. As principais descobertas da avaliação das referências de linha de base incluem:

Importância dos Dados Temporais: Modelos apenas estáticos (Cox, DeepHit) tiveram desempenho significativamente inferior em comparação com modelos que utilizam dados de séries temporais. Em tarefas de UTI de risco único, modelos temporais alcançaram pontuações de concordância ( $C_{td}$ ) de 0,82–0,86, enquanto modelos estáticos pontuaram 0,61–0,64.
Benefícios Multimodais: No conjunto de dados MC-MED (que inclui ICD e radiologia), o TransformerSurv multimodal alcançou a maior concordância ( $C_{td} = 0,774$ ) e melhorou as métricas de calibração (Integrated Brier Score e Negative Binomial Log-Likelihood) em comparação com a variante apenas de séries temporais.
Transferência entre Conjuntos de Dados: Em uma tarefa de validação externa treinando no eICU e testando no MIMIC-IV, o modelo Transformer alcançou a maior discriminação fora da distribuição ( $C_{td} = 0,812 \pm 0,007$ ), superando o Dynamic-DeepHit e o DySurv.
Calibração vs. Discriminação: O estudo destacou um compromisso onde os modelos podiam classificar bem os pacientes (alta concordância) enquanto produziam probabilidades mal calibradas. Por exemplo, no MC-MED, os riscos proporcionais de Cox tiveram a melhor calibração (menor IBS) mas a pior concordância.

Significado e Alegações

Os autores posicionam o SurvBench não como um provedor de um modelo "estado da arte", mas como uma infraestrutura padronizada para permitir comparação justa.

Reprodutibilidade: Ao fornecer um único pipeline controlado por YAML de ponta a ponta, o SurvBench elimina a "lacuna de pré-processamento" onde variações de desempenho são frequentemente impulsionadas por escolhas de manipulação de dados não documentadas em vez da arquitetura do modelo.
Suporte Multimodal: É o primeiro pipeline público a suportar a integração de modalidades de séries temporais, estáticas, ICD e radiologia para análise de sobrevivência em múltiplos bancos de dados principais de EHR (MIMIC-IV, eICU, MC-MED, HiRID).
Segurança contra Vazamento: O pipeline impõe estritamente que a imputação, a escala e a filtragem de características sejam ajustadas apenas na dobra de treinamento, abordando uma fonte comum de vazamento de dados na análise de sobrevivência.
Fundação para Trabalhos Futuros: Os autores afirmam que as referências de linha de base fornecidas e as coortes processadas servem como um "substrato" contra o qual futuros métodos de aprendizado profundo podem ser medidos sob condições de pré-processamento correspondentes.

O artigo conclui que, embora o benchmark herde limitações demográficas de seus dados de origem (principalmente populações dos EUA e da Suíça), ele fornece uma base técnica rigorosa para comparação de modelos, permitindo que os pesquisadores se concentrem na inovação algorítmica em vez de engenharia de dados.