Participant-Level Validation Reveals Optimistic Performance in Repeated-Measure NIPT Modeling: A Reproducibility Study

Resumo Técnico: Validação ao Nível de Participante em Modelagem de NIPT com Medidas Repetidas

Definição do Problema
O artigo aborda uma falha metodológica crítica na modelagem preditiva para Testes Pré-natais Não Invasivos (NIPT) envolvendo medidas repetidas. Em conjuntos de dados de NIPT, um único participante pode contribuir com múltiplos registros (por exemplo, devido a novas coletas, falhas em ensaios ou amostragem longitudinal). Quando a divisão padrão por nível de registro é utilizada para criar conjuntos de treinamento e teste, registros do mesmo participante frequentemente aparecem em ambos os folds. Isso introduz vazamento de dados (data leakage), onde o modelo aprende características específicas de um participante que são estáveis, em vez de padrões biológicos generalizáveis. Consequentemente, a validação cruzada padrão ao nível de registro produz estimativas de desempenho otimistas e enviesadas que não refletem a capacidade do modelo de se generalizar para participantes inéditos.

Metodologia
O estudo utilizou um conjunto de dados de referência desidentificado contendo 1.082 registros de 267 participantes com feto masculino e 605 registros de 147 participantes com feto feminino. Os autores conduziram um estudo de reprodutibilidade comparando dois protocolos de validação através de 30 experimentos de cinco folds repetidos:

1. Validação Cruzada ao Nível de Registro: As linhas foram atribuídas aleatoriamente aos folds sem considerar a identidade do participante.
2. Validação Cruzada Agrupada por Participante: Todos os registros pertencentes a um único código de participante foram atribuídos exatamente a um fold, garantindo que nenhum participante aparecesse tanto no treinamento quanto no teste.

O estudo avaliou três tarefas distintas utilizando as mesmas características e modelos sob ambos os protocolos:

• Regressão: Predição da fração contínua do cromossomo Y (subconjunto de feto masculino).
• Classificação Binária (Limiar): Predição de se a fração do cromossomo Y $\ge$ 4%.
• Classificação Binária (Aneuploidia): Predição de rótulos de aneuploidia não vazios (subconjunto de feto feminino).

Os modelos incluíram XGBoost otimizado por Bayes para análise de estágio de desenvolvimento e regressão não linear regularizada transparente/regressão logística para os experimentos de validação comparativa. Um componente fundamental da metodologia foi um teste de estresse de vazamento de identidade usando um "preditor de média do participante". Este preditor estimava a média da fração de Y para um participante com base nos registros de treinamento; se o mesmo participante aparecesse no conjunto de teste, o modelo utilizava essa média específica. Isso serviu como um controle negativo para quantificar até que ponto a identidade do participante poderia impulsionar o desempenho aparente.

Principais Contribuições

• Quantificação Empírica do Viés de Validação: O estudo fornece uma demonstração empírica controlada de como a divisão ao nível de registro infla as métricas de desempenho em dados de bioespecimes de medidas repetidas em comparação com a divisão agrupada por participante.
• Mecanismo de Teste de Estresse: A introdução do preditor de média do participante isola explicitamente o mecanismo de otimismo, mostrando que os modelos podem alcançar pontuações elevadas simplesmente memorizando médias específicas de cada participante em vez de aprender regras biológicas transferíveis.
• Referencial Metodológico: O artigo estabelece um framework reprodutível para avaliar o vazamento de validação, enfatizando que a "unidade de validação" deve corresponder à "unidade de implantação clínica" (o participante).

Resultados
A comparação entre os dois protocolos de validação revelou uma degradação consistente de desempenho ao passar da validação ao nível de registro para a validação agrupada por participante:

• Regressão de Fração de Y: A mediana de $R^2$ caiu de 0,068 (nível de registro) para 0,046 (agrupado por participante). O teste de estresse de vazamento de identidade mostrou um colapso dramático de $R^2 = 0,432$ para -0,006 sob validação agrupada, confirmando que o desempenho ao nível de registro era impulsionado pela identidade do participante.
• Classificação de Limiar de 4%: O ROC-AUC diminuiu de 0,588 para 0,563.
• Classificação de Rótulo de Aneuploidia: O ROC-AUC diminuiu de 0,677 para 0,666, com o Precision-Recall AUC caindo de 0,365 para 0,348.

Notavelmente, a análise de estágio de desenvolvimento (usando XGBoost no conjunto de dados completo com métricas de nível de registro) relatou alto desempenho ($R^2 = 0,794$, ROC-AUC = 0,952), o que os autores esclarecem descrever a discriminação dentro do conjunto de dados específico, mas falha em generalizar para participantes não vistos. Os modelos de validação agrupada permaneceram fracos em termos absolutos, indicando que os dados não suportam atualmente regras robustas de cronograma clínico individualizado ou classificadores diagnósticos.

Significância e Alegações
O artigo apresenta seus achados de forma modesta como um estudo de reprodutibilidade metodológica, em vez de uma validação clínica. Sua principal significância reside na correção da interpretação do desempenho preditivo em estudos de NIPT de medidas repetidas:

• O Otimismo é Estrutural: O forte desempenho ao nível de registro reflete frequentemente o vazamento de informações específicas do participante, e não um insight biológico generalizável.
• Padrão Mínimo: A validação cruzada agrupada por participante deve ser considerada o requisito mínimo para modelar dados de NIPT de medidas repetidas para garantir que as estimativas reflitam a generalização para novos participantes.
• Cautela Clínica: Os autores declaram explicitamente que os achados atuais não apoiam o agendamento clínico ou uso diagnóstico. A validação externa prospectiva com coortes independentes é necessária antes que quaisquer afirmações clínicas possam ser feitas.
• Padrões de Relato: O estudo defende o relato de contagens de participantes únicos, registros por participante e regras de agrupamento explícitas em estudos futuros para evitar a ocultação do tamanho efetivo da amostra e dos vieses de validação.