Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

No mundo da medicina moderna, os médicos dependem cada vez mais de computadores para ajudar a prever quais pacientes podem ter dificuldades em tomar seus medicamentos diários. Isso é especialmente crítico para crianças que vivem com HIV, onde perder doses da terapia antirretroviral pode ter consequências graves e fatais. Para fazer essas previsões, pesquisadores reúnem vastas quantidades de dados de visitas hospitalares, como quantas pílulas uma criança ainda tem, se um pai relatou uma dose perdida ou quanto tempo levou para renovar uma prescrição. Eles alimentam essas informações em modelos de aprendizado de máquina, que são programas de computador sofisticados projetados para encontrar padrões e prever comportamentos futuros. A esperança é que essas ferramentas identifiquem crianças em risco precocemente, permitindo que as clínicas intervenham antes que a saúde da criança se deteriore. No entanto, existe uma armadilha oculta na forma como esses dados são coletados e utilizados. Se a informação usada para fazer a previsão estiver muito próxima da definição do próprio problema, o computador pode parecer um gênio quando, na verdade, está apenas lendo o gabarito. Esse fenômeno, conhecido como vazamento de dados (data leakage), cria uma ilusão de perfeição na precisão que desaparece no momento em que o modelo é testado no mundo real.

Uma equipe de pesquisadores de Uganda investigou recentemente exatamente esse problema usando dados de uma coorte da EARTH, um estudo de longo prazo que acompanha crianças que vivem com HIV. Eles queriam entender o quanto o sucesso aparente de um modelo de aprendizado de máquina dependia de um tipo específico de questão metodológica: usar as próprias pistas que definem o problema para resolver o problema. Em seu estudo complementar, a equipe construiu um modelo para prever a "adesão suboptimal", que definiram como uma criança perdendo doses, ficando sem remédio ou atrasando uma renovação na farmácia. Para ser rigoroso, eles haviam removido anteriormente os pontos de dados específicos que criavam essa definição antes de treinar seu computador. Esse trabalho anterior mostrou resultados modestos e realistas. Mas para esta nova análise, os pesquisadores fizeram uma pergunta diferente: o que acontece se deixarmos essas pistas? Eles queriam ver o quanto o desempenho do modelo seria inflado se fosse permitido espiar a resposta.

Para descobrir, os pesquisadores reconstruíram o conjunto de dados do mesmo grupo de 208 crianças e 590 visitas clínicas, mas organizaram os dados em três camadas distintas de rigor. A primeira camada foi a versão "não controlada", onde o computador recebeu todas as informações disponíveis, incluindo os relatos diretos de doses perdidas e a contagem exata de pílulas restantes. Estes são os fatos específicos que os pesquisadores usaram para decidir se uma criança estava aderindo mal ou não. Quando o computador foi treinado nesta camada, os resultados foram surpreendentemente perfeitos. Seis tipos diferentes de algoritmos de aprendizado de máquina, incluindo modelos complexos baseados em árvores, alcançaram uma pontuação de 1,000, o que significa que cometeram zero erros em suas previsões. O computador não estava prevendo o futuro; estava simplesmente repetindo as regras que lhe foram dadas. Ele descobriu que, se uma criança tivesse perdido uma dose, o modelo previa a não adesão, e se não tivesse, previa a adesão. Era um ciclo perfeito, mas inútil para a previsão no mundo real.

Os pesquisadores então passaram para a segunda camada, a versão "fracamente controlada". Aqui, removeram os cinco campos que definiam diretamente o desfecho: o relato de uma dose perdida, o atraso na coleta na farmácia, o relato de ficar sem remédio, o cálculo do atraso e a quantidade de remédio restante. Sem essas pistas diretas, o desempenho do computador caiu significativamente. O melhor modelo, um programa chamado CatBoost, viu sua pontuação de precisão cair de um perfeito 1,000 para 0,735. Embora este ainda fosse um resultado decente, estava longe da perfeição da primeira camada. Essa queda provou que o sucesso inicial era, em grande parte, uma ilusão criada pelo modelo lendo a definição do problema em vez de aprender um padrão genuíno.

Contudo, a história não terminou aí. Os pesquisadores notaram que, mesmo nesta segunda camada, uma variável ainda dominava as decisões do modelo: um campo indicando se a criança havia interrompido seu tratamento desde a última visita. Embora essa variável não definisse tecnicamente o desfecho, ela estava tão intimamente relacionada ao conceito de adesão que atuava como um substituto (proxy) quase perfeito. Quando os pesquisadores removeram essa última variável para criar a terceira camada, a "estritamente controlada", o desempenho do modelo caiu novamente. O modelo CatBoost teve sua pontuação reduzida para 0,680, e sua capacidade de identificar corretamente os casos mais críticos caiu para 0,407. Este resultado final aproximou-se muito do desempenho modesto visto em seu estudo anterior, mais rigoroso, confirmando que o verdadeiro sinal preditivo nos dados era muito mais fraco do que os números iniciais, inflados, sugeriam.

O estudo destaca uma lição crucial para qualquer pessoa que utilize computadores para prever desfechos médicos. Os pesquisadores descobriram que os modelos baseados em árvores, que são populares por sua capacidade de lidar com dados complexos, eram particularmente suscetíveis a esse tipo de inflação porque são excelentes em encontrar as regras exatas que definem uma categoria. Quando o desfecho alvo é construído a partir de uma combinação simples de variáveis de processo — como "dose perdida OU ficar sem remédio" — o modelo pode facilmente memorizar essas regras e alcançar pontuações perfeitas que não refletem a realidade. Os pesquisadores enfatizam que variáveis como registros de renovação de farmácia não são inerentemente ruins; elas são úteis para prever diferentes desfechos, como se o vírus de uma criança será suprimido. O perigo surge apenas quando o objetivo é prever a própria adesão, e o modelo é permitido usar as mesmas medições que definem a adesão como suas principais pistas.

Em última análise, esta análise serve como um alerta contra o ato de aceitar números de alto desempenho sem questionamento. Os pesquisadores demonstraram que incluir campos que definem o desfecho pode aumentar artificialmente a discriminação de um modelo em até 0,41 pontos, uma diferença massiva que poderia levar clínicos a confiar em uma ferramenta que não está realmente pronta para uso. Eles sugerem que estudos futuros adotem uma abordagem em camadas, removendo sistematicamente componentes diretos e substitutos próximos para auditar esse tipo de vazamento. Ao fazer isso, os cientistas podem garantir que os modelos que constroem estejam detectando sinais genuínos e transportáveis que se sustentarão no mundo real, em vez de apenas refletir a estrutura dos dados que lhes foram fornecidos. O trabalho confirma que, embora o aprendizado de máquina prometa muito para melhorar o cuidado em ambientes de recursos limitados, seu poder deve ser temperado com uma compreensão rigorosa de como os dados são construídos.