Adaptive data selection improves wearable prediction under low baseline performance

Resumo Técnico: Seleção Adaptativa de Dados para Predição em Dispositivos Vestíveis

Definição do Problema
Sistemas de saúde baseados em dispositivos vestíveis (wearables) enfrentam uma tensão fundamental entre a necessidade de dados multimodais de alta frequência para predições precisas em tempo real e as restrições práticas de vida útil da bateria do dispositivo, carga ao usuário e adesão. Embora estratégias de sensoriamento adaptativo tenham sido propostas para amostrar dados seletivamente em pontos temporais informativos para otimizar orçamentos de medição limitados, sua eficácia em indivíduos heterogêneos e condições de sinal variáveis permanece pouco compreendida. Especificamente, não está claro se a seleção adaptativa de dados proporciona benefícios uniformes ou se seu valor é contingente ao desempenho basal do modelo, à riqueza dos dados e às características fisiológicas individuais.

Metodologia
O estudo emprega um framework de simulação retrospectiva utilizando um conjunto de dados longitudinais coletado de aproximadamente 40 participantes durante 30 dias. Os dados incluem sinais fisiológicos contínuos (frequência cardíaca, contagem de passos), respostas de avaliação momentânea ecológica (EMA) (estresse, humor, contexto) e medições intermitentes de pressão arterial (PA).

• Design Experimental: Os autores simulam orçamentos de dados restritos ao limitar a proporção de janelas de observação candidatas disponíveis para o treinamento do modelo (variando de 20% a 100%). O objetivo é prever eventos de PA elevada dentro de um horizonte de 60 minutos.
• Estratégias de Seleção: O estudo compara um baseline de seleção de janela aleatória contra diversas políticas de seleção adaptativa de dados. Estas políticas priorizam janelas de treinamento com base em critérios específicos:
  • Baseada em incerteza: Priorizando janelas onde o modelo tem menor confiança (probabilidade próxima a 0,5).
  • Baseada em risco: Priorizando janelas com a maior probabilidade prevista do evento alvo.
  • Híbrida: Combinando pontuações de incerteza e risco.
  • Variantes temporais: Aplicando estas estratégias dentro de estratos temporais (ex: por dia) para garantir cobertura temporal.
• Modelagem: Um classificador Random Forest é utilizado consistentemente em todos os experimentos. As políticas adaptativas são aplicadas apenas ao conjunto de treinamento, enquanto os conjuntos de validação e teste permanecem fixos.
• Avaliação: O desempenho é medido utilizando a Área Sob a Curva ROC (AUROC) e o escore F1. O "ganho adaptativo" é definido como a melhoria de desempenho da melhor estratégia adaptativa em relação ao baseline de amostragem aleatória sob o mesmo orçamento.

Resultados Principais

1. Correlação Inversa com o Desempenho Basal: O achado mais significativo é uma forte correlação negativa entre o desempenho basal do modelo (sob amostragem aleatória) e o ganho alcançado através da seleção adaptativa.
   • Para a AUROC, a correlação é robusta (Pearson $r = -0,67$, Spearman $\rho = -0,62$, $p < 10^{-30}$). Participantes com baixo desempenho basal experimentaram ganhos substanciais (até 0,7 de melhoria na AUROC), enquanto aqueles com bases fortes viram ganhos limitados ou até negativos.
   • Uma tendência semelhante, porém mais fraca, foi observada para os escores F1.
2. Heterogeneidade entre Indivíduos: Existe uma variabilidade interindividual significativa. Embora 60–80% dos participantes tenham apresentado melhorias na AUROC em todas as modalidades, os ganhos nos escores F1 foram menores e menos consistentes. Isso sugere que o sensoriamento adaptativo melhora de forma mais confiável o desempenho de classificação (ranking) do que métricas dependentes de limiar (threshold).
3. Eficiência de Orçamento: Sob orçamentos restritos (20–40%), as estratégias baseadas em incerteza e híbridas superaram consistentemente a amostragem aleatória, particularmente para participantes com bases mais fracas.
4. Nuance de Modalidade: Embora modelos multimodais tenham geralmente alcançado um desempenho absoluto superior, eles nem sempre geraram os maiores ganhos adaptativos. Configurações mais simples (ex: apenas FC) às vezes mostraram melhorias relativas maiores sob amostragem adaptativa, indicando que a riqueza da modalidade não se traduz automaticamente em melhor utilidade de seleção de amostras.

Principais Contribuições

• Eficácia Dependente de Contexto: O artigo estabelece que a seleção de dados adaptativa não é uma estratégia universalmente superior. Seu valor é altamente dependente do contexto, proporcionando o maior benefício em configurações de "baixo desempenho", onde o problema de predição subjacente é difícil ou os sinais discriminativos são escassos.
• Quantificação da Variabilidade Individual: Ao analisar os ganhos por participante, o estudo destaca que uma política adaptativa de "tamanho único" é suboptimal. A eficácia destas estratégias varia significamente com base na dinâmica fisiológica individual e na qualidade dos dados.
• Divergência de Métricas: O trabalho demonstra uma divergência entre as melhorias de AUROC e F1, sugerindo que a amostragem adaptativa é mais eficaz em melhorar a capacidade do modelo de classificar instâncias corretamente do que em otimizar métricas de classificação de limiar fixo.

Significância e Alegações
Os autores concluem que o sensoriamento adaptativo deve ser visto como uma estratégia de otimização seletiva, e não como uma abordagem de modelagem padrão. Os achados apoiam a implementação de estratégias de sensoriamento personalizadas onde as políticas adaptativas são ajustadas com base no desempenho basal de cada indivíduo.

O estudo afirma que estes resultados oferecem um caminho prático para reduzir a carga de coleta de dados em sistemas de saúde vestíveis — aumentando assim a adesão a longo prazo e a escalabilidade — sem comprometer substancialmente o desempenho preditivo, desde que a seleção adaptativa seja aplicada seletivamente àqueles que mais se beneficiam (ou seja, aqueles com menor desempenho basal). Os autores explicitamente mencionam limitações, incluindo a natureza retrospectiva da simulação e o foco em predição de curto prazo, chamando para futuros estudos prospectivos para validar estes ganhos em configurações de coleta adaptativa ao vivo.