How can digital and AI-enabled behaviour change interventions be evaluated while they are changing? HUMMBER: identifying what changed, for whom, why and with what effect

Imagine tentar conduzir um navio através de uma tempestade enquanto o mapa, o vento e a tripulação mudam ao mesmo tempo. Esta é a realidade dos programas de saúde modernos que vivem em smartphones e dispositivos vestíveis. Essas ferramentas digitais são projetadas para ajudar as pessoas a adotar hábitos mais saudáveis, como exercitar-se mais ou comer melhor. Algumas das versões mais recentes até usam inteligência artificial para adivinhar o que uma pessoa precisa e para alterar seus conselhos em tempo real. Mas essa mudança constante cria um problema para as pessoas que tentam medir se essas ferramentas realmente funcionam. Se um programa muda seus recursos toda semana, ou se as circunstâncias de vida de um usuário mudam, uma simples verificação de "antes e depois" torna-se enganosa. Uma pessoa pode acabar em um bom lugar, mas o caminho que ela percorreu para chegar lá pode ser diferente do de outra pessoa, ou a ferramenta pode ter funcionado para um grupo, mas falhado para outro. Para entender verdadeiramente esses alvos móveis, os cientistas precisam de uma maneira de observar, ouvir e fazer perguntas enquanto o programa está em execução, em vez de apenas esperar pelo resultado final.

Uma equipe de pesquisadores propôs uma nova maneira de lidar com essa complexidade, chamada HUMMBER. Esta abordagem não é um novo aplicativo ou um tratamento médico; é um conjunto de regras sobre como estudar essas ferramentas digitais em constante mudança. Os pesquisadores queriam criar um método que pudesse rastrear o que muda, quem é afetado, sob quais condições e por quê. Crucialmente, este método mantém um humano no comando das decisões finais. A inteligência artificial pode oferecer sugestões e coletar dados, mas o método garante que um avaliador humano decida o que os dados significam e se deve agir sobre eles. A equipe testou essa ideia construindo uma simulação completamente gerada por computador. Eles criaram um programa de saúde digital falso e o povoaram com 600 pessoas virtuais, então executaram o programa por 26 semanas. Eles introduziram problemas específicos, como algumas pessoas tendo acesso ruim à internet ou o programa tornando-se muito difícil, para ver se seu novo método poderia detectar esses problemas com precisão.

A simulação revelou que olhar apenas para o resultado final é frequentemente uma armadilha. No mundo computacional, os pesquisadores criaram cinco grupos diferentes de pessoas virtuais. Ao final das 26 semanas, todos os cinco grupos haviam alcançado quase exatamente o mesmo nível de sucesso, com cerca de 70 por cento deles seguindo o programa. No entanto, a jornada que cada grupo percorreu foi completamente diferente. Um grupo lutou porque a tecnologia falhou com eles, outro porque os objetivos pareceram muito difíceis, e um terceiro porque simplesmente perderam o interesse. Se os pesquisadores tivessem olhado apenas para os números finais, eles teriam perdido essas diferenças vitais. O método HUMMBER, no entanto, rastreou com sucesso esses caminhos separados. Ele mostrou que, embora o destino fosse o mesmo, as razões para chegar lá — ou para falhar em chegar lá — eram únicas para cada grupo. Isso prova que é necessário um método para olhar para a história completa, não apenas para o final.

O estudo também destacou como a justiça pode estar escondida nos dados. Os pesquisadores programaram um cenário onde pessoas com acesso digital limitado tinham menos chances de receber ajuda da ferramenta. O método detectou isso imediatamente. Ele mostrou que esses participantes tiveram menos oportunidades de obter suporte e mais dados ausentes, embora a ajuda em si tenha funcionado tão bem para eles quanto para todos os outros. Sem esse rastreamento detalhado, um pesquisador poderia ter concluído erroneamente que a ferramenta não funcionava para pessoas com internet ruim. Em vez disso, o método esclareceu que o problema não era a eficácia da ferramenta, mas a falta de acesso a ela. Essa distinção é vital para garantir que as ferramentas de saúde ajudem a todos, não apenas aqueles com a melhor tecnologia.

Outra descoberta fundamental foi sobre como pedir informações às pessoas sem irritá-las. A simulação testou diferentes maneiras de verificar os usuários: perguntando imediatamente, esperando um pouco ou deixando que o usuário escolhesse quando responder. Os resultados mostraram que deixar o usuário escolher o momento era o mais eficiente. Isso coletou a informação mais útil para cada minuto que o usuário passou respondendo às perguntas. Isso sugere que respeitar o tempo e a escolha de uma pessoa pode, na verdade, melhorar a qualidade dos dados coletados, em vez de ser apenas um gesto gentil. O método também testou se o sistema conseguia descobrir por que as coisas mudavam. Quando a simulação começou com um palpite errado sobre a causa de um problema, o método HUMMBER se corrigiu lentamente à medida que novas evidências surgiam. Ele não forçou uma resposta rápida; em vez disso, atualizou sua compreensão conforme a história se desenrolava, eventualmente identificando a verdadeira causa na maioria dos casos.

Talvez o mais importante seja que o método aprendeu quando parar e dizer "ainda não sabemos". Na simulação, os pesquisadores tentaram provar que um recurso específico causou uma mudança de comportamento. Quando os dados eram incertos ou a comparação era injusta, o método se recusava a fazer uma afirmação. Ele rotulava o resultado como "evidência insuficiente" em vez de forçar uma conclusão. Esta é uma escolha de design deliberada. Os pesquisadores construíram o sistema para ser cauteloso. Se a evidência não fosse forte o suficiente, ou se os dados estivessem ausentes de uma forma que pudesse enviesar os resultados, o método sinalizava a incerteza. Ele não fingia ter uma resposta. Isso protege os tomadores de decisão de agir com base em falsas esperanças. O sistema também verificava situações em que o efeito de uma ferramenta mudava ao longo do tempo, garantindo que uma conclusão tirada na semana um não fosse aplicada cegamente na semana vinte.

Os pesquisadores foram cuidadosos ao declarar que este era um teste do método em si, não um teste de um programa de saúde real. As pessoas e os eventos foram inteiramente inventados por um computador para ver se as regras funcionavam sob condições controladas. Eles não testaram isso em pacientes reais ou em um hospital real. O objetivo era provar que a lógica do método se sustenta quando as variáveis são conhecidas e os resultados são predefinidos. A simulação mostrou que a arquitetura poderia manter diferentes tipos de evidências conectadas sem confundi-las. Ela podia separar a história do que aconteceu da história do porquê aconteceu, e podia manter o ônus sobre o usuário visível.

Este trabalho sugere um novo caminho para o futuro da saúde digital. À medida que a inteligência artificial se torna mais comum em aplicativos de saúde, essas ferramentas mudarão e se adaptarão constantemente. O método HUMMBER oferece uma maneira de observar essas mudanças de perto, garantindo que entendamos quem se beneficia, quem é deixado de fora e o que está realmente impulsionando os resultados. Ele coloca a responsabilidade de volta nos avaliadores humanos para interpretar as evidências e tomar a decisão final. Embora a simulação tenha provado que o conceito funciona em um ambiente controlado, os pesquisadores observam que o próximo passo é testá-lo no mundo real. Eles precisam ver se médicos, pacientes e desenvolvedores podem usar essas regras juntos para dar sentido a ferramentas de saúde complexas e em constante mudança. Até lá, o método permanece como um plano promissor para manter o julgamento humano no centro de um mundo cada vez mais automatizado.