Reporting of AI and ML Studies in Elderly Care Settings: A Rapid Systematic Scoping Review

Imagine um mundo onde a tecnologia observa silenciosamente os idosos, não para substituir o cuidado humano, mas para apoiá-lo. Em casas de repouso, instalações de vida assistida e residências particulares, computadores são cada vez mais solicitados a fazer coisas como detectar uma queda antes que um cuidador chegue, prever quando um residente possa precisar de mais ajuda ou monitorar rotinas diárias em busca de sinais de problemas. Esses sistemas dependem de inteligência artificial e aprendizado de máquina, dois termos que muitas vezes soam como ficção científica mas que, na prática, são simplesmente formas de computadores aprenderem com dados para fazer previsões ou identificar padrões. A esperança é que essas ferramentas possam tornar o cuidado mais seguro e eficiente. No entanto, para que essas ferramentas sejam confiáveis e utilizadas de forma eficaz, as pessoas que as constroem devem explicar exatamente como funcionam, de quais dados aprenderam e onde podem falhar. Sem explicações claras, um sistema que parece perfeito no papel pode ser inútil ou até perigoso no mundo real.

Uma equipe de pesquisadores da Universidade de Ciências Aplicadas de Kempten decidiu analisar de perto como os cientistas estão atualmente relatando esses projetos de inteligência artificial para idosos. Eles não construíram um novo sistema nem testaram um dispositivo específico. Em vez disso, atuaram como auditores da literatura, reunindo e examinando 69 estudos recentes publicados desde 2020. O objetivo deles era ver se os autores desses estudos estavam fornecendo informações suficientes para que outros compreendessem os sistemas que criaram. Eles queriam saber se os relatórios incluíam detalhes sobre quem usaria a tecnologia, que tipo de dados treinaram o computador e se o sistema havia sido testado fora de um ambiente controlado de laboratório.

O que encontraram foi um cenário de relatos desiguais. Embora os pesquisadores fossem geralmente bons em descrever o propósito básico de seus sistemas e de onde obtiveram seus dados, eles frequentemente omitiam os detalhes cruciais que determinam se um sistema pode realmente funcionar em um asilo movimentado ou em uma sala de estar silenciosa. Por exemplo, quase todos os estudos descreveram o que o computador deveria fazer, mas menos da metade explicou claramente quem seria o tomador de decisão humano. Em muitos casos, não estava claro se o sistema deveria alertar um enfermeiro, um familiar ou o próprio residente, ou como essa pessoa deveria reagir ao alerta. Essa falta de clareza torna difícil saber como a tecnologia se encaixa no fluxo complexo e centrado no ser humano do cuidado diário.

A lacuna aumentou quando os pesquisadores observaram como esses sistemas foram testados. A maioria dos estudos baseou-se em validação interna, o que significa que o computador foi testado nos mesmos dados que já havia visto ou em dados muito semelhantes ao que aprendeu. Isso é como um aluno fazendo um teste prático usando exatamente as mesmas perguntas que estudou. Embora isso mostre que o computador consegue reconhecer padrões, não prova que ele possa lidar com a realidade bagunçada e imprevisível de um novo ambiente. Apenas uma pequena fração dos estudos, apenas 16 por cento, relatou testar seus sistemas em dados novos e independentes. Menos ainda, cerca de 20 por cento, descreveu o teste do sistema em um ambiente de cuidado do mundo real, onde interagia com pacientes e funcionários reais. Sem esses testes no mundo real, permanece incerto se os sistemas terão o mesmo desempenho quando confrontados com o ruído, o movimento e a variedade de uma casa ou instalação real.

Talvez a omissão mais preocupante tenha sido a falta de discussão sobre incerteza e viés. Quando um computador faz uma previsão, raramente tem 100 por cento de certeza, e pode às vezes estar errado de maneiras que afetam certos grupos de pessoas mais do que outros. Os pesquisadores descobriram que apenas 9 por cento dos estudos explicaram como o sistema lidava com a incerteza ou quão confiante ele era em suas respostas. Da mesma forma, apenas 23 por cento dos estudos verificaram se o sistema apresentava desempenho diferente para diferentes subgrupos, como homens versus mulheres ou pessoas com diferentes tipos de mobilidade. Sem essa informação, não há como saber se um sistema é justo ou confiável para todas as pessoas que possam usá-lo. Os estudos também raramente discutiram o que acontece quando os dados estão ausentes, algo comum na vida real, deixando um ponto cego significativo em como esses sistemas se comportariam quando sensores falham ou registros ficam incompletos.

Os autores da revisão sugerem que a forma atual como esses estudos são escritos foca demais na construção técnica do modelo de computador e pouco em como o sistema se encaixa no ambiente humano mais amplo. As diretrizes existentes para o relato de pesquisas médicas, que são projetadas para ferramentas de diagnóstico como raios-X ou exames de sangue, não parecem cobrir totalmente os desafios únicos do cuidado ao idoso, onde o "paciente" é frequentemente uma comunidade inteira de pessoas com necessidades variadas, e o "diagnóstico" é frequentemente um fluxo contínuo de dados comportamentais. A revisão indica que, embora a tecnologia esteja avançando rapidamente, a forma como os pesquisadores comunicam sua prontidão e limitações não acompanhou esse ritmo. Até que os relatórios incluam detalhes claros sobre quem usa o sistema, como ele foi testado no mundo real e onde ele pode falhar, será difícil para cuidadores e instituições saberem se essas ferramentas estão realmente prontas para serem confiadas à segurança e ao bem-estar dos idosos.