The AI-CDSS Evidence Gap: A Critical Analysis of Outcome Measurement, Human-AI Interaction, and Implementation Validation

Os hospitais estão começando a usar um novo tipo de assistente digital para ajudar médicos a tomar decisões. Essas ferramentas, construídas com base em inteligência artificial, analisam imagens médicas ou revisam prontuários de pacientes para detectar doenças como pneumonia ou sepse mais rapidamente do que um humano faria. A promessa é imensa: menos diagnósticos perdidos, menos trabalho para equipes sobrecarregadas e melhor cuidado para todos. Mas há uma preocupação crescente de que estamos nos apressando para colocar essas ferramentas em prática antes de sabermos verdadeiramente se elas ajudam ou prejudicam. A questão central não é se o computador consegue encontrar um padrão em uma imagem, mas se esse padrão realmente leva a um paciente mais saudável. Para responder a isso, devemos olhar além da pontuação do computador e observar como os médicos reais interagem com a máquina, e como o sistema se comporta quando não está mais em um laboratório controlado, mas em uma clínica movimentada e caótica.

Uma equipe de pesquisadores partiu para investigar exatamente esse descompasso. Eles realizaram uma revisão crítica das evidências em torno dessas ferramentas de inteligência artificial, analisando milhares de estudos para ver o que realmente sabemos sobre sua segurança e eficácia. O trabalho deles revela uma lacuna preocupante em nossa compreensão. O campo está atualmente obcecado em medir quão precisamente o computador identifica uma doença em um ambiente de teste. No entanto, os pesquisadores descobriram que esse foco na precisão técnica nos diz muito pouco sobre se a ferramenta realmente melhora a sobrevivência do paciente, reduz o tempo de internação hospitalar ou previne o sofrimento. Na verdade, ao focar apenas na pontuação do computador, podemos estar perdendo a parte mais perigosa da história: como a ferramenta altera a forma como os médicos pensam e agem.

Os pesquisadores identificaram três estágios específicos onde as evidências falham, criando uma cadeia de incerteza que torna difícil confiar nesses sistemas. A primeira falha ocorre logo no início, na forma como medimos o sucesso. A maioria dos estudos relata apenas a precisão diagnóstica, como a frequência com que a IA detecta corretamente um tumor. Isso é como julgar um carro novo apenas pela velocidade com que ele pode dirigir em linha reta em uma pista de teste, sem nunca verificar se ele para com segurança ou se lida bem com a chuva. A revisão descobriu que mesmo as evidências mais fortes, que incluíram mais de doze mil pacientes em ensaios randomizados, mostraram apenas uma pequena melhoria na precisão diagnóstica. Mais importante ainda, nenhum desses grandes estudos mediu os resultados que realmente importam para os pacientes, como taxas de mortalidade ou o tempo de permanência no hospital. Sabemos que o computador consegue encontrar a doença, mas não sabemos se encontrá-la precocemente realmente salva vidas.

A segunda falha ocorre quando o computador encontra o humano. Os pesquisadores descobriram que a maneira como os médicos interagem com essas ferramentas é frequentemente imprevisível e, às vezes, prejudicial. Quando um computador sugere um diagnóstico, os médicos nem sempre o tratam como um dado neutro. Às vezes, eles confiam demais na máquina, mesmo quando ela está errada, uma tendência conhecida como viés de automação. Em um exemplo marcante encontrado na literatura, quando uma IA deu um conselho incorreto durante triagens de mamografia, a precisão diagnóstica de radiologistas experientes despencou. A presença de uma sugestão incorreta da IA tornou os médicos piores em seus trabalhos do que se tivessem trabalhado sozinhos. Por outro lado, quando os computadores geram muitos alarmes falsos, os médicos ficam exaustos e começam a ignorar os alertas completamente, um fenômeno chamado fadiga de alerta. Se um sistema "diz que o lobo vem" com muita frequência, o lobo real passa despercebido. As evidências atuais ignoram amplamente esses comportamentos humanos, tratando o médico como um receptor passivo de informações, em vez de um parceiro ativo cujo julgamento pode ser erodido ou enganado.

A terceira falha reside em como esses sistemas são implementados e monitorados no mundo real. Existem muitas diretrizes e estruturas projetadas para ajudar hospitais a implementar essas ferramentas com segurança, mas os pesquisadores descobriram que esses planos raramente são testados ou seguidos na prática. Isso é especialmente verdadeiro em países de baixa e média renda, onde a evidência é quase inexistente. As estruturas usadas para guiar a implementação foram frequentemente criadas em nações ricas, com tecnologia avançada e infraestrutura estável. Quando aplicadas a ambientes com recursos limitados, podem não funcionar de forma alguma. Por exemplo, um sistema treinado com dados de uma parte do mundo pode falhar completamente quando usado em uma população diferente, com padrões de doenças ou condições de vida distintos. Sem o monitoramento adequado, um sistema que parece bom no papel pode sofrer um declínio ao longo do tempo, tornando-se menos preciso conforme as populações de pacientes mudam, mas ninguém percebe porque ninguém está observando as coisas certas.

Os pesquisadores argumentam que essas três falhas não existem apenas lado a lado; elas se alimentam mutuamente para criar um risco maior. Porque medimos apenas a precisão, perdemos os erros humanos que a precisão não consegue prever. Porque não medimos o comportamento humano, não conseguimos construir planos de implementação que realmente funcionem. O resultado é uma situação em que hospitais estão implantando ferramentas poderosas baseadas em informações incompletas. A revisão destaca um cenário específico onde um sistema apresenta um bom desempenho em um país rico, mas é implantado em um hospital distrital na África Ocidental. Lá, o sistema gera muitos alarmes falsos devido às diferentes características dos pacientes. A equipe, sobrecarregada, deixa de olhar para os alertas. A pontuação de precisão do sistema permanece alta no papel, mas, na realidade, está causando danos ao treinar os médicos para ignorar justamente os avisos de que precisam.

Esta análise não significa que a inteligência artificial não tenha lugar na medicina. Os pesquisadores apontam que existem exemplos bem-sucedidos, como ferramentas para triagem de retinopatia diabética ou priorização de exames urgentes, onde a tecnologia claramente ajudou. No entanto, esses sucessos são a exceção, não a regra, e frequentemente dependem de tarefas muito específicas e limitadas. A conclusão mais ampla é que os padrões atuais para provar que uma ferramenta é segura e eficaz são insuficientes. Precisamos parar de perguntar apenas se o computador é inteligente e começar a perguntar se o sistema inteiro, computador e médico juntos, melhora a condição dos pacientes.

Para corrigir isso, os autores propõem um novo padrão mínimo de evidência. Antes que qualquer ferramenta seja amplamente utilizada, ela deve ser testada não apenas em sua capacidade de encontrar uma doença, mas em sua capacidade de melhorar os resultados dos pacientes, como a sobrevivência ou a qualidade de vida. Ela também deve ser estudada para ver como os médicos realmente a utilizam, medindo se eles confiam demais nela ou se a ignoram com frequência excessiva. Finalmente, as ferramentas devem ser monitoradas continuamente após serem implantadas para garantir que não percam sua eficácia ao longo do tempo. Essa abordagem exige mais trabalho e mais tempo, mas é a única maneira de garantir que a pressa em adotar a inteligência artificial não deixe os pacientes para trás. A tecnologia está pronta, mas a evidência para sustentá-la não está. Até que façamos essa ponte, a implantação desses sistemas continua sendo um experimento massivo e não controlado sobre as próprias pessoas que deveriam ajudar.