Human-supervised, large language model-based clinical decision support aligned to national newborn protocols in Kenya: a pragmatic, early-stage evaluation

Este estudo avaliou pragmaticamente o AIFYA, um sistema de apoio à decisão clínica supervisionado por humanos e baseado em modelos de linguagem grande, demonstrando sua implementação bem-sucedida, alta concordância com especialistas e adesão às diretrizes nacionais no cuidado neonatal em Kenya.

O essencial

Imagine que você é um médico em um hospital pequeno no interior do Quênia. Você está cuidando de um recém-nascido que parece doente. O tempo está correndo, o bebê precisa de ajuda agora, e você precisa tomar a decisão certa. Mas, para tomar essa decisão, você precisaria consultar um manual gigante, cheio de regras complexas e atualizações constantes. Em um momento de crise, abrir esse manual pode ser como tentar achar uma agulha num palheiro enquanto corre.

É aqui que entra a história deste artigo: AIFYA.

O Que é o AIFYA?

Pense no AIFYA como um "copiloto digital" ou um assistente de navegação GPS para médicos. Ele é um programa de computador inteligente (uma Inteligência Artificial) que foi treinado especificamente para ler e entender as regras oficiais de cuidados com recém-nascidos do Quênia.

Mas há um detalhe muito importante: ele não dirige o carro sozinho. O médico é sempre o motorista. O AIFYA apenas sugere o caminho, mas o médico precisa olhar, confirmar e apertar o botão de "aceitar".

Como Funciona na Prática?

O estudo testou esse sistema em hospitais reais, onde a internet muitas vezes falha (como em estradas de terra sem sinal).

1. O "GPS" Offline: O sistema foi feito para funcionar mesmo sem internet. É como um GPS que você baixa o mapa antes de viajar. Quando o médico entra no quarto, ele digita os sintomas do bebê no tablet. O AIFYA, mesmo sem Wi-Fi, analisa os dados e diz: "Olhe, baseado nas regras oficiais, este bebê pode ter uma infecção. Aqui está o que fazer e, mais importante, aqui está a página exata do manual oficial que diz isso".
2. O Guardião Humano: O sistema não toma a decisão final. Ele diz: "Sugiro esta dose de remédio". O médico olha, verifica se faz sentido para aquele bebê específico e confirma. Isso evita que a máquina cometa um erro e o médico não perceba.
3. O Professor de Bolso: O sistema também serve para ensinar. Se um médico novo chega, o AIFYA ajuda a lembrá-lo das regras, como um professor que está sempre ao lado, mas deixa o aluno fazer a prova.

O Que Eles Descobriram?

Os pesquisadores testaram esse sistema por 10 meses e olharam para três coisas principais:

• As Pessoas Gostaram? Sim! 50 profissionais de saúde foram treinados e usaram o sistema. 92% disseram que foi útil. Eles se sentiram mais seguros, como se tivessem um especialista ao lado em cada consulta.
• O "GPS" Estava Certo? Médicos especialistas (os "chefes" dos neonatologistas) revisaram 118 casos gerados pelo sistema.
  • 75% das sugestões estavam perfeitamente corretas.
  • 15% estavam parcialmente corretas (seguras, mas poderiam ser melhores).
  • Apenas 10% estavam erradas (e a maioria desses erros foi em casos muito raros de bebês prematuros extremos, o que ajudou a melhorar o sistema).
  • O Grande Truque: O sistema citava a fonte da regra em 96% das vezes. É como se, ao dar uma direção, ele mostrasse o mapa oficial. Isso cria confiança. O médico sabe por que a sugestão foi feita.
• Ficou Mais Rápido? O tempo entre o bebê chegar e o médico tomar a primeira decisão foi de cerca de 23 minutos. O sistema não atrasou o trabalho; pelo contrário, ajudou a manter as regras sendo seguidas com mais frequência.

Por Que Isso é Importante?

Muitas pessoas têm medo de que a Inteligência Artificial substitua os médicos ou cometa erros graves sem aviso. Este estudo mostra o oposto: a IA funciona melhor quando é uma ferramenta de apoio, não uma substituta.

O AIFYA é como um guarda-chuva inteligente em um dia de chuva. Ele não para a chuva (a doença), mas protege o médico de se perder nas regras complexas, garantindo que ele siga o caminho seguro e oficial.

Conclusão Simples

Este estudo provou que é possível usar tecnologia avançada (Inteligência Artificial) em lugares com poucos recursos, sem internet constante e com muitos pacientes, desde que:

1. O sistema seja feito para o local (usando as regras locais).
2. O médico esteja sempre no controle (humano supervisionando a máquina).
3. A máquina mostre suas fontes (seja transparente).

O resultado? Bebês mais seguros, médicos mais confiantes e um futuro onde a tecnologia ajuda a salvar vidas no dia a dia, não apenas em laboratórios de alta tecnologia.

Resumo técnico

Resumo Técnico: Avaliação Pragmática de um Sistema de Apoio à Decisão Clínica (SADC) Baseado em LLM Supervisionado por Humanos no Cuidado Neonatal no Quênia

1. Problema e Contexto

A mortalidade neonatal continua a ser um desafio crítico em países de baixa e média renda (PBR), com a maioria das mortes ocorrendo devido a causas preveníveis. No Quênia, apesar da existência de diretrizes nacionais robustas (Protocolos de Cuidado Neonatal Abrangente e Protocolos Básicos de Pediatria), há uma lacuna significativa entre o conhecimento teórico e a aplicação prática no ponto de atendimento.

• Desafios Principais: A carga cognitiva de navegar em documentos extensos durante emergências clínicas, a falta de recursos e a dificuldade em manter a adesão estrita aos protocolos em ambientes de alta pressão.
• Riscos da IA: A implementação de Inteligência Artificial (IA), especialmente modelos de linguagem (LLMs) de "caixa preta", levanta preocupações sobre segurança, responsabilidade, viés algorítmico e a possível erosão da autonomia clínica.

2. Metodologia

O estudo foi uma avaliação pragmática, prospectiva e de métodos mistos, conduzida entre setembro de 2024 e junho de 2025, seguindo o quadro de relato DECIDE-AI para avaliação clínica precoce de sistemas de apoio à decisão.

• Localização: Três instalações de saúde pública no Condado de Bungoma (Quênia), incluindo um hospital de referência (Nível 5) e dois hospitais sub-condais (Nível 4).
• Intervenção (AIFYA): Desenvolvimento e implementação do AIFYA, um sistema de apoio à decisão clínica (SADC) baseado em tablet.
  • Tecnologia: Utiliza um LLM (arquitetura GPT-4) ajustado (fine-tuned) e alinhado estritamente aos protocolos nacionais do Ministério da Saúde do Quênia de 2022.
  • Arquitetura "Offline-First": Projetado para funcionar sem conexão com a internet, sincronizando dados com servidores na nuvem quando a conectividade estiver disponível.
  • Fluxo de Trabalho "Human-in-the-Loop": O sistema gera recomendações, mas o profissional de saúde (PS) deve revisar, aceitar, modificar ou rejeitar cada sugestão antes de prosseguir. Todas as interações são registradas para auditoria.
  • Transparência: Cada recomendação inclui um hiperlink direto para a página exata do protocolo nacional que a fundamenta.
  • Segurança: Inclui calculadoras de dosagem baseadas no peso com verificações de intervalo e alertas automáticos para sinais de "bandeira vermelha".
• Participantes: 50 profissionais de saúde (enfermeiros, oficiais clínicos e médicos) foram treinados e credenciados (teste de competência ≥80%).
• Avaliação:
  • Revisão Cega por Especialistas: 118 cenários clínicos desidentificados foram analisados independentemente por dois neonatologistas certificados para avaliar a correção da recomendação e a precisão da citação.
  • Métricas Primárias: Adoção (casos gerenciados), alcance do treinamento e concordância com diretrizes.
  • Métricas Secundárias: Adesão ao protocolo, tempo de triagem até a decisão e percepções dos usuários.

3. Contribuições Chave

• Modelo de IA Explicável e Auditável: Introdução do conceito de "precisão de citação" como métrica de desempenho, garantindo que cada saída da IA seja vinculada a uma fonte verificável, aumentando a confiança clínica.
• Design Centrado no Contexto de Baixo Recurso: A arquitetura offline-first e o modelo de coaching baseado na instalação (com "campeões" treinados) demonstraram ser eficazes para sustentar a adoção apesar da rotatividade de pessoal e da conectividade intermitente.
• Validação Rigorosa em Cenário Real: Avaliação baseada no mundo real (não apenas simulada) de um sistema de LLM supervisionado por humanos, alinhado a diretrizes nacionais específicas, seguindo o quadro DECIDE-AI.

4. Resultados

• Adoção e Alcance:
  • 550 casos neonatais foram gerenciados com o AIFYA em 10 meses.
  • 50 profissionais de saúde treinados; 33 responderam à pesquisa de satisfação.
  • 92% dos usuários concordaram que a ferramenta foi útil no trabalho diário.
• Concordância Clínica e Precisão:
  • Correção da Recomendação: 75% das recomendações foram classificadas como "Corretas" e 15% como "Parcialmente Corretas" pelos especialistas. Apenas 10% foram consideradas incorretas.
  • Confiabilidade: Alto acordo interavaliador (Kappa ponderado de Cohen = 0,85; IC 95%: 0,79–0,91).
  • Precisão de Citação: 96% das citações aos protocolos foram corretas.
  • Cenários Complexos: Em 40 cenários de dosagem complexa, 75% foram classificados como corretos. As discrepâncias identificadas (principalmente em prematuros extremos) foram usadas para refinar os algoritmos de segurança do sistema.
• Desempenho de Processo:
  • A adesão ao protocolo aumentou significativamente ao longo do estudo (Odds Ratio = 1,05 por mês; p = 0,004).
  • O tempo mediano de triagem até a decisão clínica foi de 23 minutos (IQR 18–31), mantendo-se estável, indicando que o sistema não atrasou o fluxo de trabalho.
  • 35% das sessões clínicas ocorreram totalmente offline.
• Percepções dos Usuários:
  • 79% consideraram a supervisão humana das recomendações de IA "extremamente" ou "muito" importante.
  • A principal preocupação foi a dependência clínica excessiva (51,5%).

5. Significância e Conclusão

O estudo demonstra que um sistema de SADC baseado em LLM, supervisionado por humanos e ancorado transparentemente em diretrizes nacionais, pode ser implementado com segurança e eficácia em unidades neonatais de recursos limitados.

• Segurança e Confiança: A combinação de supervisão humana obrigatória e citações precisas mitiga os riscos de "caixa preta", construindo confiança clínica e permitindo auditoria.
• Viabilidade: O sistema melhorou a adesão aos protocolos sem comprometer a eficiência operacional, provando viável em ambientes com conectividade intermitente.
• Futuro: Os resultados fornecem uma base robusta para a transição para ensaios clínicos controlados e randomizados em múltiplos locais, visando avaliar o impacto final na morbimortalidade neonatal e informar a integração de políticas de saúde digital nacional.

Nota: Este é um pré-impresso (preprint) e os resultados ainda não passaram por revisão por pares completa, portanto, não devem ser usados para guiar a prática clínica isoladamente sem validação adicional.