Inconsistent and divergent large language model safety guidance during intraoperative crises: a guideline- anchored benchmark
Este estudo revela que os modelos de linguagem de grande escala de fronteira exibem inconsistência e divergência significativas ao fornecer orientações de segurança ancoradas em diretrizes durante crises intraoperatórias simuladas, particularmente no que diz respeito à comunicação e escalonamento, destacando a necessidade crítica de avaliar sua confiabilidade e reprodutibilidade, em vez de apenas a precisão agregada, para o suporte à decisão clínica.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No ambiente de alto risco de um centro cirúrgico, segundos importam. Quando a condição de um paciente piora subitamente durante uma cirurgia, a equipe médica deve agir imediatamente, seguindo listas de verificação rigorosas e salvadoras que foram refinadas ao longo de décadas. Esses protocolos são projetados para detectar erros antes que eles causem danos, garantindo que a equipe se comunique claramente, escale o problema para as pessoas certas e realize manobras específicas e críticas. À medida que ferramentas de inteligência artificial conhecidas como modelos de linguagem de grande escala começam a entrar no campo médico, há uma esperança crescente de que elas possam servir como um assistente digital, oferecendo orientação em tempo real durante esses momentos caóticos. No entanto, ao contrário de um médico humano que se baseia em treinamento e experiência, esses programas de computador geram respostas baseadas em padrões de dados, e às vezes podem produzir respostas diferentes para a exata mesma pergunta. A questão crítica para a segurança do paciente não é apenas se uma inteligência artificial consegue identificar um problema, mas se ela consegue recomendar as ações corretas e seguras de forma consistente toda vez que uma crise ocorre, e se ela pode ser confiada para fazê-lo sem hesitação ou contradição.
Uma equipe de pesquisadores da Universidade da Califórnia em San Diego partiu para testar exatamente essa confiabilidade. Eles criaram uma simulação rigorosa envolvendo dez tipos diferentes de emergências cirúrgicas, variando de sangramentos graves a obstruções de vias aéreas e complicações cardíacas. Em vez de pedir à inteligência artificial para simplesmente diagnosticar o problema, os pesquisadores apresentaram aos modelos uma crise que se desenrolava passo a passo, perguntando após cada etapa o que a equipe cirúrgica deveria fazer a seguir. Os modelos foram testados contra uma lista rigorosa de 150 ações de segurança específicas derivadas de diretrizes médicas estabelecidas e manuais de emergência. Essas ações incluíam coisas como declarar uma crise, pedir ajuda, interromper um procedimento prejudicial ou realizar uma manobra de salvamento. Os pesquisadores executaram cada cenário três vezes com três modelos de inteligência artificial líderes diferentes, tratando os programas de computador como se fossem novos membros da equipe ingressando na sala de cirurgia. O objetivo era ver se os modelos dariam o mesmo conselho seguro todas as vezes, ou se sua orientação variaria e mudaria de forma imprevisível.
Os resultados revelaram uma inconsistência significativa e preocupante. Quando o mesmo cenário de crise era apresentado ao mesmo modelo várias vezes, o computador não dava a mesma resposta. Em 29 das 30 combinações de modelo e cenário, a proporção de ações de segurança corretas que o modelo identificava mudava de uma execução para a outra. Em média, a diferença no desempenho entre duas execuções do mesmo modelo era substancial, variando quase 15 a 18 pontos percentuais. Isso significa que, se um cirurgião fizesse a mesma pergunta duas vezes durante uma emergência real, o computador poderia sugerir um conjunto de ações completamente diferente na segunda vez, potencialmente perdendo um passo crítico na primeira. Embora um modelo, o Claude Opus 4.6, tenha identificado mais ações corretas no geral do que os outros, ele ainda sofria dessa mesma instabilidade, e as diferenças na precisão total entre os modelos não foram grandes o suficiente para declarar um vencedor claro. As variações mais perigosas ocorreram na área de comunicação e escalonamento. Os modelos frequentemente falharam em sugerir que a equipe deveria declarar uma emergência ou pedir ajuda adicional, e a taxa com que deixavam passar esses passos cruciais variava drasticamente, com um modelo errando quase três vezes mais do que outro sob condições idênticas.
O estudo também examinou se os modelos sugeririam ações que poderiam realmente prejudicar o paciente. Felizmente, essas recomendações inseguras foram raras em todos os modelos testados. No entanto, o fato de os modelos serem inconsistentes em suas recomendações seguras é uma grande preocupação. Os pesquisadores descobriram que os modelos eram geralmente melhores em sugerir procedimentos médicos específicos, como administrar uma droga ou realizar uma cirurgia, mas tinham dificuldade significativa com os aspectos mais "suaves" e baseados em equipe do gerenciamento de crises, como organizar a equipe ou comunicar a gravidade da situação. Isso sugere que, embora a inteligência artificial possa conhecer os fatos médicos, ela não compreende de forma confiável a dinâmica humana necessária para gerenciar uma crise com segurança. Os pesquisadores concluíram que, para que essas ferramentas sejam úteis em um centro cirúrgico, elas devem ser julgadas não apenas pelo fato de serem geralmente corretas, mas pelo fato de serem consistentemente reproduzíveis. Uma ferramenta que fornece conselhos de segurança diferentes para o mesmo problema não pode ser confiada para apoiar uma equipe médica quando a vida de um paciente está em jogo. O estudo serve como um benchmark, uma régua de medição para a inteligência artificial futura, provando que a confiabilidade é tão importante quanto a precisão quando esses sistemas são usados em situações médicas de alta pressão.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.