From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

Quando uma criança sai de uma sala de emergência de um hospital, a família recebe um documento que deve realizar duas tarefas difíceis simultaneamente. Ele deve dizer ao próximo médico exatamente o que aconteceu e qual tratamento foi administrado, usando uma linguagem médica precisa. Ao mesmo tempo, deve explicar os mesmos eventos para um pai ou mãe preocupado em palavras simples, para que saibam como cuidar da criança em casa e quando retornar se as coisas correrem mal. Durante décadas, os médicos escreveram estes resumos à mão ou preenchendo formulários fixos, um processo que pode ser lento e que, por vezes, deixa de fora detalhes importantes ou utiliza uma linguagem difícil de compreender. Recentemente, surgiu um novo tipo de programa de computador, conhecido como modelo de linguagem de grande escala. Estes programas conseguem ler o registo médico de um paciente e escrever um rascunho de um resumo de alta em segundos. A esperança é que estas ferramentas tornem os documentos mais claros e mais rápidos de produzir. Mas uma questão crítica permanece: se um computador escreve o primeiro rascunho, será que o médico apanha realmente os erros que o computador comete antes de a família levar o papel para casa?

Num hospital em Montpellier, França, investigadores decidiram responder a esta questão observando como os médicos interagem com estas novas ferramentas em tempo real. Eles não se limitaram a perguntar aos médicos se gostavam do trabalho do computador; observaram todo o processo, desde o momento em que o computador gerou um rascunho até ao momento em que o médico assinou o documento final. A equipa recrutou 153 crianças que estavam a ser enviadas para casa do departamento de emergência pediátrica. Dividiram estas famílias em dois grupos. Um grupo recebeu o resumo de alta padrão que o hospital sempre utilizou, montado a partir de um modelo fixo. O outro grupo recebeu um resumo redigido por um programa de computador que corria nos próprios servidores seguros do hospital, o qual foi depois revisto e assinado pelo mesmo médico que tratou a criança. Os investigadores preservaram todas as versões do documento: as notas médicas originais, o primeiro rascunho do computador e o papel final entregue à família. Isto permitiu-lhes ver exatamente o que o computador alterou, o que o médico alterou e que erros poderiam ter passado despercebidos.

Os resultados mostraram que o computador foi muito bom a simplificar a linguagem. Os documentos escritos para as famílias no grupo assistido pelo computador utilizaram palavras mais comuns e menos termos técnicos do que os documentos padrão. No entanto, quando os investigadores verificaram quão bem as famílias compreenderam as instruções alguns dias depois, não houve diferença entre os dois grupos. Quer o documento tivesse sido escrito por um modelo ou por um computador, as famílias se lembravam do plano de acompanhamento e dos sinais de alerta a observar com precisão semelhante. De facto, em ambos os grupos, quase metade das famílias compreendeu incorretamente os detalhes do plano de acompanhamento, sugerindo que o problema não reside apenas na forma como as palavras são escritas, mas em como a informação é comunicada durante o momento agitado da alta.

A parte mais reveladora do estudo foi o que aconteceu nos bastidores quando o médico revistou o rascunho do computador. Os investigadores descobriram que o computador cometeu erros, mas os médicos foram editores ativos e cuidadosos. No grupo onde o computador escreveu o rascacho, os médicos alteraram o texto em quase todos os casos. Eles removeram informações que o computador inventou e que não constavam no registo médico, e corrigiram erros onde o computador tinha interpretado mal uma abreviatura médica. Por exemplo, o computador por vezes expandia um código médico curto para o termo completo errado, transformando uma descrição de sintomas urinários numa condição médica completamente diferente. Os médicos corrigiram apenas uma pequena fração destes erros específicos: corrigiram 6 de 22 expansões de abreviaturas incorretas, o que significa que 16 destes erros permaneceram nos documentos finais entregues às famílias. Isto sugere que factos inventados são fáceis de detetar porque parecem estranhos, mas erros subtis em termos médicos podem parecer perfeitamente normais e passar despercebidos mesmo a uma revisão cuidadosa.

Crucialmente, o estudo descobriu que nenhum erro nos documentos finais entregues aos médicos foi considerado suficientemente grave para causar danos. O computador não inventou conselhos médicos perigosos, e os médicos detetaram os problemas mais críticos. No entanto, os investigadores também descobriram que o computador perdeu diferentes tipos de informação do que o modelo padrão. O modelo padrão simplesmente falhava ao transferir certos campos, como alergias prévias, de uma forma previsível. O computador, por outro lado, por vezes omitia detalhes específicos sobre quem deu uma opinião médica ou omitia achados negativos que estavam registados nas notas. Estas perdas nem sempre eram óbvias no texto final, o que significa que um médico poderia não perceber que algo estava em falta, a menos que comparasse o papel final diretamente com as notas originais.

O estudo conclui que, embora estas ferramentas de computador possam ajudar a tornar os documentos médicos mais fáceis de ler, elas não os tornam automaticamente mais seguros ou precisos. O médico humano continua a ser essencial, mas o seu papel mudou de escrever o texto para o rever cuidadosamente. Os investigadores argumentam que não podemos simplesmente assumir que um médico detetou todos os erros só porque assinou o papel. Para medir verdadeiramente quão bem os humanos supervisionam estas ferramentas, precisamos de ver não apenas o resultado final, mas os passos intermédios: o que o computador escreveu, o que o médico viu e o que o médico escolheu corrigir ou deixar passar. Até podermos medir estes passos, não podemos ter a certeza de que a rede de segurança da revisão humana está a apanhar tudo o que precisa. O trabalho sugere que o futuro da documentação médica dependerá não apenas de melhores computadores, mas de melhores formas para os médicos verem e corrigirem o trabalho que esses computadores produzem.