ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

No mundo da medicina veterinária, o trabalho diário de cuidar de animais gera um vasto oceano de informações. Cada vez que um cão é examinado, um veterinário escreve notas sobre seus sintomas, os resultados de exames de sangue e os achados de exames de ultrassom. Esses registros são armazenados em sistemas digitais, mas a informação dentro deles é frequentemente escrita como texto livre, muito parecido com uma história ou um relato de diário. Embora esse estilo narrativo seja natural para os médicos escreverem, é difícil para os computadores lerem ou para os pesquisadores analisarem. Para transformar essas histórias em dados úteis para estudos científicos — como rastrear padrões de doenças ou entender como os tratamentos funcionam — alguém deve primeiro ler cada nota individualmente e extrair fatos específicos, como uma leitura de temperatura ou um diagnóstico, e colocá-los em uma tabela organizada e nítida. Esse processo, conhecido como extração de dados, é essencial para a ciência moderna, mas quando feito manualmente, é lento, tedioso e propenso ao erro humano.

A inteligência artificial surgiu como uma solução potencial para este gargalo. Especificamente, os modelos de linguagem de grande escala são programas de computador treinados em quantidades massivas de texto que podem compreender e gerar linguagem humana. Essas ferramentas prometem ler registros médicos e extrair os fatos necessários em segundos, potencialmente liberando os especialistas para se concentrarem em tarefas mais complexas. No entanto, uma questão crítica permanece: será que essas ferramentas digitais conseguem realmente fazer o trabalho tão bem quanto um humano treinado, ou elas cometem erros que poderiam arruinar uma pesquisa? Além disso, como as pessoas que eventualmente usarão essas ferramentas, como os futuros veterinários, se sentem em relação a entregar esse trabalho a uma máquina? Para responder a essas perguntas, pesquisadores da Universidade Texas A&M realizaram uma comparação direta entre estudantes humanos e um sistema de inteligência artificial, medindo não apenas a velocidade e a precisão do trabalho, mas também os pensamentos e sentimentos dos estudantes envolvidos.

O estudo focou em dez estudantes de segundo ano de medicina veterinária que estavam matriculados em um curso sobre inteligência artificial. Os pesquisadores pediram a esses estudantes que extraíssem informações dos registros médicos de três cães suspeitos de pancreatite, uma inflamação dolorosa do pâncreas. Os estudantes realizaram essa tarefa duas vezes. Primeiro, eles leram os registros manualmente e preencheram uma planilha com sessenta e três pontos de dados diferentes, variando desde a idade e o peso do animal até valores laboratoriais específicos e descrições de ultrassom. Após uma pausa de um mês para garantir que não apenas memorizassem as respostas, os mesmos estudantes realizaram exatamente a mesma tarefa, mas desta vez utilizaram um chatbot, um tipo de inteligência artificial, para ajudá-los. Eles foram instruídos a colar os registros médicos no chatbot e pedir que ele extraísse os dados, registrando quanto tempo cada método levou.

Os resultados revelaram uma diferença dramática na velocidade. Trabalhando sozinhos, os estudantes levaram, em média, oito minutos e meio para completar a extração de um único caso. Ao usar o chatbot, o processo levou apenas quinze segundos por caso. Isso significa que a inteligência artificial foi trinta e quatro vezes mais rápida que os estudantes humanos. Apesar dessa enorme diferença de velocidade, a precisão do trabalho permaneceu notavelmente alta para ambos os métodos. Os estudantes alcançaram uma taxa de precisão superior a noventa por cento, e a inteligência artificial igualou esse desempenho, também excedendo noventa por cento de precisão. Essa descoberta sugere que a velocidade da máquina não veio ao custo da qualidade; a ferramenta foi capaz de processar a informação de forma tão confiável quanto os estudantes treinados.

No entanto, a natureza dos erros cometidos por humanos e máquinas foi bastante diferente. Os estudantes tenderam a cometer erros relacionados à fadiga e repetição, como digitar um número incorretamente ou desalinhamento de uma linha de dados. Eles também tiveram dificuldades com descrições ambíguas nas notas médicas, às vezes inferindo informações que não estavam explicitamente declaradas. Por exemplo, se um registro mencionasse uma pequena quantidade de fluido, mas não dissesse explicitamente "anormal", um estudante poderia supor a gravidade, enquanto a inteligência artificial tendeu a ser mais conservadora, aderindo estritamente ao que estava escrito. Curiosamente, a inteligência artificial cometeu um tipo diferente de erro: ela às vezes falhou em seguir instruções rigorosas de formatação, retornando uma frase completa quando um código simples foi solicitado. Embora a ferramenta compreendesse o conteúdo médico, ocasionalmente ela perdia as regras específicas da tarefa, um tipo de erro que não ocorreu com os estudantes humanos.

Além dos números, os pesquisadores queriam entender como os estudantes se sentiam em relação ao uso dessa tecnologia. Através de questionários e entrevistas, os estudantes expressaram uma preferência clara pela inteligência artificial. Eles descreveram o processo manual como mentalmente exaustivo e repetitivo, observando que a ferramenta os ajudava a evitar o fardo cognitivo de filtrar narrativas longas e desorganizadas. Os estudantes sentiram que a inteligência artificial poderia lidar com as partes chatas e repetitivas do trabalho, permitindo que eles se concentrassem nos aspectos mais complexos do raciocínio clínico. No entanto, essa confiança não era cega. Os estudantes enfatizaram que ainda precisariam verificar o trabalho feito pela máquina. Eles reconheceram que, embora a ferramenta fosse eficiente, a responsabilidade final pelos dados e pelas decisões médicas baseadas neles ainda recaía sobre o veterinário humano.

O estudo conclui que a inteligência artificial é uma parceira poderosa e eficiente para a extração de dados de registros veterinários, capaz de trabalhar em uma velocidade que os humanos não conseguem igualar, mantendo uma alta precisão. A tecnologia é excelente em reduzir a monotonia das tarefas repetitivas, mas não substitui a necessidade de supervisão humana. Os estudantes no estudo viram valor em integrar essas ferramentas em suas futuras carreiras, desde que sejam usadas para auxiliar, e não para substituir, o julgamento humano. À medida que a medicina veterinária avança, a combinação da expertise humana com a velocidade da inteligência oferece um caminho promissor para lidar com o crescente volume de dados médicos, garantindo que as histórias nos registros possam ser transformadas em conhecimento que ajude os animais em todos os lugares.