Creating A Gold Standard Annotation Guideline for Electronic Health Records

No zumbido silencioso de um hospital, entre o bipe dos monitores e o farfalhar de prontuários de papel, uma vasta biblioteca da experiência humana está sendo escrita. Por décadas, médicos têm registrado as histórias de seus pacientes em registros eletrônicos de saúde, preenchendo arquivos digitais com notas sobre sintomas, tratamentos e a história complexa de uma vida vivida com doenças. Esses registros são um tesouro de informações, mas são escritos em uma linguagem que é frequentemente desordenada, não estruturada e profundamente pessoal. Embora os computadores sejam excelentes em processar números, eles historicamente tiveram dificuldade em ler essas notas de texto livre com a mesma nuance que um médico humano possui. É aqui que entra um campo conhecido como processamento de linguagem natural, atuando como uma ponte entre a fala humana e a compreensão da máquina. O objetivo é ensinar os computadores a ler notas médicas, extrair os fatos vitais escondidos dentro dos parágrafos e usar esse conhecimento para melhorar o cuidado para milhões de pessoas. No entanto, para que um computador aprenda a ler uma nota médica, ele primeiro precisa ser ensinado por humanos que possam mostrar exatamente o que importa.

Uma equipe de pesquisadores do King's College London e da Universidade de Swansea deu um passo significativo à frente nesse esforço ao criar um novo guia de alta qualidade para ensinar computadores a ler os registros médicos de pessoas com epilepsia. A epilepsia é uma condição neurológica comum caracterizada por crises recorrentes e, embora muitas pessoas a gerenciem bem com medicação, uma parte significativa não consegue. Para entender por que alguns pacientes não respondem ao tratamento, os médicos precisam olhar para o histórico completo e detalhado da doença, incluindo os medicamentos específicos tomados, a frequência das crises e os muitos outros fatores que influenciam a vida de um paciente. Esses detalhes estão espalhados por milhares de registros eletrônicos de saúde, muitas vezes enterrados em descrições de texto livre. Os pesquisadores se propuseram a criar um conjunto de dados "padrão ouro" — uma coleção desses registros que foi cuidadosamente lida e rotulada por especialistas, acompanhada por um conjunto rigoroso de regras sobre como rotulá-los. Este recurso foi projetado para ajudar a treinar sistemas de inteligência artificial para encontrar esses detalhes críticos automaticamente, transformando uma montanha de texto em dados estruturados e utilizáveis.

Para construir este recurso, a equipe reuniu 1.500 registros eletrônicos de saúde de clínicas de epilepsia no Guy's and St Thomas' Trust, em Londres. Esses documentos não foram escolhidos ao acaso; foram cuidadosamente selecionados para representar um amplo espectro de pacientes, garantindo uma mistura de idades, diferentes tipos de medicamentos e várias frequências de crises. Os registros em si são uma mistura de dados estruturados, como a data de nascimento de um paciente, e texto não estruturado, onde os médicos escrevem suas observações, planos de tratamento e notas sobre como o paciente está lidando com a situação. Os pesquisadores então reuniram uma equipe de oito pessoas para ler e rotular esses documentos. Esta equipe era uma mistura de cinco clínicos, que são médicos, e três cientistas de dados especializados em epilepsia. Eles usaram uma ferramenta de software especializada que permitia destacar partes específicas de informação no texto e atribuí-las a categorias, como o tipo de epilepsia que o paciente possui, os medicamentos que está tomando, a dosagem e quaisquer outras condições de saúde que possa ter.

O processo foi projetado para ser o mais claro e consistente possível. A equipe criou um conjunto detalhado de diretrizes que explicava exatamente como interpretar o texto. Por exemplo, se um médico escrevesse que um paciente estava "possivelmente" tendo crises, as diretrizes diziam aos anotadores como avaliar esse nível de certeza. A equipe também teve que decidir como lidar com situações complexas, como um paciente tomando um medicamento em doses diferentes em diferentes momentos do dia. Para testar o quão bem essas diretrizes funcionavam, cada documento foi lido e rotulado por duas pessoas diferentes: um clínico e um cientista de dados. Esse processo de dupla verificação permitiu que os pesquisadores medissem o quanto os dois leitores concordavam entre si. Se as diretrizes fossem claras e a tarefa fosse direta, os dois leitores rotulariam a mesma informação da mesma maneira. Se discordassem, isso sugeria que as diretrizes poderiam precisar de mais clareza ou que a informação no texto era ambígua demais.

Os resultados desse esforço mostraram que a equipe teve sucesso considerável na criação de um sistema confiável. Quando os pesquisadores compararam o trabalho dos dois leitores para cada documento, encontraram um alto nível de concordância geral. Os rótulos mais consistentes foram para os fatos mais diretos, como os nomes dos medicamentos anticonvulsivantes que o paciente estava tomando e se ele estava atualmente livre de crises. Esses detalhes frequentemente apareciam em seções claras, em formato de lista, nas notas, tornando-os fáceis de serem identificados e acordados tanto pelos médicos quanto pelos cientistas de dados. No entanto, os pesquisadores também descobriram que a concordância caía quando as notas se tornavam mais subjetivas ou complexas. Por exemplo, quando o texto discutia a certeza de um diagnóstico ou o tempo exato de eventos, os dois leitores às vezes discordavam. Em alguns blocos de documentos, a concordância era menor, sugerindo que certas partes das notas eram mais difíceis de interpretar do que outras. Os pesquisadores observaram que isso não ocorria porque os documentos em si eram diferentes, mas provavelmente porque os leitores humanos acharam difícil aplicar as regras perfeitamente em todos os casos, especialmente ao lidar com linguagem vaga ou múltiplas doses de medicação.

Apesar desses desafios, o nível geral de concordância foi forte o suficiente para ser útil no treinamento de sistemas de computador. A equipe concluiu que suas diretrizes eram geralmente reproduzíveis e que o conjunto de dados resultante é um recurso valioso para o futuro. Eles descobriram que a dificuldade de concordar sobre uma informação não dependia de quão rara essa informação era; até fatos comuns podiam ser difíceis de concordar se fossem escritos de forma ambígua. O estudo sugere que, para a inteligência artificial realmente dominar a arte de ler notas médicas, as diretrizes futuras devem colocar uma ênfase ainda maior no tratamento da incerteza e no ensino de como as máquinas podem raciocinar sobre tempo e probabilidade. À medida que a equipe continua a anotar mais registros e a refinar suas regras, esta crescente biblioteca de dados rotulados servirá como base para a construção de ferramentas mais inteligentes. Essas ferramentas poderão, eventualmente, ajudar médicos a analisar milhares de históricos de pacientes em segundos, revelando padrões que podem levar a melhores tratamentos para aqueles que lutam contra a epilepsia resistente a medicamentos.