Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

No ambiente agitado e de alta pressão de uma sala de emergência de um hospital, os médicos estão constantemente correndo contra o tempo. Eles devem montar a história de um paciente a partir de notas fragmentadas, resultados de testes dispersos e observações apressadas para tomar decisões que salvam vidas. Para pacientes com HIV, um vírus que enfraquece o sistema imunológico do corpo, esse processo é especialmente crítico. Identificar fatores de risco precocemente — como sexo desprotegido, compartilhamento de agulhas ou sintomas específicos — pode levar a testes e tratamentos que interrompem a propagação do vírus. No entanto, quando um médico está sobrecarregado por dezenas de pacientes por dia, detalhes cruciais podem facilmente passar despercebidos. O volume imenso de texto não estruturado nos registros médicos torna difícil extrair manualmente cada pista relevante, criando um gargalo onde a informação perdida pode atrasar o diagnóstico e permitir que a doença continue sua propagação silenciosa.

Para enfrentar isso, pesquisadores estão explorando o uso de programas de computador avançados conhecidos como modelos de linguagem de grande escala. Estes são sistemas de inteligência artificial treinados em vastas quantidades de texto que podem ler, compreender e resumir a linguagem humana. A ideia é que essas ferramentas possam agir como um segundo par de olhos, escaneando rapidamente milhares de registros médicos para destacar detalhes importantes e resumir o histórico dos pacientes. Mas, para que isso funcione em um hospital real, a tecnologia deve ser incrivelmente confiável. Ela não pode inventar fatos, deixar de fora informações vitais ou comportar-se de forma imprevisível. Além disso, como essas ferramentas estão sendo frequentemente testadas em países de língua espanhola, elas devem compreender a linguagem médica específica e as nuances culturais das notas clínicas em espanhol, não apenas em inglês.

Uma equipe de pesquisadores na Espanha testou recentemente essa ideia. Eles queriam ver se esses programas de inteligência artificial conseguiam resumir com precisão os registros de emergência e extrair fatores de risco específicos do HIV de textos em espanhol sem precisar serem treinados com novos dados primeiro. Eles reuniram 100 registros de pacientes anonimizados de um hospital universitário, uma mistura de pessoas que mais tarde foram diagnosticadas com HIV e outras que não foram. Os registros variavam muito em comprimento e complexidade, refletindo a realidade caótica do atendimento de emergência diário. Os pesquisadores então inseriram esses registros em onze modelos diferentes de IA, variando de sistemas poderosos baseados na nuvem a programas de código aberto que poderiam ser executados nos próprios servidores seguros de um hospital. Eles pediram aos modelos que fizessem duas coisas: escrevessem um resumo curto e claro da visita do paciente e identificassem se fatores de risco específicos estavam presentes, ausentes ou simplesmente não mencionados no texto.

Os resultados revelaram um vencedor claro na tarefa de sumarização. Um modelo, um sistema baseado na nuvem do Google, produziu resumos significativamente mais precisos e completos do que uma alternativa de código aberto. Quando os médicos revisaram esses resumos, descobriram que o modelo baseado na nuvem cometia muito menos erros. Ele raramente inventava fatos que não estavam lá e deixava passar muito menos detalhes importantes. O modelo de código aberto, embora capaz, frequentemente deixava de fora informações críticas, como resultados de testes pendentes ou histórico médico prévio, o que poderia ser perigoso se um médico dependesse apenas do resumo. Os pesquisadores também testaram se uma IA poderia julgar a qualidade desses resumos tão bem quanto um médico humano. Eles descobriram que o juiz de IA era muito bom em detectar fatos inventados e erros óbvios, mas tinha dificuldade em concordar com médicos humanos sobre o que constituía um detalhe omitido. Isso sugere que, embora a IA possa ajudar a filtrar resumos ruins, a supervisão humana continua sendo essencial para detectar omissões sutis.

Quando se tratava de extrair fatores de risco específicos, o desempenho dos modelos dependia fortemente de quão rigorosamente os resultados eram medidos. Os pesquisadores rodaram cada modelo cinco vezes nos mesmos registros para ver se ele daria a mesma resposta todas as vezes. Eles descobriram que os modelos eram geralmente melhores em identificar fatores de risco sociais, como uso de drogas ou histórico sexual, que são frequentemente declarados diretamente pelos pacientes. No entanto, eles eram menos consistentes ao identificar fatores de risco clínicos, como sintomas específicos ou infecções passadas, que exigem a montagem de pistas espalhadas de diferentes partes de uma nota médica longa. Mesmo quando os modelos eram configurados para serem o mais consistentes possível, às vezes davam respostas diferentes em execuções repetidas. Essa instabilidade significava que um modelo que parecia excelente em um único teste poderia ter um desempenho diferente em um fluxo de trabalho contínuo do mundo real.

O estudo concluiu que, embora essas ferramentas de IA mostrem grande potencial para ajudar as salas de emergência de língua espanhola a gerenciar sua carga de trabalho, elas ainda não são perfeitas. Os melhores modelos podem reduzir significamente o tempo que os médicos gastam escrevendo resumos e podem ajudar a trazer à tona fatores de risco que poderiam passar despercebidos. No entanto, os pesquisadores enfatizaram que a tecnologia deve ser usada com cautela. O erro mais comum não era inventar coisas, mas sim deixar de fora informações importantes. Para um sistema projetado para detectar diagnósticos perdidos, deixar de fora um detalhe é tão perigoso quanto inventar um. As descobertas sugerem que a abordagem mais eficaz é uma híbrida: usar a IA para lidar com o trabalho pesado de leitura e sumarização, mantendo os médicos humanos no controle para verificar os resultados e garantir que nenhuma peça crítica do quebra-cabeça seja perdida. Esse equilíbrio pode ajudar os departamentos de emergência a detectar mais casos de HIV mais cedo, potencialmente salvando vidas e retardando a propagação do vírus em comunidades onde ele permanece um desafio persistente.