Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

En el bullicioso y de alta presión entorno de la sala de emergencias de un hospital, los médicos compiten constantemente contra el tiempo. Deben reconstruir la historia de un paciente a partir de notas fragmentadas, resultados de pruebas dispersos y observaciones apresuradas para tomar decisiones que salven vidas. Para los pacientes con VIH, un virus que debilita el sistema inmunológico del cuerpo, este proceso es especialmente crítico. Identificar los factores de riesgo tempranamente —como las relaciones sexuales sin protección, el uso compartido de agujas o síntomas específicos— puede conducir a pruebas y tratamientos que detengan la propagación del virus. Sin embargo, cuando un médico está abrumado por docenas de pacientes al día, los detalles cruciales pueden escaparse fácilmente. El gran volumen de texto no estructurado en los registros médicos dificulta la extracción manual de cada pista relevante, creando un cuello de botella donde la información perdida puede retrasar el diagnóstico y permitir que la enfermedad continúe su propagación silenciosa.

Para abordar esto, los investigadores están explorando el uso de programas informáticos avanzados conocidos como modelos de lenguaje de gran tamaño. Estos son sistemas de inteligencia artificial entrenados en vastas cantidades de texto que pueden leer, comprender y resumir el lenguaje humano. La idea es que estas herramientas podrían actuar como un segundo par de ojos, escaneando rápidamente miles de registros médicos para resaltar detalles clave y resumir historiales de pacientes. Pero para que esto funcione en un hospital real, la tecnología debe ser increíblemente fiable. No puede inventar hechos, omitir información vital o comportarse de manera impredecible. Además, debido a que estas herramientas se están probando a menudo en países de habla hispana, deben comprender el lenguaje médico específico y los matices culturales de las notas clínicas en español, no solo el inglés.

Un equipo de investigadores en España puso esta idea a prueba recientemente. Querían ver si estos programas de inteligencia artificial podían resumir con precisión los registros de urgencias y extraer factores de riesgo específicos del VIH a partir de textos en español sin necesidad de ser reentrenados con nuevos datos primero. Reunieron 100 registros de pacientes anonimizados de un hospital universitario, una mezcla de personas que más tarde resultaron tener VIH y otras que no. Los registros variaban mucho en longitud y complejidad, reflejando la realidad desordenada de la atención de emergencias diaria. Luego, los investigadores introdujeron estos registros en once modelos de IA diferentes, que iban desde potentes sistemas basados en la nube hasta programas de código abierto que podrían ejecutarse en los propios servidores seguros de un hospital. Pidieron a los modelos que hicieran dos cosas: escribir un resumen corto y claro de la visita del paciente, e identificar si ciertos factores de riesgo estaban presentes, ausentes o simplemente no se mencionaban en el texto.

Los resultados revelaron un claro ganador en la tarea de la síntesis. Un modelo, un sistema basado en la nube de Google, produjo resúmenes significativamente más precisos y completos que una alternativa de código abierto. Cuando los médicos revisaron estos resúmenes, encontraron que el modelo basado en la nube cometía muchos menos errores. Rara vez inventaba hechos que no estaban allí y omitía muchos menos detalles importantes. El modelo de código abierto, aunque capaz, dejaba fuera con frecuencia información crítica, como resultados de pruebas pendientes o antecedentes médicos, lo que podría ser peligroso si un médico confiara únicamente en el resumen. Los investigadores también probaron si una IA podía juzgar la calidad de estos resúmenes tan bien como un médico humano. Encontraron que el juez de IA era muy bueno detectando hechos inventados y errores obvios, pero le costaba coincidir con los médicos humanos sobre qué constituía un detalle omitido. Esto sugiere que, si bien la IA puede ayudar a filtrar malos resúmenes, la supervisión humana sigue siendo esencial para detectar omisiones sutiles.

En cuanto a la extracción de factores de riesgo específicos, el rendimiento de los modelos dependía en gran medida de la rigurosidad con la que se medían los resultados. Los investigadores ejecutaron cada modelo cinco veces sobre los mismos registros para ver si daría la misma respuesta cada vez. Encontraron que los modelos eran generalmente mejores identificando factores de riesgo sociales, como el consumo de drogas o el historial sexual, que suelen ser declarados directamente por los pacientes. Sin embargo, eran menos consistentes al identificar factores de riesgo clínicos, como síntomas específicos o infecciones pasadas, que requieren la unión de pistas dispersas de diferentes partes de una nota médica larga. Incluso cuando los modelos se configuraban para ser lo más consistentes posible, a veces daban respuestas diferentes en ejecuciones repetidas. Esta inestabilidad significaba que un modelo que parecía excelente en una sola prueba podría comportarse de manera diferente en un flujo de trabajo continuo en el mundo real.

El estudio concluyó que, si bien estas herramientas de IA muestran una gran promesa para ayudar a las salas de emergencias de habla hispana a gestionar su carga de trabajo, aún no son perfectas. Los mejores modelos pueden reducir significamente el tiempo que los médicos pasan escribiendo resúmenes y pueden ayudar a sacar a la luz factores de riesgo que de otro modo podrían pasarse por alto. Sin embargo, los investigadores enfatizaron que la tecnología debe utilizarse con precaución. El error más común no fue inventar cosas, sino dejar fuera información importante. Para un sistema diseñado para detectar diagnósticos perdidos, omitir un detalle es tan peligroso como inventar uno. Los hallazgos sugieren que el enfoque más eficaz es uno híbrido: utilizar la IA para realizar el trabajo pesado de lectura y resumen, manteniendo a los médicos humanos en el proceso para verificar los resultados y asegurar que ninguna pieza crítica del rompecabezas se pierda. Este equilibrio podría ayudar a los departamentos de emergencia a detectar más casos de VIH más temprano, salvando potencialmente vidas y ralentizando la propagación del virus en comunidades donde sigue siendo un desafío persistente.