← Últimos artículos
💻 ciencias de la computación

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

Este estudio transversal multimodelo demuestra que, si bien los modelos de lenguaje de gran tamaño predominantes en la actualidad han alcanzado una precisión cercana al techo en la conversión de métricas de riesgo cardiovascular para adultos mayores, su rendimiento se diferencia primordialmente por la consistencia entre ejecuciones, mostrando DeepSeek una estabilidad significativamente menor que Doubao y Kimi, e inconsistencias que surgen casi exclusivamente de errores de redondeo benignos en lugar de errores clínicamente significativos.

Autores originales: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

Publicado 2026-11-03
📖 5 min de lectura🧠 Análisis profundo

Autores originales: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las enfermedades cardíacas siguen siendo la causa más común de enfermedad y muerte en todo el mundo, y su impacto recae con mayor fuerza en los adultos mayores. Cuando los médicos intentan prevenir estos problemas antes de que comiencen, a menudo recomiendan medicamentos diarios como las estatinas. La decisión de tomar dicho fármaco depende de un entendimiento compartido entre el paciente y el médico: ¿cuánto ayudará esto y cuáles son los riesgos? Esta conversación se basa en números. Un médico podría explicar que un tratamiento reduce la probabilidad de un ataque cardíaco en un determinado porcentaje, o que por cada cien personas que toman el medicamento, un número específico evitará un evento adverso. Estas diferentes formas de enunciar un mismo hecho son matemáticamente equivalentes, pero pueden sentirse muy diferentes para una mente humana. Traducir un número en otro requiere una habilidad llamada competencia numérica, que incluso algunos profesionales médicos encuentran difícil. A medida que las herramientas de inteligencia artificial se vuelven más comunes en la atención médica, muchas personas recurren ahora a ellas para obtener estas explicaciones. Pero si una computadora le da a un paciente un número hoy y un número ligeramente diferente mañana para la misma pregunta, la confianza en esa herramienta comienza a desmoronarse.

Un equipo de investigadores se propuso probar qué tan bien manejan estas tareas específicas tres sistemas populares de inteligencia artificial. Querían ver si estos modelos podían convertir de manera consistente estadísticas médicas complejas en números claros y sencillos para los adultos mayores. El estudio se centró en un escenario en el que un paciente necesita conocer los beneficios y los daños de un medicamento para el corazón. Los investigadores crearon ochenta historias médicas realistas y diferentes que involucraban a pacientes de edad avanzada con diversos factores de riesgo. En cada historia, la IA tenía que calcular cuatro valores específicos: cuánto reducía el tratamiento el riesgo de un evento cardíaco, cuánto aumentaba el riesgo de efectos secundarios, cuántas personas tendrían que tomar el fármaco para que una se beneficie y cuántas tendrían que tomarlo para que una resulte perjudicada. Para asegurar una prueba justa, los investigadores pidieron a cada uno de los tres modelos de IA que respondiera cada una de las preguntas tres veces seguidas, y lo hicieron tanto en inglés como en chino. Esto resultó en miles de respuestas que fueron cotejadas contra una clave de respuestas perfecta y cerrada, creada por expertos humanos.

Los resultados revelaron una verdad sorprendente sobre cómo funcionan estos sistemas. En lo que respecta a acertar con las matemáticas, los modelos fueron casi perfectos. Casi siempre calcularon los números correctos, lo que sugiere que, para este tipo de tarea estructurada, su capacidad de cómputo ya se encuentra en el nivel más alto posible. Sin embargo, la verdadera historia fue la consistencia. Cuando se le hacía la misma pregunta tres veces al mismo modelo, las respuestas no siempre eran idénticas. Uno de los modelos, DeepSeek, dio un conjunto de números diferente en más del diez por ciento de los casos, a pesar de estar configurado en un modo que debería producir exactamente el mismo resultado cada vez. Los otros dos modelos, Doubao y Kimi, fueron mucho más estables, coincidiendo consigo mismos casi siempre. Esta inconsistencia ocurrió incluso cuando los modelos no estaban tratando de ser creativos; simplemente estaban siguiendo instrucciones para calcular números.

Cuando los investigadores analizaron de cerca los casos en los que los modelos dieron respuestas diferentes, descubrieron que las diferencias eran casi siempre mínimas e inofensivas. En casi todos los casos, el desacuerdo era solo una cuestión de redondeo. Por ejemplo, si el cálculo mostraba que un paciente necesitaba tomar el fármaco veintitrés veces para ayudar a una persona, una ejecución podría redondear eso hacia arriba a veinticuatro, mientras que otra podría redondear hacia abajo a veintitrés. Estos pequeños cambios no cambiaban el consejo médico ni la conclusión sobre si valía la pena tomar el medicamento. Los modelos esencialmente decían lo mismo, solo con un número ligeramente distinto en la etiqueta. Solo una mínima fracción de las respuestas, menos de dos décimas del uno por ciento, fue realmente problemática. Estos casos raros involucraron al modelo dando un valor completamente diferente, fallando al responder o cambiando de opinión sobre si la respuesta era correcta.

El estudio también comprobó si el idioma importaba. Los modelos funcionaron tan bien en chino como en inglés, sin diferencias significativas de precisión entre ambos idiomas. Esto sugiere que la capacidad de manejar estos números no está ligada a un idioma específico. Sin embargo, los investigadores observaron que el modelo que tuvo problemas de consistencia en inglés también tuvo problemas en chino, lo que indica que el problema residía en el motor de software específico y no en el idioma en sí. Los hallazgos desafían la creencia común de que configurar una IA en un modo de "temperatura cero" garantiza que siempre dará la misma respuesta. En este estudio, incluso con esos ajustes, el servicio proporcionó números diferentes en ocasiones, probablemente debido a cómo el sistema está construido y se ejecuta internamente.

En última instancia, la investigación muestra que, si bien la inteligencia artificial es excelente calculando estadísticas médicas, su fiabilidad depende de qué tan consistentemente repite esos cálculos. Para un paciente que hace una pregunta de vida o muerte, escuchar un número diferente cada vez puede parecer poco fiable, incluso si los números son técnicamente correctos. Los autores sugieren que, al evaluar la IA médica, los expertos deben mirar más allá de la simple exactitud y prestar mucha atención a esta estabilidad. Proponen una nueva forma de medir la fiabilidad contando con qué frecuencia un modelo da respuestas que no solo son diferentes, sino peligrosamente diferentes. En el caso de estos escenarios de enfermedades cardíacas, los modelos fueron seguros, pero el estudio destaca que, para que estas herramientas sean confiables en clínicas reales, no solo deben conocer la respuesta correcta, sino también ser capaces de decirla de la misma manera cada vez.

¿Ahogado en artículos de tu campo?

Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.

Probar Digest →