BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
Este estudio demuestra que, si bien los modelos de lenguaje de gran tamaño exhiben tasas significativas de alucinación en la respuesta a preguntas sobre diabetes en bengalí, fundamentar un modelo desplegable localmente con la Guía Nacional de Diabetes Mellitus de Bangladesh mediante la generación aumentada por recuperación mejora sustancialmente la precisión médica y la seguridad, aunque la supervisión clínica sigue siendo esencial ya que ninguna configuración está completamente libre de errores.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
En el mundo moderno, las personas recurren cada vez más a la inteligencia artificial para obtener respuestas sobre su salud, con la esperanza de recibir una orientación rápida y fiable. Estos programas informáticos, conocidos como modelos de lenguaje de gran tamaño, han sido entrenados con vastas cantidades de texto y pueden hablar con fluidez en muchos idiomas, incluido el bengalí, que es hablado por cientos de millones de personas. Sin embargo, estos sistemas tienen un defecto bien conocido: pueden sonar perfectamente seguros de sí mismos mientras afirman cosas que simplemente no son ciertas. En el campo de la medicina, donde una palabra errónea puede conducir a decisiones peligrosas, esta tendencia a inventar hechos se denomina alucinación. Es una preocupación particular en idiomas como el bengalí, donde los datos de entrenamiento para estos programas informáticos suelen ser más escasos y menos fiables que en inglés. Para millones de personas que viven con diabetes en Bangladesh, obtener consejos precisos y seguros en su propio idioma no es solo una conveniencia; es una necesidad crítica, especialmente cuando los hospitales locales suelen estar saturados y las consultas remotas se están convirtiendo en la norma.
Un equipo de investigadores se propuso medir con qué frecuencia estos programas informáticos inventan hechos médicos cuando se les pregunta sobre la diabetes en bengalí, y ver si conectarlos a una fuente de confianza podía detener los errores. Recopilaron cuarenta preguntas comunes que los pacientes podrían hacer, cubriendo temas que van desde la dieta y la medicación hasta el manejo de la enfermedad durante el embarazo o el ayuno religioso. Luego, pidieron a cuatro modelos informáticos de código abierto diferentes que respondieran a estas preguntas. Estos modelos variaban en tamaño y diseño, siendo algunos herramientas de propósito general y otros específicamente ajustados para el idioma bengalí. Los investigadores también construyeron un sistema especial que obligaba a uno de los modelos a buscar respuestas en la Guía Nacional oficial sobre la Diabetes Mellitus para Bangladesh antes de hablar, un método conocido como generación aumentada por recuperación. Dos médicos leyeron entonces cada una de las respuestas, calificándolas en precisión, seguridad y claridad, y marcando cualquier respuesta que contuviera una afirmación médica falsa o no sustentada como una alucinación.
Los resultados revelaron una diferencia sorprendente entre los modelos. El modelo de propósito general más avanzado inventó hechos en solo un 2,5% de sus respuestas, mientras que un modelo diseñado específicamente para el bengalí pero no para la medicina funcionó casi igual de bien. Sin embargo, uno de los modelos generales, que era más pequeño y menos especializado, alucinó en un asombroso 77,5% de sus respuestas. Inventó alimentos que no existen en Bangladesh, sugirió cambios peligrosos en la medicación y ofreció consejos que podrían dañar a un paciente. Esto demostró que el simple hecho de tener un modelo que hable el idioma no es suficiente; la inteligencia subyacente del modelo importa tanto como el idioma que utiliza.
Los investigadores probaron entonces si fundamentar el modelo más débil en las directrices nacionales oficiales podía solucionar sus problemas. Le dieron al modelo acceso a las reglas médicas correctas y le instruyeron para que respondiera únicamente a partir de ese texto. La mejora fue dramática. La tasa de alucinaciones cayó del 77,5% a un 11,3%. Las respuestas se volvieron mucho más precisas, completas y seguras, y el rendimiento del modelo aumentó para igualar o incluso superar al modelo adaptado al bengalí en la mayoría de los criterios, aunque se mantuvo por debajo del mejor modelo en cuanto a seguridad, legibilidad y fiabilidad. El sistema convirtió con éxito una herramienta peligrosamente poco fiable en un asistente mucho más seguro para los pacientes.
Sin embargo, el estudio también encontró que la solución no era perfecta. Incluso con las directrices oficiales, el modelo seguía cometiendo errores en aproximadamente una de cada nueve respuestas. Estos errores restantes eran particularmente preocupantes porque no eran disparates obvios. En su lugar, eran frases fluidas y bien estructuradas que contenían consejos específicos, seguros y potencialmente dañinos, como decirle a un paciente que deje de tomar insulina o que utilice un dispositivo médico inexistente. El modelo incluso citaba a veces las directrices oficiales para respaldar estas afirmaciones falsas, lo que hacía que los errores fueran más difíciles de detectar. Esto sugiere que, si bien conectar una computadora a una fuente de confianza ayuda inmensamente, no elimina el riesgo por completo. Los investigadores concluyeron que, para que estas herramientas sean seguras para los pacientes, deben construirse sobre un modelo base sólido, fundamentarse en directrices oficiales y ser siempre revisadas por un médico humano antes de ser utilizadas para dar consejos médicos. El trabajo proporciona un camino claro a seguir para la creación de asistentes de salud que sean tanto accesibles como dignos de confianza para millones de hablantes de bengalí.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.