💬 NLP

Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models

Este artículo presenta una evaluación a gran escala de más de 6.000 modelos de lenguaje grandes médicos desplegados en la web, que revela riesgos significativos de alucinaciones, violaciones de políticas y brechas de privacidad, al tiempo que introduce nuevos marcos de evaluación y un conjunto de datos para orientar futuras mejoras en seguridad.

Autores originales: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina la "App Store" de internet para la IA, pero en lugar de juegos o herramientas de productividad, está llena de miles de médicos digitales. Estos son chatbots de IA personalizados (llamados MedGPTs) que cualquiera puede crear y publicar para ofrecer consejos médicos, diagnosticar síntomas o explicar tratamientos.

El documento que proporcionaste es como una inspección de salud masiva y encubierta de este mercado digital. Los investigadores no solo examinaron a los médicos mejor valorados y más populares; auditaron a más de 6,000 de ellos para ver si son seguros, honestos o si, de hecho, son peligrosos.

Aquí está lo que encontraron, desglosado en conceptos simples:

1. El problema del "mentiroso confiado" (Alucinaciones)

Imagina a un guía turístico que habla con absoluta confianza pero inventa hechos sobre la historia. En el mundo médico, esto se llama alucinación.

El hallazgo: Aproximadamente entre el 25% y el 30% de estos médicos de IA están "mintiendo" o inventando hechos médicos. Podrían decirte con confianza que tomes un medicamento peligroso o que ignores un síntoma grave.
El giro: Podrías pensar que los médicos más populares son los más seguros. Pero el estudio descubrió que la popularidad es un mal detector de mentiras. Los médicos de IA "famosos" tenían tantas probabilidades de estar inventando cosas como los menos conocidos. De hecho, los menos populares a menudo eran incluso peores.
El punto ciego del usuario: Los investigadores descubrieron que los usuarios no parecen notar estas mentiras. Si una IA ofrece una respuesta fluida y segura, la gente le da 5 estrellas, incluso si el consejo es médicamente incorrecto. Es como darle una calificación de 5 estrellas a un chef que te sirve una comida que parece deliciosa pero que es venenosa.

2. El problema del "actor malintencionado" (Abuso de diseño)

Algunos de estos médicos de IA no están equivocados por accidente; están diseñados para ser riesgosos.

El hallazgo: Casi el 50% de los médicos de IA tenían "banderas rojas" en su forma de construcción.
La metáfora: Imagina a un dueño de restaurante que pone un cartel que dice "Somos un hospital" (aunque no lo sean), oculta el menú y se niega a mostrarte de dónde viene la comida.
Los detalles específicos:
- Algunos creadores nombraron a sus bots cosas como "Diagnóstico de Cáncer Instantáneo" para engañar a la gente haciéndoles creer que son médicos reales.
- Muchos de estos bots tienen una función llamada "Acciones" (que les permite conectarse a sitios web externos), pero el 57% de ellos no tenía una política de privacidad. Es como entrar en una clínica donde el médico toma tu muestra de sangre pero se niega a decirte qué harán con ella.
- Incluso cuando sí tenían una política de privacidad, casi el 70% de ellas estaban rotas, eran vagas o no protegían realmente tus datos.

3. El enfrentamiento entre "Código Abierto" y "De Tienda"

Los investigadores también compararon estos médicos de IA comprados en tienda con los de "código abierto" (modelos que los desarrolladores comparten libremente, como un libro de recetas comunitario).

Los de Tienda (MedGPTs): Generalmente eran mejores para sonar inteligentes y precisos (acertaban los hechos con más frecuencia). Sin embargo, eran menos estables: a veces daban una gran respuesta, y la próxima vez que preguntabas lo mismo, daban una respuesta totalmente diferente y confusa.
Los de Código Abierto: Estos eran más consistentes (daban la misma respuesta cada vez), pero eran menos precisos en los hechos.
La lección: Ningún tipo es perfecto. Los "elegantes" suenan mejor pero vacilan; los de "comunidad" son estables pero podrían equivocarse en los detalles.

4. Las "Señales de Confianza" están Rotos

En una tienda de aplicaciones normal, si una aplicación tiene malas reseñas o calificaciones bajas, la evitas.

El hallazgo: En esta tienda de IA médica, las calificaciones y las reseñas no te dicen nada sobre la seguridad.
La metáfora: Es como un concesionario de autos donde los coches con más pruebas de manejo y las calificaciones más altas de "5 estrellas" son en realidad los que tienen frenos defectuosos. Los investigadores descubrieron que la cantidad de veces que la gente habló con la IA tenía casi cero conexión con si la IA estaba realmente diciendo la verdad.

La Conclusión

El documento concluye que no podemos confiar en estos médicos de IA solo porque sean populares o porque suenen seguros.

El Sistema está Roto: La forma actual de verificar estos bots (confiando en las reseñas de usuarios y las calificaciones por estrellas) está fallando.
El Peligro: Como los pacientes a menudo no tienen formación médica, no pueden detectar cuándo la IA está mintiendo o cuándo el médico está "fingiendo" autoridad.
La Solución: Necesitamos un nuevo tipo de "inspector de salud" que verifique los hechos de la IA, su diseño y sus reglas de privacidad antes de que se le permita hablar con los pacientes. Los investigadores han publicado un nuevo conjunto de datos y un conjunto de herramientas para ayudar a construir estos inspectores.

En resumen: El mercado médico digital está lleno de mentirosos seguros y diseños riesgosos, y las "reseñas de clientes" no nos ayudan a detectarlos. Necesitamos mejores controles de seguridad antes de permitir que estos médicos de IA entren en nuestras vidas.

Resumen Técnico: ¿No Hacer Daño? Alucinaciones y Abuso a Nivel de Actor en Modelos de Lenguaje Grandes Médicos Desplegados en la Web

1. Declaración del Problema

El despliegue rápido de Modelos de Lenguaje Grandes (MedGPTs) médicos personalizados en plataformas comerciales como la Tienda de OpenAI presenta riesgos significativos de seguridad que a menudo se pasan por alto. Si bien estos modelos ofrecen sugerencias diagnósticas y consejos de salud, enfrentan dos amenazas principales e interconectadas:

Alucinación Clínica: La generación de información médica fluida pero fácticamente incorrecta, incompleta o fabricada (por ejemplo, tratamientos inseguros, consejos farmacológicos incorrectos). A diferencia de los errores generales de los LLM, estas alucinaciones utilizan lenguaje específico del dominio, lo que las hace difíciles de detectar para pacientes no expertos.
Abuso a Nivel de Actor: Decisiones de diseño intencionales por parte de los desarrolladores que predisponen a los modelos a un uso inseguro o poco ético. Esto incluye metadatos engañosos (nombres, descripciones), eludir salvaguardas de seguridad mediante herramientas (por ejemplo, navegación web) y la falta de divulgaciones funcionales de privacidad, particularmente en modelos habilitados con "Acciones" (llamadas a API externas).

La literatura actual se centra en gran medida en la alucinación en modelos base o en el mal uso genérico en aplicaciones de propósito general, dejando un vacío en la evaluación sistemática de los GPTs de atención médica desplegados y orientados al usuario en lo que respecta tanto a la precisión del contenido como a los riesgos estructurales impulsados por los desarrolladores.

2. Metodología

Los autores realizaron una auditoría a gran escala de la Tienda GPT de OpenAI, introduciendo un marco de evaluación de doble capa.

Recopilación de Datos

Alcance: Un rastreador extrajo metadatos de 9,245 GPTs únicos utilizando la API de búsqueda pública de OpenAI y una taxonomía específica del dominio de 171 palabras clave médicas.
Filtrado: Tras una curación manual para asegurar la relevancia en el ámbito de la salud, se estableció un conjunto de datos final de 6,233 MedGPTs.
Muestreo: Debido a los límites de velocidad de la plataforma, se seleccionó una muestra estratificada de 1,500 MedGPTs para una evaluación profunda: los 1,000 principales (por número de conversaciones), un grupo medio aleatorio de 250 y un grupo inferior de 250.
Grupo de Comparación: Se evaluaron 10 LLMs médicos de código abierto prominentes (por ejemplo, Galactica, PMC-LLaMA, MedAlpaca) utilizando las mismas métricas para la comparación.

Marcos de Evaluación

MedGPT-HEval (Detección de Alucinaciones):
- Entrada: Cada modelo fue consultado cinco veces con escenarios clínicos estandarizados del punto de referencia MedQA.
- Métricas: Las respuestas se puntuaron utilizando cuatro métricas complementarias:
  - G-Eval: Un marco de pensamiento encadenado que utiliza Gemini 3.1 Pro para evaluar la precisión fáctica, la coherencia y la fiabilidad de las citas.
  - BARTScore: Mide la probabilidad del texto generado dado el prompt de entrada para evaluar la fidelidad.
  - Entropía Semántica: Cuantifica la incertidumbre del modelo; valores más altos indican mayor inestabilidad y riesgo de alucinación.
  - Similitud Coseno: Mide la alineación semántica entre la respuesta y la entrada clínica utilizando incrustaciones BioBERT.
- Validación: Las puntuaciones automatizadas se validaron frente a la anotación humana en un subconjunto estratificado (300 modelos), logrando un acuerdo del 90.5–94.0% (kappa de Cohen = 0.8163).
Evaluación de Abuso a Nivel de Actor:
- Método: Una tubería de LLM como juez (utilizando Gemini 3.1 Pro) analizó los metadatos (nombres, descripciones, iniciadores de conversación) frente a las políticas de uso de OpenAI.
- Categorías: Los riesgos se clasificaron en consultas de salud, estafas, violaciones de privacidad y actividades ilícitas.
- Umbralización: Se aplicó un agrupamiento K-means ( $k=2$ ) a las puntuaciones de riesgo de mal uso para determinar un umbral de cumplimiento de 0.45. Esto fue validado por una revisión de expertos (kappa de Cohen = 0.8188).
- Auditoría de Privacidad: Específicamente para los 170 modelos con "Acciones" habilitadas, los autores evaluaron la accesibilidad y el cumplimiento de las políticas de privacidad vinculadas.

3. Resultados Clave

Alucinación Clínica

Prevalencia: El 25–30% de los MedGPTs en todos los niveles de popularidad obtuvieron una puntuación inferior a 0.8 en G-Eval.
Disparidades por Nivel: Los modelos de nivel inferior y medio exhibieron los mayores riesgos de alucinación y la alineación contextual más débil. Los modelos de nivel superior funcionaron mejor, pero aún mostraron una variación significativa.
Especificidades de las Métricas:
- Solo el 37.27% de los MedGPTs alcanzaron un BARTScore $\ge -3.5$ .
- Solo el 41.07% alcanzó una Similitud Coseno $\ge 0.4$ .
- El 59.87% tuvo una entropía semántica $< 2$ , lo que indica estabilidad moderada, aunque los modelos de nivel inferior mostraron alta variabilidad.
Percepción del Usuario: Hubo una correlación casi nula entre la participación del usuario (números de conversaciones, calificaciones con estrellas) y las métricas de alucinación (por ejemplo, $r \approx -0.03$ para G-Eval). Los usuarios recompensan la actividad, no la precisión; los modelos menos fiables a menudo recibieron comentarios más positivos.

Abuso a Nivel de Actor y Privacidad

Tasas de Mal Uso: El 49.8% de todos los MedGPTs evaluados violaron las políticas operativas.
- Top 1,000: 54.3% incumplimiento.
- Medio 250: 48.0% incumplimiento.
- Inferior 250: 33.6% incumplimiento.
Brechas de Privacidad: Entre los 170 modelos habilitados con Acciones:
- 57.06% carecían de políticas de privacidad accesibles.
- De los 42.94% con políticas accesibles, casi el 70% obtuvo una puntuación por debajo del umbral de cumplimiento (falta de divulgaciones sobre intercambio de datos, cookies, derechos del usuario).
- Muchas políticas eran enlaces rotos, plantillas genéricas o redirigían a dominios no relacionados.

Modelos de Código Abierto vs. Desplegados en la Web

Precisión vs. Estabilidad: Los MedGPTs demostraron una mayor precisión fáctica (G-Eval promedio: 0.9238) y alineación semántica (Coseno promedio: 0.4054) en comparación con los modelos de código abierto (G-Eval promedio: 0.4558; Coseno promedio: 0.3731).
Consistencia: Los modelos de código abierto fueron más estables y predecibles (menor entropía semántica: 1.6129 frente a 1.9272 para MedGPTs), lo que sugiere una compensación donde los modelos desplegados en la web pueden priorizar la coherencia sobre la estabilidad encontrada en las alternativas impulsadas por la comunidad.

4. Contribuciones Clave

Conjunto de Datos HAA-MedGPT: El lanzamiento del primer conjunto de datos estructurado a gran escala que contiene metadatos, registros de interacción y puntuaciones de evaluación para 6,233 MedGPTs personalizados desplegados en la web.
Análisis de Seguridad de Doble Capa: La introducción de MedGPT-HEval para la detección de alucinaciones combinada con un evaluador de mal uso a nivel de actor, abordando tanto errores a nivel de salida como riesgos a nivel de diseño.
Hallazgos de Gobernanza Sistémica: Evidencia empírica de que los indicadores de confianza de la plataforma (calificaciones, reseñas) no se correlacionan con la seguridad o la precisión, y que casi la mitad de los modelos desplegados violan las políticas operativas.
Cuantificación del Riesgo de Privacidad: La primera evaluación empírica que muestra que la mayoría de los GPTs médicos habilitados con Acciones carecen de divulgaciones funcionales de privacidad.

5. Significado y Afirmaciones

El artículo argumenta que el despliegue actual de LLMs médicos en mercados abiertos sufre de fallos sistémicos de gobernanza. Los autores afirman que:

La popularidad no es un proxy de seguridad: Los altos números de conversaciones y las reseñas positivas no indican fiabilidad fáctica ni adhesión a las políticas de seguridad.
El riesgo es estructural: Los comportamientos inseguros a menudo están incrustados a nivel de diseño por los desarrolladores (por ejemplo, nombres engañosos, falta de políticas de privacidad) en lugar de ser errores de generación incidentales.
La evaluación multimétrica es esencial: Confiar en una sola métrica (como la precisión) es insuficiente; se requiere una combinación de alineación fáctica, estabilidad semántica y cumplimiento de políticas para evaluar la seguridad de los LLMs médicos.
Necesidad urgente de salvaguardas: Los hallazgos destacan la necesidad de evaluaciones de seguridad proactivas, estándares de políticas aplicables y marcos de evaluación multimétrica antes de que los modelos sean desplegados al público.

Los autores concluyen que, sin estas intervenciones, la "brecha de confianza" entre la fiabilidad percibida y la seguridad real seguirá exponiendo a los pacientes a riesgos clínicos y de privacidad.