Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

Este estudio revela que, aunque las prescripciones de ejercicio generadas por modelos de lenguaje grandes presentan una alta consistencia semántica, muestran variabilidad significativa en componentes cuantitativos clave como la intensidad, lo que subraya la necesidad de restricciones estructurales y validación experta antes de su implementación clínica.

Lo esencial

🍽️ El Chef Robot y sus Menús de Ejercicio

Imagina que tienes un chef robot (la Inteligencia Artificial o "LLM") que es experto en crear recetas de ejercicio para todo tipo de personas: desde gente sana que quiere ganar músculo hasta pacientes con enfermedades como diabetes o problemas en las rodillas.

El estudio de Kihyuk Lee se preguntó algo muy importante: "Si le damos al chef la misma receta y los mismos ingredientes 20 veces seguidas, ¿cocinará exactamente el mismo plato cada vez?"

En el mundo de la medicina y el ejercicio, esto es vital. Si un paciente le pide al chef un plan para bajar de peso, y el chef le da un plan diferente cada vez que pregunta, ¡podría ser peligroso!

🔍 ¿Qué hicieron los investigadores?

1. Los Clientes (Casos Clínicos): Crearon 6 "clientes" ficticios. Algunos eran pacientes reales con problemas (diabetes, cáncer, dolor de rodilla) y otros eran personas sanas que querían ponerse en forma.
2. La Prueba: Le pidieron al chef (usando un modelo llamado Gemini 2.5 Flash) que creara un plan de ejercicios para cada cliente. Pero no una vez, sino 20 veces seguidas, sin cambiar nada en la orden.
3. El Objetivo: Ver si los 20 planes eran idénticos o si el chef se volvía loco y cambiaba los ingredientes cada vez.

📊 Lo que descubrieron (La parte divertida)

1. La "Voz" del Chef era muy consistente (Similitud Semántica)

Cuando los investigadores leyeron los 20 planes, notaron que sonaban casi igual. Era como si el chef siempre usara las mismas palabras y el mismo tono de voz.

• La analogía: Imagina que le pides a un actor que diga "Hola, ¿cómo estás?" 20 veces. Lo dirá con el mismo acento y emoción cada vez. La IA fue muy buena manteniendo la "forma" de su respuesta.

2. Pero los "Ingredientes" cambiaban (Consistencia Estructural)

Aquí es donde se puso interesante. Aunque los planes sonaban igual, los números a veces cambiaban.

• El problema: Si le decías al chef "Haz que el paciente corra a una intensidad moderada", a veces decía "correr al 60% de tu ritmo cardíaco", y otras veces "correr al 70%".
• La analogía: Es como si el chef dijera: "Ponle sal al plato". Pero a veces ponía una pizca, y otras veces una cucharada. En medicina, esa diferencia puede ser la línea entre un ejercicio seguro y uno peligroso.
• El hallazgo: Los planes para pacientes enfermos (con restricciones claras) eran más consistentes. Los planes para personas sanas (que tienen más libertad) eran más caóticos, como un chef que improvisa demasiado.

3. El Chef siempre advertía sobre el fuego (Seguridad)

¡Buena noticia! En el 100% de los casos, el chef incluyó advertencias de seguridad ("¡Cuidado si te duele la rodilla!", "¡Para si sientes mareo!").

• La diferencia: Sin embargo, con los pacientes más complejos (como el que tenía diabetes, hipertensión y obesidad), el chef escribía muchas más advertencias que con una persona sana. Era como si el chef supiera que ese cliente necesitaba más precauciones y le escribiera un manual de seguridad de 10 páginas, mientras que al cliente sano le daba solo una nota rápida.

🚦 ¿Qué significa esto para nosotros?

El estudio nos dice tres cosas importantes:

1. La IA es buena, pero no perfecta: Puede escribir muy bien y sonar muy profesional, pero a veces falla en los detalles numéricos exactos (como cuántas veces a la semana o qué tan fuerte hacer el ejercicio).
2. Las reglas ayudan: Cuando le das a la IA reglas muy estrictas (como en los casos de pacientes enfermos), se comporta mejor. Cuando le das mucha libertad, se vuelve más variable.
3. No podemos confiar ciegamente: No podemos simplemente pedirle a la IA que haga un plan de ejercicio y usarlo tal cual. Necesitamos un "jefe de cocina" humano (un experto médico) que revise los números antes de dárselo al paciente.

🏁 En resumen

Este estudio es como una prueba de calidad para un chef robot. Descubrió que el chef es muy bueno hablando y dando consejos generales, pero a veces se confunde con las cantidades exactas. Por eso, antes de usar a estos robots para recetar ejercicios a pacientes reales, necesitamos asegurarnos de que un humano experto revise la "receta" final para evitar errores.

La lección final: La IA es una herramienta increíble, pero todavía necesita de un guía humano para ser totalmente segura en el mundo real.

Resumen técnico

Título del Estudio:

Consistencia de las Prescripciones de Ejercicio Generadas por IA: Un Estudio de Generación Repetida Utilizando un Modelo de Lenguaje Grande

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) han demostrado ser herramientas prometedoras para generar prescripciones de ejercicio personalizadas, especialmente en entornos con acceso limitado a especialistas. Sin embargo, existe una brecha crítica en la literatura: la consistencia de las salidas bajo condiciones idénticas.

• El riesgo: Debido a su naturaleza probabilística (generación de tokens), un LLM puede producir respuestas diferentes para el mismo perfil de paciente si se le consulta repetidamente con el mismo prompt.
• La implicación clínica: En la prescripción de ejercicio, donde la variabilidad en la intensidad, frecuencia o tipo de ejercicio puede afectar la seguridad y los resultados del tratamiento, la falta de reproducibilidad es un obstáculo mayor para la implementación clínica.
• Objetivo: Evaluar la consistencia intra-modelo de las prescripciones generadas por un LLM (Gemini 2.5 Flash) mediante un diseño de generación repetida, más allá de la simple evaluación de seguridad o precisión.

2. Metodología

El estudio empleó un diseño de generación repetida controlada con los siguientes componentes:

• Modelo y Configuración: Se utilizó el modelo Gemini 2.5 Flash a través de la API de Vertex AI. La temperatura se estableció en 1.0 para maximizar la variabilidad estocástica y observar la dispersión natural de las salidas, manteniendo otros parámetros por defecto.
• Escenarios Clínicos: Se definieron 6 escenarios (n=6):
  • 3 casos clínicos de alto riesgo (Diabetes tipo 2 + Obesidad, Osteoartritis de rodilla + Riesgo de caídas, Recuperación post-cáncer de colon).
  • 1 caso multimorbilidad (Hipertensión + Diabetes + Obesidad).
  • 2 casos de adultos sanos (Pérdida de grasa y Hipertrofia muscular).
• Procedimiento de Generación: Para cada escenario, se generaron 20 salidas idénticas bajo el mismo prompt estructurado (basado en guías previas de Choi et al.), resultando en un total de 120 prescripciones.
• Procesamiento de Datos: Se extrajo el cuerpo de la prescripción eliminando saludos y formatos no relevantes mediante un LLM secundario (Claude Sonnet 4.6) para evitar ruido en el análisis semántico.
• Evaluación de Consistencia (3 Dimensiones):
  1. Consistencia Semántica: Calculada mediante la similitud coseno de embeddings de oraciones (modelo SBERT: all-MiniLM-L6-v2) entre los 20 pares de salidas por escenario (190 pares por escenario).
  2. Consistencia Estructural (Principio FITT): Evaluación de Frecuencia, Intensidad, Tiempo y Tipo. Se utilizó un enfoque de "AI-as-a-Judge" (Claude Sonnet 4.6) para clasificar la intensidad (baja, moderada, alta, no clasificable) basándose en criterios estandarizados (RPE, %FCmax, METs, %1RM).
  3. Consistencia de Expresiones de Seguridad: Análisis de la inclusión binaria y el conteo de oraciones relacionadas con contraindicaciones, precauciones, monitoreo de síntomas y advertencias de riesgo.
• Análisis Estadístico: Se utilizaron pruebas no paramétricas (Kruskal-Wallis y prueba post-hoc de Dunn con corrección de Bonferroni) debido al tamaño de muestra pequeño por escenario (n=20).

3. Contribuciones Clave

• Nueva Métrica de Validez: Introduce la reproducibilidad y consistencia como ejes de evaluación fundamentales para los sistemas de IA en salud, complementando las evaluaciones tradicionales de precisión y seguridad.
• Metodología Híbrida: Propone un pipeline de evaluación que combina similitud semántica (SBERT) con clasificación estructural asistida por IA (FITT), abordando la limitación de que una alta similitud semántica no garantiza equivalencia clínica numérica.
• Análisis de Variabilidad Cuantitativa: Identifica específicamente dónde fallan los LLMs en la generación de números (intensidad de resistencia), un hallazgo crítico para la prescripción médica.

4. Resultados Principales

• Consistencia Semántica:
  • Alta similitud global (media de similitud coseno entre 0.879 y 0.939).
  • Los casos con restricciones clínicas más definidas (ej. Osteoartritis, Recuperación post-cáncer) mostraron mayor consistencia que los casos de adultos sanos o multimorbilidad compleja, donde el rango de opciones válidas es más amplio.
• Consistencia Estructural (FITT):
  • Frecuencia y Tipo: Patrones generalmente consistentes (ej. 3-4 veces/semana de aeróbico en casos clínicos).
  • Intensidad (Hallazgo Crítico): Se observó alta variabilidad en los componentes cuantitativos.
    • En casos clínicos, el 10-25% de las salidas sobre entrenamiento de resistencia fueron "no clasificables" (no especificaban %1RM o no eran estimables), a pesar de la instrucción explícita.
    • En adultos sanos, hubo variabilidad en la frecuencia y la intensidad (mezcla de moderada/alta).
  • Tiempo: Duración inconsistente en algunas salidas (estimaciones vs. valores explícitos).
• Consistencia de Seguridad:
  • Inclusión: El 100% de las salidas incluyeron expresiones de seguridad (contraindicaciones, precauciones, etc.).
  • Cantidad: Hubo una variación significativa en el número de oraciones de seguridad (H=86.18, p<0.001). Los casos clínicos complejos (especialmente el caso multimorbilidad) generaron significativamente más texto de seguridad que los casos de adultos sanos.

5. Significado e Implicaciones

• Limitaciones de la Despliegue Clínico: Aunque los LLMs generan texto semánticamente estable y seguro, su incapacidad para generar prescripciones numéricas estables (especialmente intensidad de resistencia) representa un riesgo para la implementación clínica directa. Un paciente podría recibir dosis de ejercicio diferentes en consultas consecutivas.
• Dependencia del Prompt: La consistencia depende fuertemente de la estructura del prompt y de las restricciones impuestas. Los casos con guías clínicas más estrictas producen resultados más estables.
• Necesidad de Validación Humana: Los resultados subrayan que la validación por expertos es indispensable antes de cualquier uso clínico. La consistencia semántica no equivale a equivalencia clínica.
• Futuro de la Investigación: Se requiere el desarrollo de mecanismos de control cuantitativo y procesos de toma de decisiones estructurados que no dependan únicamente de la generación generativa, sino que integren restricciones lógicas rígidas para los componentes numéricos.

En conclusión, el estudio demuestra que, si bien los LLMs son herramientas viables para la generación de contenido de prescripción, su fiabilidad numérica y estructural aún no es suficiente para la autonomía clínica sin supervisión o restricciones adicionales.