COACH meets QUORUM: A Framework and Pipeline for Aligning User, Expert and Developer Perspectives in LLM-generated Health Counselling

El artículo presenta COACH, un pipeline impulsado por modelos de lenguaje grande para generar consejos de estilo de vida personalizados para pacientes con cáncer, y QUORUM, un marco de evaluación unificado que demuestra la convergencia general entre usuarios, expertos y desarrolladores sobre la calidad y relevancia del sistema, a la vez que revela divergencias críticas en aspectos como el tono y la sensibilidad a errores.

Lo esencial

Imagina que tienes un diario digital donde anotas cómo te sientes cada día: tu energía, tu sueño, tu estado de ánimo y lo que haces. Ahora, imagina que un robot muy inteligente (una Inteligencia Artificial) lee ese diario y te da consejos personalizados sobre cómo vivir mejor.

El problema es: ¿Cómo sabemos si esos consejos son buenos, seguros y realmente útiles para ti?

Este artículo presenta una solución genial llamada COACH (el robot consejero) y una nueva forma de probarlo llamada QUORUM (un comité de expertos).

Aquí te lo explico con una analogía sencilla:

🏥 El Escenario: El Hospital de los Consejos

Imagina que el robot COACH es un chef que prepara un plato de comida (el consejo) para un paciente (tú). Para cocinar, el robot usa dos ingredientes:

1. Tu receta personal: Tus datos del diario (dormiste mal, te sentiste cansado).
2. El libro de cocina médico: Una base de datos confiable de expertos en cáncer (kanker.nl) que sabe qué es saludable y qué no.

El robot mezcla estos ingredientes para darte un plato que diga: "Veo que dormiste poco ayer y hoy te sientes cansado. Según los expertos, intentar dormir 30 minutos más podría ayudarte".

🧐 El Problema: ¿Quién decide si el plato está bueno?

Antes de servir este plato a miles de personas, hay que probarlo. Pero aquí está la trampa: no todos tienen el mismo paladar.

• Tú (El Paciente/Usuario): Te importa si el plato sabe rico, si te hace sentir comprendido y si te apetece comerlo (seguir el consejo).
• El Nutricionista (El Experto Médico): Te importa si el plato es realmente saludable, si no tiene ingredientes prohibidos y si las instrucciones son claras.
• El Ingeniero de Cocina (El Desarrollador): Te importa si el robot siguió la receta al pie de la letra, si no se inventó ingredientes que no existen y si usó los datos correctos.

🤝 La Solución: QUORUM (El Gran Comité)

Los autores crearon QUORUM, que es como un comité de degustación donde estos tres grupos prueban el mismo plato al mismo tiempo.

1. COACH (El Robot): Es el sistema que genera los consejos usando una tecnología llamada "RAG" (que es como tener un asistente que busca en la biblioteca médica antes de hablar, para no inventar cosas).
2. QUORUM (La Prueba): Pide a los tres grupos que califiquen el consejo.

📊 Lo que descubrieron (Los Resultados)

Cuando probaron el sistema con pacientes reales de cáncer, pasó algo fascinante:

• 🟢 El Acuerdo (Convergencia): ¡Todos estuvieron de acuerdo en que el plato estaba bueno!

  • Los usuarios dijeron: "Me siento comprendido, el tono es amable y voy a seguir el consejo".
  • Los médicos dijeron: "La información es correcta y segura".
  • Los ingenieros dijeron: "El robot no se inventó datos; el 79% de lo que dijo sobre tu diario es 100% real".

• 🔴 El Desacuerdo (Divergencia): Pero también hubo diferencias importantes, como cuando un chef y un crítico culinario discuten:

  • El Tono: Los médicos pensaron que a veces el robot sonaba un poco "muy directo" o "condescendiente" (como un maestro de escuela), mientras que a los usuarios les pareció bien.
  • La Claridad: Los expertos querían explicaciones más simples (nivel básico), mientras que los usuarios no tuvieron problemas.
  • Los "Alucinaciones" (Errores): A veces, el robot añadía un ingrediente que no estaba en el libro de cocina (por ejemplo, sugerir "nueces" cuando el libro solo decía "frutos secos"). Los ingenieros lo contaron como error, pero los médicos y usuarios no lo notaron porque no era peligroso.

💡 ¿Por qué es importante esto?

Este estudio nos enseña una lección vital para la Inteligencia Artificial en la salud: No puedes evaluar un sistema médico solo con números fríos (ingenieros) ni solo con opiniones (usuarios).

Necesitas las tres miradas:

1. El usuario para saber si es útil.
2. El experto para saber si es seguro.
3. El desarrollador para saber si es fiable.

En resumen:
COACH es un robot que te da consejos de vida basados en tu diario y en la ciencia médica. QUORUM es la herramienta que asegura que este robot no solo sea inteligente, sino que también sea amable, seguro y confiable para todos. Es como tener un equipo de tres personas revisando el trabajo de un robot antes de que te dé un consejo que podría cambiar tu vida.

¡Y la buena noticia es que, con este equipo, el robot está funcionando muy bien! 🚀🩺

Resumen técnico

Resumen Técnico: COACH y QUORUM para el Asesoramiento en Salud

1. Planteamiento del Problema

Las personas que viven con las consecuencias del cáncer (tratamiento) a menudo sufren efectos a largo plazo como fatiga y problemas de salud mental. Aunque se sabe que los cambios en el estilo de vida (ej. actividad física) mejoran los resultados de salud, el asesoramiento actual en el sector salud se percibe como:

• Poco disponible.
• Fragmentado.
• Demasiado general y no personalizado.

Existe una necesidad crítica de sistemas de asesoramiento de estilo de vida personalizados que extraigan patrones fiables de registros de salud específicos del usuario y los contextualicen con conocimiento médico validado. Sin embargo, los sistemas actuales impulsados por IA (especialmente Grandes Modelos de Lenguaje o LLM) carecen de metodologías de evaluación integrales que consideren simultáneamente la relevancia para el usuario, la calidad médica y la fiabilidad técnica. Además, las evaluaciones existentes suelen ser fragmentadas y carecen de contextos realistas.

2. Metodología

El artículo presenta dos contribuciones principales: un marco de evaluación (QUORUM) y una tubería de procesamiento (COACH).

A. Marco de Evaluación QUORUM
QUORUM (Quality, Outcome Reliability, and User-relevance from Multiple stakeholders) unifica tres perspectivas complementarias para evaluar sistemas de NLP en salud:

1. Perspectiva Centrada en el Usuario: Evalúa la relevancia, el tono, la longitud y la probabilidad de que el usuario siga las recomendaciones. Se mide mediante escalas Likert sobre la alineación con la situación personal.
2. Perspectiva Centrada en el Experto (Médico): Evalúa la corrección de la contextualización de los patrones extraídos, la adecuación del tono y la longitud para la población objetivo. Se basa en la experiencia clínica (en este caso, especialistas de kanker.nl).
3. Perspectiva Centrada en el Desarrollador: Evalúa la fiabilidad técnica mediante métricas objetivas:
   • Fidelidad (Faithfulness): Consistencia de las afirmaciones sobre los datos del usuario con los datos reales.
   • Completitud: Porcentaje de información relevante recuperada de los datos del usuario.
   • Alucinación: Existencia de afirmaciones de contextualización que no pueden trazarse a la base de conocimientos externa.

B. Tubería COACH (Contextualised Outcome-Adaptive Counselling for Health)
COACH es una tubería impulsada por LLM diseñada para la aplicación Healthy Chronos (un diario digital para pacientes de cáncer).

• Arquitectura: Utiliza RAG (Generación Aumentada por Recuperación).
• Flujo de trabajo:
  1. El usuario envía una consulta sobre sus datos (ej. "¿Cómo puedo dormir mejor?").
  2. El sistema incrusta la consulta y recupera fragmentos relevantes de una base de conocimientos validada externa (kanker.nl).
  3. Se extraen patrones de los datos del diario del usuario (sueño, estado de ánimo, actividad).
  4. Se construye un prompt estructurado que incluye: instrucciones de sistema (tono empático, evitar consejo médico directo), descripción de los datos tabulares del usuario, ejemplos de in-context learning, los fragmentos recuperados (chunks) y la consulta.
  5. El LLM (GPT-4o) genera un consejo personalizado que separa las afirmaciones basadas en datos del usuario de la contextualización médica.

3. Contribuciones Clave

1. Marco QUORUM: Un nuevo enfoque holístico e iterativo que permite a los desarrolladores medir la convergencia y divergencia entre las perspectivas de usuarios, expertos y desarrolladores, algo que los métodos de evaluación tradicionales no logran.
2. Pipeline COACH: Una implementación funcional que demuestra que es posible generar asesoramiento de estilo de vida personalizado, de alta calidad y fiable utilizando LLMs y RAG en un entorno de salud real.
3. Análisis de Divergencia: El estudio revela que, aunque hay consenso en la calidad general, existen divergencias críticas en el tono, la sensibilidad a los errores y la interpretación de las alucinaciones entre los grupos de interés.

4. Resultados del Estudio de Caso

Se evaluó el sistema con 19 usuarios, 6 expertos médicos y 2 desarrolladores en el contexto de la aplicación Healthy Chronos.

• Convergencia (Resultados Positivos):

  • Usuarios: Valoraron positivamente la alineación con su situación (3.90/5), la probabilidad de seguir los consejos (3.90/5) y el tono (4.32/5).
  • Expertos: Consideraron que la contextualización era correcta (4.02/5) y el tono adecuado (3.73/5).
  • Desarrolladores: El sistema mostró alta fiabilidad técnica:
    • Fidelidad: 79% de las afirmaciones sobre datos del usuario eran consistentes.
    • Completitud: 97% de las afirmaciones recuperaron la información relevante.
    • Alucinación: Solo el 22% de las afirmaciones de contextualización no eran estrictamente trazables a la base de conocimientos (aunque no se consideraron dañinas).

• Divergencia (Áreas de Mejora):

  • Tono: Los expertos fueron más críticos que los usuarios respecto al tono, encontrándolo a veces demasiado condescendiente, directo o carente de empatía.
  • Claridad: Los expertos señalaron que algunas frases eran ambiguas (ej. "escucha a tu cuerpo") y sugerían un nivel de lenguaje demasiado alto (no básico), mientras que los usuarios no reportaron esta dificultad.
  • Sensibilidad a Errores: Los usuarios y expertos no detectaron errores graves en la extracción de patrones o alucinaciones que los desarrolladores identificaron técnicamente (ej. generalizaciones excesivas o patrones inexistentes), lo que sugiere un sesgo de confirmación o dependencia de la automatización por parte de los usuarios.

5. Significado e Impacto

• Validación de Enfoque Multi-Stakeholder: El estudio demuestra que una evaluación de sistemas de IA en salud no puede basarse en una sola perspectiva. La combinación de métricas técnicas, validación médica y feedback del usuario es esencial para garantizar un impacto real y seguro.
• Guía para el Desarrollo de IA en Salud: QUORUM proporciona una hoja de ruta para iterar sistemas de IA, identificando brechas específicas (como el tono o la claridad) que los modelos puramente técnicos podrían pasar por alto.
• Viabilidad de LLMs en Salud: Confirma que sistemas relativamente sencillos como COACH, basados en RAG y LLMs, pueden ofrecer asesoramiento relevante y fiable, siempre que se gestionen las expectativas sobre las "alucinaciones" (que en este contexto a menudo son extrapolaciones intuitivas y no información falsa dañina).
• Recomendaciones Futuras: Se sugiere ajustar los prompts para incluir más hechos biomédicos (sin dar consejo médico directo) para satisfacer las expectativas de los expertos, y mejorar la claridad del lenguaje para poblaciones con diversos niveles educativos.

En conclusión, el trabajo subraya que la confianza en los sistemas de lenguaje para la salud del consumidor depende de un equilibrio cuidadoso entre la precisión técnica, la validez clínica y la experiencia del usuario, todo ello medido a través de un marco unificado como QUORUM.