Usability testing with a prototype user interface of an Artificial Intelligence driven air-Safety Tool (AISaT)

Resumen Técnico: Pruebas de Usabilidad de la Herramienta de Seguridad Aérea impulsada por Inteligencia Artificial (AISaT)

Planteamiento del Problema
La implementación de la Inteligencia Artificial (IA) en la atención médica requiere la participación activa del usuario final para asegurar su adopción y utilidad a largo plazo. Si bien herramientas de IA como la Herramienta de Seguridad Aérea impulsada por Inteligencia Artificial (AISaT) ofrecen potencial para optimizar el control de infecciones —específicamente mediante el uso de Dinámica de Fluidos Computacional (CFD) para recomendar la ubicación óptima de los filtros HEPA para mitigar la transmisión de aerosoles respiratorios—, las herramientas en etapas tempranas suelen enfrentar barreras de integración. El problema específico abordado en este estudio es la falta de validación centrada en el usuario para el prototipo de AISaT. Sin comprender las perspectivas del personal responsable de la gestión de habitaciones, la prevención de infecciones y la atención clínica, la herramienta corre el riesgo de no integrarse en los flujos de trabajo hospitalarios existentes o de proporcionar recomendaciones poco prácticas.

Metodología
Este estudio empleó un diseño observacional cualitativo para realizar pruebas de usabilidad en la interfaz AISaT Mock V2.0.0.

• Participantes: Se reclutaron diez miembros del personal mediante un muestreo por conveniencia en dos centros hospitalarios de Londres. La cohorte incluyó personal clínico (n=6), gestión de instalaciones (n=2) y profesionales de prevención y control de infecciones (IPC) (n=2).
• Procedimiento: La interfaz de AISaT, que simula una sala de consulta a través de seis etapas (dimensiones de la habitación, lista de objetos, visualizaciones 3D, etc.), se cargó en un servidor remoto y se mostró a través de Microsoft Teams. Los participantes no interactuaron directamente con la herramienta; en su lugar, un investigador demostró la interfaz mientras los participantes participaban en un protocolo de "Pensar en Voz Alta" (Think Aloud), verbalizando sus pensamientos sobre los componentes.
• Análisis: Los datos recopilados mediante grabación de audio y notas de campo se analizaron utilizando un enfoque híbrido. Inicialmente, se realizó una tabulación utilizando hojas RREAL para visualizar los datos a través de los pasos de la herramienta. Posteriormente, se llevó a cabo un Análisis de Marco (Framework Analysis) de las transcripciones utilizando temas deductivos adaptados de Richardson et al. (2017)—específicamente Comprensibilidad, Contenido, Navegación, Visibilidad, Usabilidad y Flujo de Trabajo—junto con temas inductivos sobre Propiedad y Frecuencia de Uso.

Contribuciones Clave y Resultados
El estudio identificó ocho áreas temáticas primarias que requieren atención para mejorar la preparación de la herramienta para un Ensayo Controlado Aleatorizado (ECA) y su despliegue en el mundo real:

1. Comprensibilidad: Los participantes consideraron que las instrucciones eran ambiguas, particularmente respecto a la manipulación de los "avatares humanos" en la disposición de la sala y la interpretación de la "Lista de Objetos". Hubo confusión sobre si la herramienta sugería colocar filtros en las cinco posiciones mostradas o seleccionar la mejor. Términos como "mitigaciones" y "modelos humanos" fueron considerados poco claros; los participantes sugirieron renombrarlos con términos específicos como "filtro HEPA" o "paciente/HCP" (profesional de la salud).
2. Contenido:
   • Modelado de Infección: Los usuarios debatieron la suposición de que todos los pacientes están infectados. Mientras que algunos argumentaron a favor de un "escenario de peor caso" (todos infectados, respiradores pesados) para maximizar la seguridad, otros advirtieron que esto conduciría al desperdicio de recursos (exceso de EPP/filtros) y ansiedad innecesaria en el personal.
   • Variables de la Habitación: Una limitación significativa identificada fue la incapacidad de la herramienta para considerar variables existentes en la habitación, como ventanas, diferenciales de presión, muebles y rejillas de ventilación. Los usuarios enfatizaron la necesidad de alinearse con los estándares del Memorándum Técnico de Salud 03-01 (HTM 03-01).
   • Posicionamiento de Dispositivos: Los usuarios expresaron frustración con sugerencias que eran físicamente imposibles (por ejemplo, colocar filtros cerca de puertas o sin acceso a la corriente eléctrica) y solicitaron datos más granulares sobre tipos de dispositivos, costos y niveles de ruido.
3. Navegación: La interfaz de una sola página fue percibida como abrumadora por algunos, quienes prefirieron un flujo secuencial paso a paso. La navegación de los avatares de la habitación mediante teclas de teclado resultó difícil; se prefirió la interacción basada en el ratón. Además, la imposibilidad de colocar puertas en las cuatro paredes se señaló como una restricción que afecta la simulación del flujo de aire.
4. Visibilidad: Aunque las visualizaciones 3D fueron apreciadas por mostrar el impacto de los aerosoles, la dependencia de gradientes de color para denotar la concentración de aerosoles resultó problemática para usuarios con daltonismo y difícil de interpretar rápidamente. Los usuarios solicitaron líneas de cuadrícula para mediciones precisas, gráficos realistas para muebles y filtros, e indicadores más claros de la orientación humana (de pie vs. sentado).
5. Usabilidad: Los participantes enfatizaron la necesidad de velocidad, sugiriendo un tiempo máximo de finalización de cinco minutos. La carga cognitiva requerida para interpretar visualizaciones 3D complejas y espectros de color fue una barrera.
6. Flujo de Trabajo: Las barreras prácticas incluyeron la dificultad para obtener las dimensiones de la habitación (falta de planos, necesidad de medición física) y la predicción de la posición del paciente o el estado de infección en tiempo real. Se plantearon preocupaciones con respecto a la infraestructura de TI del NHS (computadoras lentas, aprobación de software de terceros) y la viabilidad de desplegar la herramienta en computadoras de escritorio frente a dispositivos móviles con capacidades LiDAR.
7. Propiedad: No hubo consenso sobre quién debería operar la herramienta. El personal clínico sintió que carecía de tiempo para la entrada de datos, mientras que los profesionales de instalaciones sintieron que carecían del contexto clínico específico (por ejemplo, el estado de infección del paciente). Se sugirió un modelo colaborativo que involucre a personal de instalaciones, IPC y líderes clínicos.
8. Frecuencia de Uso: La mayoría de los participantes creyeron que la herramienta sería más factible para su uso al inicio de una sesión o cuando los diseños de las habitaciones cambien, en lugar de entre citas individuales.

Significancia y Reivindicaciones
El artículo sostiene que las pruebas de usabilidad son un facilitador crítico para la implementación exitosa de la IA en entornos de atención médica. Al capturar las perspectivas de diversos grupos de interés (clínicos, de instalaciones y de IPC), el estudio destaca que, si bien las mejoras técnicas a la interfaz de AISaT (como el renombramiento de componentes y el refinamiento de la navegación) son alcanzables, se requiere una reflexión crítica más profunda respecto a la lógica subyacente de la herramienta.

Específicamente, los autores afirman que el equipo de investigación debe reflexionar críticamente sobre:

• Cómo incorporar datos sobre las variables existentes de la habitación (por ejemplo, ventilación, muebles) en el modelo de CFD.
• Cómo determinar el estado de infección y los niveles de respiración sin crear flujos de trabajo o cargas de recursos poco realistas.

El estudio concluye que estos conocimientos son esenciales para informar el desarrollo de las próximas iteraciones de AISaT antes de su despliegue en un Ensayo Controlado Aleatorizado, asegurando que la herramienta no solo sea técnicamente sólida, sino también prácticamente utilizable e integrada en las rutinas hospitalarias.