Comparing LLM-Based Conversational and Graphical Interfaces for Industrial Decision Tasks: An Exploratory Mixed-Methods Study

Resumen Técnico: Comparación de Interfaces Conversacionales y Gráficas Basadas en LLM para Tareas de Decisión Industrial

Planteamiento del Problema
En los contextos de toma de decisiones industriales, particularmente dentro de la Manufactura Inteligente e Industria 4.0, los sistemas de soporte a la decisión (DSS) dependen fuertemente de tableros de control (dashboards) gráficos. Si bien los dashboards consolidan los datos operativos, a menudo imponen cargas cognitivas elevadas a los usuarios debido a la necesidad de búsqueda visual, la integración manual de información a través de múltiples vistas y la gestión de la memoria de trabajo durante comparaciones complejas. Esto puede derivar en una sobrecarga de información, especialmente cuando los datos son densos o están mal integrados.

Las Interfaces de Usuario Conversacionales (CUI) impulsadas por Modelos de Lenguaje de Gran Escala (LLM) han surgido como una alternativa potencial, prometiendo acceso directo a los datos mediante el lenguaje natural y la automatización de tareas de razonamiento. Sin embargo, sigue sin estar claro si las CUI basadas en LLM pueden mitigar eficazmente la sobrecarga de información o mejorar el rendimiento en la toma de decisiones en comparación con los dashboards tradicionales en entornos industriales de alto riesgo. Las comparaciones empíricas existentes son escasas, particularmente en cuanto a cómo estas interfaces se desempeñan en tareas con demandas cognitivas variables (por ejemplo, recuperación simple de información frente a resolución de problemas complejos).

Metodología
Los autores llevaron a cabo un estudio exploratorio de métodos mixtos que involucró a 20 participantes (principalmente estudiantes de Ciencias de la Computación) para comparar un Agente Conversacional (CA) basado en LLM contra un dashboard gráfico de última generación.

• Diseño Experimental: Se empleó un diseño factorial intra-sujeto de 2×2. Las variables independientes fueron el Tipo de Interfaz (Dashboard vs. CA) y la Complejidad de la Tarea (Recuperación de Información [IR] vs. Resolución de Problemas [PS]).
• Tareas: Los participantes completaron cuatro tareas simuladas de decisión industrial dentro de un escenario de fábrica sintética.
  • Tareas de IR: Requerían localizar hechos o puntos de datos específicos.
  • Tareas de PS: Requerían interpretar datos, comparar múltiples factores y tomar decisiones óptimas (por ejemplo, seleccionar configuraciones de máquinas).
  • Métrica de Complejidad: La complejidad de la tarea se cuantificó utilizando el modelo de Wood (1986), excluyendo la complejidad dinámica, lo que resultó en una puntuación de complejidad de 3 para las tareas de IR y 9 para las de PS.
• Interfaces:
  • Dashboard: La plataforma Zerynth, que proporciona analítica visual estándar (gráficos, tablas).
  • CA: Un chatbot personalizado basado en GPT-4o, entregado vía Telegram, equipado con herramientas para recuperar, filtrar, comparar y agregar datos de forma autónoma desde el mismo conjunto de datos subyacente.
• Medidas:
  • Objetivas: Tiempo de finalización de la tarea, precisión en la decisión (binaria para IR; Porcentaje del Máximo Posible para PS) y registros de interacción.
  • Subjetivas: NASA-TLX para carga de trabajo mental, cuestionarios post-estudio para utilidad percibida y confianza, y entrevistas semiestructuradas.
• Análisis: Los datos cuantitativos se analizaron mediante pruebas paramétricas y no paramétricas (Mann-Whitney U, Wilcoxon signed-rank, t-tests) apropiadas para las distribuciones de los datos. Los datos cualitativos se sometieron a un análisis temático basado en un libro de códigos, asistido por múltiples LLMs (ChatGPT 5.2, Gemini 3 Pro, Claude 4.5) para asegurar la consistencia de la codificación, logrando un $\alpha$ de Krippendorff de 0.738.

Contribuciones Clave

1. Comparación Empírica: El estudio proporciona evidencia empírica directa comparando las CUI basadas en LLM y los dashboards en tareas de decisión industrial, abordando un vacío en la literatura respecto a sus méritos relativos en términos de carga de trabajo y rendimiento.
2. Hallazgos Contingentes a la Tarea: Demuestra que las ventajas de las interfaces conversacionales no son uniformes, sino que dependen fuertemente de las demandas de la tarea y la naturaleza específica de la interacción (recuperación vs. síntesis).
3. Divergencia de Utilidad y Confianza: La investigación destaca una distincción crítica donde los usuarios perciben las CUI como más útiles y eficientes, pero no necesariamente confían más en ellas que en los dashboards, particularmente respecto a la auditabilidad de los resultados.
4. Perspectiva de Flujo de Trabajo Híbrido: El estudio identifica que los usuarios a menudo vislumbran un rol complementario para ambas interfaces en lugar de un reemplazo, utilizando los dashboards para la visión general y verificación, y las CUI para la síntesis directa.

Resultos

• Carga de Trabajo Mental: Los participantes reportaron una carga de trabajo mental significativamente menor con el CA en comparaciones específicas, particularmente cuando las tareas implicaban recuperación directa. Los temas cualitativos indicaron que el CA redujo la "contabilidad mental" al comprimir la navegación de múltiples pasos en consultas únicas. Sin embargo, las diferencias entre interfaces en la carga de trabajo no fueron estadísticamente significativas en todas las tareas.
• Rendimiento (Tiempo y Precisión):
  • Tiempo: El CA fue significativamente más rápido que el dashboard en dos de las cuatro tareas (una de IR y una de PS). En otras tareas, las diferencias no fueron estadísticamente significativas.
  • Precisión: El CA mostró una precisión de decisión significativamente mayor solo en la Tarea 3 (una tarea de PS relacionada con la minimización de costos de energía). No se encontraron diferencias significativas en otras tareas.
• Preferencia de Usuario y Confianza:
  • Utilidad: El CA fue calificado significativamente más alto en utilidad percibida.
  • Confianza: No hubo una diferencia significativa en los niveles de confianza; sin embargo, cuando la "confianza" era explícitamente el criterio para el uso futuro, los participantes prefirieron abrumadoramente el dashboard.
  • Preferencia de Tarea: Para las tareas de Resolución de Problemas, los participantes prefirieron significativamente el CA. Para la Recuperación de Información, las preferencias fueron mixtas.
• Temas Cualitativos:
  • Compresión: El CA redujo el esfuerzo de interacción al sintetizar datos.
  • Auditabilidad: Los usuarios confiaban más en el dashboard porque permitía la inspección directa de los datos brutos, mientras que la naturaleza de "caja negra" del CA requería esfuerzos de verificación (por ejemplo, volver a preguntar) que podían contrarrestar las ganancias de velocidad.
  • Barrera de Habilidades: El uso exitoso del CA dependía de las habilidades de formulación de prompts, mientras que el uso del dashboard dependía de la alfabetización visual y la familiaridad con la interfaz.
  • Fallos: Los callejones sin salida en la navegación en el dashboard y el razonamiento opaco en el CA aumentaron la carga cognitiva.

Significancia y Reivindicaciones
El artículo plantea modestamente que sus hallazgos sugieren que las CUI basadas en LLM no son un reemplazo universal para los dashboards tradicionales, sino más bien una herramienta complementaria. La significancia radica en identificar las condiciones bajo las cuales cada interfaz sobresale:

• Las CUI son ventajosas para reducir el esfuerzo de interacción en tareas que requieren recuperación directa, filtrado o síntesis, siempre que los usuarios puedan formular prompts claros.
• Los Dashboards siguen siendo superiores para tareas que requieren una visión general persistente, comparación explícita y verificación de las bases de decisión, ofreciendo una mayor auditabilidad.

Los autores concluyen que la dirección de diseño más plausible no es la sustitución de una interfaz por la otra, sino el desarrollo de sistemas híbridos. En tales sistemas, los agentes conversacionales podrían manejar los costos de interacción evitables (búsqueda y síntesis), mientras que las interfaces gráficas preservarían la visión general, la transparencia y el control del usuario. El estudio enfatiza que el valor relativo de estas interfaces depende de las demandas de la tarea y la capacidad del usuario para interpretar y confiar en la información resultante, señalando que se necesitan más estudios a gran escala con tomadores de decisiones industriales experimentados para validar estos hallazgos exploratorios.