Comparing LLM-Based Conversational and Graphical Interfaces for Industrial Decision Tasks: An Exploratory Mixed-Methods Study

Resumo Técnico: Comparação de Interfaces Conversacionais e Gráficas Baseadas em LLM para Tarefas de Decisão Industrial

Definição do Problema
Em contextos de tomada de decisão industrial, particularmente no âmbito da Manufatura Inteligente e da Indústria 4.0, os sistemas de suporte à decisão (DSS) dependem fortemente de painéis gráficos (dashboards). Embora os dashboards consolidem dados operacionais, eles frequentemente impõem altas cargas cognitivas aos usuários devido à necessidade de busca visual, integração manual de informações entre múltiplas visualizações e o gerenciamento da memória de trabalho durante comparações complexas. Isso pode levar à sobrecarga de informações, especialmente quando os dados são densos ou mal integrados.

As Interfaces de Usuário Conversacionais (CUIs) alimentadas por Modelos de Linguagem de Grande Escala (LLMs) surgiram como uma alternativa potencial, prometendo acesso direto aos dados por meio de linguagem natural e a automação de tarefas de raciocínio. No entanto, permanece incerto se as CUIs baseadas em LLM podem mitigar efetivamente a sobrecarga de informações ou melhorar o desempenho decisório em comparação com dashboards tradicionais em ambientes industriais de alto risco. Comparações empíricas existentes são escassas, particularmente no que diz respeito ao desempenho dessas interfaces em tarefas com demandas cognitivas variadas (ex: recuperação simples de informação vs. resolução de problemas complexos).

Metodologia
Os autores conduziram um estudo exploratório de métodos mistos envolvendo 20 participantes (principalmente estudantes de Ciência da Computação) para comparar um Agente Conversacional (CA) baseado em LLM com um dashboard gráfico de última geração.

• Design Experimental: Foi empregado um design fatorial intra-sujeitos 2×2. As variáveis independentes foram o Tipo de Interface (Dashboard vs. CA) e a Complexidade da Tarefa (Recuperação de Informação [IR] vs. Resolução de Problemas [PS]).
• Tarefas: Os participantes completaram quatro tarefas simuladas de decisão industrial dentro de um cenário de fábrica sintética.
  • Tarefas de IR: Exigiam a localização de fatos ou pontos de dados específicos.
  • Tarefas de PS: Exigiam a interpretação de dados, comparação de múltiplos fatores e tomada de decisões ótimas (ex: seleção de configurações de máquinas).
  • Métrica de Complexidade: A complexidade da tarefa foi quantificada usando o modelo de Wood (1986), excluindo a complexidade dinâmica, resultando em uma pontuação de complexidade de 3 para tarefas de IR e 9 para tarefas de PS.
• Interfaces:
  • Dashboard: A plataforma Zerynth, fornecendo análise visual padrão (gráficos, tabelas).
  • CA: Um chatbot customizado baseado no GPT-4o, entregue via Telegram, equipado com ferramentas para recuperar, filtrar, comparar e agregar dados autonomamente a partir do mesmo conjunto de dados subjacente.
• Medidas:
  • Objetivas: Tempo de conclusão da tarefa, precisão da decisão (binária para IR; Porcentagem do Máximo Possível para PS) e logs de interação.
  • Subjetivas: NASA-TLX para carga de trabalho mental, questionários pós-estudo para utilidade percebida e confiança, e entrevistas semiestruturadas.
• Análise: Os dados quantitativos foram analisados utilizando testes paramétricos e não paramétricos (Mann-Whitney U, Wilcoxon signed-rank, testes t) apropriados para as distribuições dos dados. Os dados qualitativos passaram por uma análise temática baseada em código, assistida por múltiplos LLMs (ChatGPT 5.2, Gemini 3 Pro, Claude 4.5) para garantir a consistência da codificação, atingindo um $\alpha$ de Krippendorff de 0,738.

Principais Contribuições

1. Comparação Empírica: O estudo fornece evidências empíricas diretas comparando CUIs baseadas em LLM e dashboards em tarefas de decisão industrial, abordando uma lacuna na literatura sobre seus méritos relativos em termos de carga de trabalho e desempenho.
2. Achados Contingentes à Tarefa: Demonstra que as vantagens das interfaces conversacionais não são uniformes, mas dependem fortemente das demandas da tarefa e da natureza específica da interação (recuperação vs. síntese).
3. Divergência de Utilidade e Confiança: A pesquisa destaca uma distinção crítica onde os usuários percebem as CUIs como mais úteis e eficientes, mas não necessariamente confiam mais nelas do que nos dashboards, particularmente em relação à auditabilidade de seus resultados.
4. Insight de Fluxo de Trabalho Híbrido: O estudo identifica que os usuários frequentemente vislumbram um papel complementar para ambas as interfaces, em vez de uma substituição, utilizando dashboards para visão geral e verificação, e CUIs para síntese direta.

Resultos

• Carga de Trabalho Mental: Os participantes relataram uma carga de trabalho mental significativamente menor com o CA em comparações específicas, particularmente quando as tarefas envolviam recuperação direta. Temas qualitativos indicaram que o CA reduziu o "contabilismo mental" ao comprimir a navegação de múltiplas etapas em consultas únicas. No entanto, as diferenças entre interfaces na carga de trabalho não foram estatisticamente significativas em todas as tarefas.
• Desempenho (Tempo e Precisão):
  • Tempo: O CA foi significativamente mais rápido que o dashboard em duas das quatro tarefas (uma de IR e uma de PS). Em outras tarefas, as diferenças não foram estatisticamente significativas.
  • Precisão: O CA mostrou maior precisão decisória significativamente apenas na Tarefa 3 (uma tarefa de PS envolvendo minimização de custos de energia). Não foram encontradas diferenças significativas nas demais tarefas.
• Preferência e Confiança do Usuário:
  • Utilidade: O CA foi avaliado significativamente mais alto em utilidade percebida.
  • Confiança: Não houve diferença significativa nos níveis de confiança; no entanto, quando a "confiança" era explicitamente o critério para uso futuro, os participantes preferiram overwhelmingmente o dashboard.
  • Preferência de Tarefa: Para tarefas de Resolução de Problemas, os participantes preferiram significativamente o CA. Para Recuperação de Informação, as preferências foram mistas.
• Temas Qualitativos:
  • Compressão: O CA reduziu o esforço de interação ao sintetizar dados.
  • Auditabilidade: Os usuários confiaram mais no dashboard porque ele permitia a inspeção direta dos dados brutos, enquanto a natureza de "caixa preta" do CA exigia esforços de verificação (ex: refazer perguntas) que poderiam anular os ganhos de velocidade.
  • Barreira de Habilidade: O uso bem-sucedido do CA dependia de habilidades de formulação de prompts, enquanto o uso do dashboard dependia de literacia visual e familiaridade com a interface.
  • Falhas (Breakdowns): Pontos de interrupção na navegação no dashboard e o raciocínio opaco no CA aumentaram a carga cognitiva.

Significância e Alegações
O artigo alega modestamente que seus achados sugerem que as CUIs baseadas em LLM não são um substituto universal para os dashboards tradicionais, mas sim uma ferramenta complementar. A significância reside na identificação das condições sob as quais cada interface se destaca:

• CUIs são vantajosas para reduzir o esforço de interação em tarefas que exigem recuperação direta, filtragem ou síntese, desde que os usuários consigam formular prompts claros.
• Dashboards permanecem superiores para tarefas que exigem visão geral persistente, comparação explícita e verificação das bases de decisão, oferecendo maior auditabilidade.

Os autores concluem que a direção de design mais plausível não é a substituição de uma interface pela outra, mas o desenvolvimento de sistemas híbridos. Em tais sistemas, agentes conversacionais poderiam lidar com custos de interação evitáveis (busca e síntese), enquanto interfaces gráficas preservam a visão geral, a transparência e o controle do usuário. O estudo enfatiza que o valor relativo dessas interfaces depende das demandas da tarefa e da capacidade do usuário de interpretar e confiar na informação resultante, observando que estudos de maior escala com decisores industriais experientes são necessários para validar esses achados exploratórios.