Neither Replacement nor Panacea: Comparing LLM-Based Conversational and Graphical Decision Support in Industrial Tasks

Resumo Técnico: Nem Substituição, Nem Panaceia: Comparando o Suporte à Decisão Conversacional e Gráfico Baseado em LLM em Tarefas Industriais

1. Definição do Problema

A tomada de decisão industrial no contexto da Indústria 4.0 é cada vez mais orientada por dados, porém o volume e a heterogeneidade dos dados operacionais (provenientes de sensores, sistemas de produção e cadeias de suprimentos) criam desafios significativos para os gestores. Embora os dashboards gráficos continuem sendo a interface dominante para a interpretação desses dados, eles podem se tornar cognitivamente exigentes à medida que os ambientes de informação crescem em escala e complexidade. Por outro lado, Agentes Conversacionais (CAs) baseados em Grandes Modelos de Linguagem (LLMs), acessados via Interfaces de Usuário Conversacionais (CUIs), surgiram como uma alternativa potencial, oferecendo acesso aos dados via linguagem natural. No entanto, a evidência empírica comparando a eficácia das CUIs baseadas em LLM contra dashboards gráficos tradicionais (GUIs) em cenários de suporte à decisão industrial é limitada. Especificamente, não está claro se a interação conversacional oferece benefícios universais ou se sua eficácia é contingente à complexidade da tarefa e às capacidades do usuário (ex.: literacia de dados).

2. Metodologia

O estudo empregou um desenho experimental fatorial misto 2 × 3 para comparar uma CUI baseada em LLM com um dashboard focado em visualização.

• Participantes: A amostra analítica final consistiu em 134 tomadores de decisão industriais (gestores em manufatura e setores relacionados) recrutados via Prolific. Os participantes foram triados quanto a funções gerenciais e responsabilidades de tomada de decisão.
• Condições Experimentais:
  • Fator entre sujeitos: Tipo de interface (Dashboard vs. Chatbot baseado em LLM).
  • Fator dentro de sujeitos: Complexidade da tarefa (Baixa, Média, Alta).
  • Moderador: Literacia de Dados (LD), medida antes do experimento usando o Brief Data Literacy Instrument (BDLI).
• Design da Tarefa: Os participantes completaram três tarefas sequenciais de suporte à decisão baseadas em um conjunto de dados sintético de fabricação de um ano. As tarefas foram projetadas para emular a tomada de decisão operacional, com a complexidade manipulada variando o número de pistas de informação necessárias e o grau de coordenação necessário para integrá-las (baseado no modelo de complexidade de tarefas de Wood).
• Interfaces:
  • Dashboard: Um dashboard de análise customizado em React com capacidades de filtragem, drill-down e inspeção de séries temporais, fundamentado em padrões de parceiros industriais.
  • Chatbot: Um agente baseado em LLM (OpenAI GPT-4o) incorporado na mesma aplicação web, utilizando funções de recuperação restritas para acessar o mesmo conjunto de dados subjacente.
• Medidas:
  • Carga de Trabalho Mental Subjetiva (MWL): Avaliada via NASA-TLX (pontuação Raw TLX) após cada tarefa.
  • Precisão da Decisão: Pontuações normalizadas (Percentual do Máximo Possível) baseadas em critérios de verdade fundamental (ground-truth).
  • Tempo de Conclusão: Tempo de execução medido desde a ativação da interface até a submissão.
  • Intenção de Confiança (Reliance): Autorrelatos pós-tarefa sobre a disposição de confiar no sistema para decisões subsequentes.
• Análise Estatística: O estudo utilizou Modelos Mistos de Ligação Cumulativa (CLMMs) para dados ordinais de MWL, Equações de Estimativas Generalizadas de Logit Fracionário (GEEs) para pontuações de precisão limitadas e GEEs de Gamma para tempos de conclusão assimétricos.

3. Principais Resultados

O estudo testou cinco hipóteses primárias relativas aos efeitos principais do tipo de interface, o papel moderador da complexidade da tarefa e o papel moderador da literacia de dados.

• Carga de Trabalho Mental (MWL):

  • Efeito Principal: A CUI reduziu significativamente a MWL percebida em comparação ao dashboard (H1a suportada).
  • Moderação pela Complexidade: A vantagem de MWL da CUI diminuiu conforme a complexidade da tarefa aumentava (H2a suportada). Embora o chatbot fosse menos exigente para tarefas simples, a lacuna de carga de trabalho estreitou para tarefas complexas, onde a visão panorâmica persistente do dashboard tornou-se mais vantajosa.
  • Moderação pela Literacia de Dados: A literacia de dados não moderou significativamente o efeito da interface na MWL (H3a não suportada).

• Precisão da Decisão:

  • Efeito Principal: Não houve diferença significativa geral na precisão da decisão entre a CUI e o dashboard (H1b não suportada).
  • Moderação pela Complexidade: A interação foi significativa (H2b suportada). O chatbot mostrou uma leve vantagem de precisão na tarefa de menor complexidade, mas essa vantagem atenuou-se e inverteu-se na tarefa de maior complexidade.
  • Moderação pela Literacia de Dados: Embora uma interação omnibus tenha sido significativa, o padrão hipotetizado específico (de que a baixa LD desvantajaria mais o dashboard) não foi suportado pela comparação primária (H3b não suportada).

• Tempo de Conclusão:

  • Efeito Principal: Não houve diferença significativa geral no tempo de conclusão entre as interfaces (H1c não suportada).
  • Moderação pela Complexidade: A CUI foi significativamente mais rápida para tarefas de baixa complexidade, mas essa vantagem de tempo desapareceu conforme a complexidade aumentou (H2c suportada).
  • Moderação pela Literacia de Dados: A literacia de dados não moderou o tempo de conclusão (H3c não suportada).

• Intenção de Confiança (Reliance):

  • Não houve diferença significativa na disposição de confiar exclusivamente no output da interface entre as condições (H5 não suportada). No entanto, os participantes relataram uma maior disposição de confiar no chatbot após a verificação com outra ferramenta, sugerindo uma diferença na verificabilidade percebida.

4. Principais Contribuições

• Comparação Empírica: Fornece evidências quantitativas rigorosas comparando interfaces conversacionais baseadas em LLM com dashboards tradicionais em um cenário controlado de tomada de decisão industrial, indo além de achados qualitativos exploratórios.
• Complexidade da Tarefa como Condição de Fronteira: Demonstra que os benefícios das interfaces conversacionais são condicionais. Embora as CUIs reduzam a carga cognitiva e o tempo para recuperação simples de informações, essas vantagens erodem conforme as tarefas exigem a integração de múltiplas pistas e a manutenção de modelos mentais complexos, onde a persistência gráfica é superior.
• Desacoplamento de Resultados Subjetivos e Objetivos: Destaca uma divergência onde os usuários sentem que menos trabalho é necessário com um chatbot (menor MWL), mas isso não se traduz em ganhos consistentes de precisão de decisão ou velocidade em todos os tipos de tarefas.
• Achados de Literacia de Dados: Desafia a suposição de que a literacia de dados é um moderador forte para a preferência de interface neste contexto, encontrando que nem a interface nem o usuário foram consistentemente penalizados ou favorecidos com base nas habilidades de dados autorrelatadas.

5. Significância e Alegações

O artigo afirma que agentes conversacionais baseados em LLM não são uma substituição universal para dashboards gráficos em ambientes industriais. Em vez disso, eles oferecem benefícios condicionais:

• As CUIs são eficazes para reduzir o esforço de acesso à informação e a carga de trabalho mental em tarefas menos exigentes, atuando como um "assistente cognitivo" para a exploração inicial de dados.
• Os Dashboards permanecem superiores para tarefas de decisão complexas que exigem a inspeção simultânea de múltiplos pontos de dados, visão panorâmica persistente e evidência verificável.

Os autores concluem que os futuros sistemas de suporte à decisão industrial devem combinar o acesso conversacional com visões gráficas e evidências verificáveis, em vez de tratar um estilo de interação como uma panaceia para o outro. Os achados sugerem que o "ajuste" entre o formato de interação e as demandas cognitivas da tarefa (conforme a Teoria do Ajuste Cognitivo) é o determinante crítico de desempenho, e não a superioridade inerente de um tipo de interface.