Human-Centered Evaluation of an LLM-Based Process Modeling Copilot: A Mixed-Methods Study with Domain Experts

Este estudo de métodos mistos com especialistas em domínio revela que, embora um copiloto de modelagem de processos baseado em LLM apresente usabilidade aceitável, ele enfrenta desafios significativos de confiança e confiabilidade, destacando a necessidade de avaliações centradas no ser humano para complementar benchmarks automatizados.

O essencial

Imagine que você tem um assistente de IA super inteligente, capaz de desenhar mapas complexos de como uma empresa funciona (chamados de modelos BPMN). A ideia é que qualquer pessoa, mesmo sem ser um especialista, possa apenas "conversar" com esse assistente e pedir: "Desenhe o processo de como compramos material de escritório", e a IA faria o desenho sozinha.

Os pesquisadores criaram um protótipo chamado KICoPro para testar essa ideia. Mas, em vez de apenas verificar se os desenhos estavam matematicamente corretos (o que computadores fazem bem), eles quiseram saber: "Os profissionais reais confiam nessa ferramenta? Eles gostam de usá-la?"

Para isso, eles reuniram 5 especialistas em processos de negócios (pessoas que desenham esses mapas todos os dias) e fizeram um teste misto: conversas em grupo e questionários.

Aqui está o resumo da história, traduzido para o dia a dia:

1. O Grande Problema: "Aparência vs. Confiança"

O resultado mais interessante foi uma contradição curiosa:

• A Usabilidade (A "Cara" do App): Os especialistas acharam o aplicativo fácil de usar, amigável e intuitivo. Foi como usar um aplicativo de mensagens moderno: você sabe onde clicar, é bonito e responde rápido. A nota foi boa (67,2 de 100).
• A Confiança (O "Coração" do App): Porém, eles não confiavam no que a IA produzia. A nota de confiança foi baixa (48,8%).

A Analogia: Pense em um cozinheiro muito simpático e bem vestido (o App). Ele sorri, pede o pedido de forma educada e traz o prato rapidamente. Mas, quando você prova a comida, o sal está errado ou o ingrediente principal falta. Você gosta do garçom, mas não confia no prato. Os especialistas sentiam que a IA era "amigável", mas que o resultado final precisava de tanta revisão que, às vezes, era mais rápido fazer o desenho do zero.

2. Os Obstáculos na Conversa

Durante o teste, os especialistas encontraram alguns "gaps" (buracos) na comunicação:

• O Paradoxo do Prompt (O "Jeito de Pedir"): Os usuários sabiam o que queriam (um desenho), mas não sabiam como pedir para a IA entender. Era como tentar pedir uma pizza em um restaurante onde você não sabe o nome dos ingredientes. Eles tinham que adivinhar como escrever o pedido para não receber um desenho errado.
• A Falta de "Perguntas Clarificadoras": Se você diz "Faça um processo de compras", a IA desenha algo imediatamente. Mas um especialista sabe que faltam detalhes: "Quem aprova?", "Qual o limite de valor?". A IA não perguntava nada; ela apenas chutava as respostas. Isso gerava erros.
• A Estratégia do "Chunking" (Dividir para Conquistar): Para lidar com processos longos, os usuários tiveram que quebrar o pedido em pedaços pequenos (como comer um elefante de uma só vez). Isso cansava o cérebro, pois eles tinham que lembrar de todas as partes e montar o quebra-cabeça mentalmente.

3. Onde a IA Brilha e Onde Ela Trava

• Pontos Fortes: A IA era boa em criar o "esqueleto" básico e em detalhes visuais. Era útil para quem não sabe nada de desenho (o "efeito página em branco").
• Pontos Fracos: A IA falhava em regras complexas (como normas de segurança de uma empresa específica) e em processos muito longos. Ela também não conseguia corrigir erros de layout quando o usuário pedia uma mudança simples.

4. O Que os Especialistas Imaginam para o Futuro

Apesar dos problemas, os especialistas viram um grande potencial se a ferramenta evoluir:

1. Assistente para Iniciantes: Ajudar quem não é especialista a fazer o primeiro rascunho.
2. Auditor de Qualidade: A IA poderia revisar desenhos feitos por humanos para garantir que não há erros de regra.
3. Conversor de Fotos: Você tira uma foto de um desenho feito à mão num guardanapo, e a IA transforma em um modelo digital profissional.
4. Otimizador: A IA poderia olhar o processo e dizer: "Ei, essa etapa parece desnecessária, podemos cortar".

Conclusão da História

O estudo nos ensina uma lição importante: Ter uma ferramenta que "funciona" tecnicamente não é o suficiente.

Para que a Inteligência Artificial seja adotada no trabalho real, ela precisa ser avaliada não apenas por códigos e métricas automáticas, mas por humanos. Precisamos de ferramentas que não só sejam fáceis de usar, mas que nos deem a segurança de que o trabalho delas está correto.

No fim, a IA é como um estagiário muito rápido e educado, mas que ainda precisa de um supervisor experiente para revisar tudo antes de enviar ao cliente. O futuro dessas ferramentas depende de ensinar a IA a fazer perguntas melhores e a entender as regras específicas de cada empresa.

Resumo técnico

Título: Avaliação Centrada no Humano de um Copilot de Modelagem de Processos Baseado em LLM: Um Estudo de Métodos Mistos com Especialistas do Domínio

1. Problema

A integração de Modelos de Linguagem Grandes (LLMs) em ferramentas de Gerenciamento de Processos de Negócio (BPM) promete democratizar a modelagem de processos (especificamente em BPMN) para não especialistas. No entanto, as avaliações existentes focam predominantemente em benchmarks automatizados de qualidade sintática, semântica e pragmática. Essas métricas falham em capturar fatores humanos críticos, como confiança, usabilidade e alinhamento com práticas profissionais.

O estudo identifica um "abismo de execução" (gulf of execution), onde os usuários podem entender o objetivo geral, mas não sabem como formular prompts eficazes para obter resultados confiáveis. Além disso, a carga cognitiva aumenta quando os usuários precisam estruturar descrições complexas e verificar modelos gerados. Há uma lacuna na compreensão de como esses sistemas são percebidos e utilizados por especialistas reais no dia a dia.

2. Metodologia

Os autores conduziram uma avaliação de métodos mistos utilizando o KICoPro, um protótipo de sistema conversacional baseado em LLM que transforma descrições textuais em modelos BPMN.

• Participantes: 5 especialistas em modelagem de processos (todos de uma mesma organização, com experiência profissional em BPMN e familiaridade prévia com chatbots). A escolha de especialistas, em vez de novatos, foi deliberada para identificar nuances de qualidade e necessidades de integração de fluxo de trabalho.
• Procedimento:
  1. Kickoff Remoto: Introdução à ferramenta e coleta de expectativas.
  2. Exploração Prática (2 semanas): Os participantes modelaram processos reais e solicitaram modificações.
  3. Grupo Foco Presencial (3,5 horas): Discussão semi-estruturada sobre usabilidade, qualidade do modelo, limitações e casos de uso.
  4. Questionários Padronizados: Coleta de dados quantitativos sobre usabilidade, confiança e qualidade específica da tarefa.
• Instrumentos de Medição:
  • Chatbot Usability Questionnaire (CUQ): Para avaliar a usabilidade percebida (escala 0-100).
  • Trust Scale for the AI Context (TAI): Adaptado para medir confiança em sistemas de IA (escala 0-100%).
  • Questionário Específico da Ferramenta: Avaliação da qualidade do modelo BPMN gerado (compreensão de texto, sequenciamento, clareza, etc.).
• Análise: Estatística descritiva para dados quantitativos (devido ao tamanho amostral pequeno, $n=5$) e análise temática (Braun & Clarke) para dados qualitativos.

3. Principais Contribuições

• Evidência da Lacuna Usabilidade-Confiança: O estudo demonstra que uma interface agradável e fácil de usar não garante confiança na confiabilidade da saída para fins profissionais.
• Identificação de Padrões de Interação: Revelação de estratégias de enfrentamento (como "chunking" ou fragmentação de prompts) que os usuários desenvolvem para contornar limitações do modelo, aumentando sua carga cognitiva.
• Definição de Casos de Uso e Limitações: Mapeamento de cinco cenários de uso potenciais e identificação clara de onde a ferramenta falha (ex: descrições longas, falta de diálogo de esclarecimento).
• Argumento Metodológico: Defende que a avaliação de agentes de modelagem de LLM deve combinar benchmarks automatizados com avaliações centradas no humano para capturar a adequação prática.

4. Resultados

Resultados Quantitativos:

• Usabilidade (CUQ): Média de 67,2/100, ligeiramente abaixo do benchmark estabelecido de 68. Os usuários acharam a interface intuitiva e fácil de usar, mas expressaram incerteza sobre a transparência do propósito do sistema.
• Confiança: Média de 48,8% (limiar sugerido para aceitação é 60%). A confiança foi significativamente menor que a usabilidade.
• Confiabilidade: Foi a dimensão mais crítica, com a pontuação mais baixa (1,8/5), indicando que os especialistas não podiam confiar consistentemente na correção das saídas.
• Qualidade da Tarefa: Média de 54,4%, com alta variabilidade, sugerindo que a qualidade depende fortemente da entrada do usuário e da complexidade do processo.

Resultados Qualitativos (Temas Principais):

1. Paradoxo de Prompting: A interface é simples, mas os usuários lutam para formular prompts que gerem resultados úteis e consistentes (falta de orientação sobre detalhamento vs. concisão).
2. Latência como Barreira: O tempo de resposta é percebido como longo, interrompendo o ritmo cognitivo e o fluxo iterativo de modelagem.
3. Qualidade Variável: Descrições de processos longos tendem a gerar modelos de baixa qualidade ou incompletos.
4. Estratégia de "Chunking": Usuários tiveram que dividir mentalmente processos complexos em partes menores para obter melhores resultados, o que aumentou a carga cognitiva.
5. Modificações Imprecisas: Solicitações de alteração frequentemente falhavam ou introduziam erros não intencionais, especialmente com elementos BPMN não suportados (ex: lanes, fluxos de mensagem).
6. Diálogo de Esclarecimento Ausente: O LLM não faz perguntas para esclarecer entradas ambíguas, gerando suposições implícitas em vez de interagir para resolver lacunas.
7. Violação de Convenções: O sistema não segue padrões de modelagem da empresa ou normas BPMN 2.0 estritas, o que é inaceitável para uso corporativo.

Casos de Uso Envisionados:
Os especialistas propuseram cinco cenários: (1) Suporte a especialistas de domínio (não modeladores) para rascunhos iniciais; (2) Bot de Garantia de Qualidade (validação de padrões); (3) Conversão de imagens/esboços para BPMN; (4) Implantação local integrada à empresa (treinada no portfólio de processos); (5) Otimização de processos (identificação de ineficiências).

5. Significância e Implicações

O estudo é significativo porque desloca o foco da avaliação puramente técnica para a adotabilidade prática em ambientes profissionais.

• Implicações de Design:
  • Necessidade de orientação explícita de prompting e suporte à fragmentação de tarefas (chunking) pelo sistema, não pelo usuário.
  • Implementação de diálogo proativo para esclarecer ambiguidades antes de gerar o modelo.
  • Configuração de convenções corporativas para garantir conformidade.
  • Comunicação de confiança: O sistema deve indicar o nível de certeza da saída e destacar áreas prováveis de erro.
  • Gerenciamento de Latência: Feedback visual durante a geração para manter o fluxo cognitivo.
• Conclusão Final: A avaliação centrada no humano é indispensável para complementar benchmarks automatizados. Para que ferramentas de IA sejam adotadas em BPM, elas devem resolver não apenas a "correção sintática", mas também as questões de confiança, alinhamento com práticas de trabalho e redução da carga cognitiva do especialista.