Resumo Técnico: EBuddy – Um Orquestrador de Fluxo de Trabalho para Colaboração Humano-Máquina Industrial

1. Declaração do Problema

As células de trabalho industriais integram cada vez mais ferramentas digitais heterogêneas (ex: software de escaneamento, pipelines de dados, controladores de robôs) com automação colaborativa. No entanto, o desempenho é frequentemente limitado não pelas capacidades físicas do robô, mas pelo espaço de decisão do fluxo de trabalho. Os operadores devem determinar os próximos passos válidos, selecionar parâmetros, lidar com exceções e coordenar transferências entre software e hardware.

Embora os especialistas de domínio possuam o conhecimento necessário para navegar nessas decisões de forma eficaz, esse conhecimento é difícil de escalar. Quando os procedimentos são reconstruídos de forma ad hoc por diferentes operadores ou entre turnos, a qualidade da execução degrada-se e a repetibilidade sofre. Iniciantes exigem tutoria extensiva, consumindo o tempo dos especialistas, enquanto usuários intermediários frequentemente se desviam de caminhos otimizados. O artigo identifica a necessidade de um sistema que operacionalize a prática do especialista em um framework consistente e interpretável sem remover a agência humana.

2. Metodologia: A Arquitetura EBuddy

O EBuddy é um orquestrador de fluxo de trabalho guiado por voz projetado para preencher a lacuna entre o conhecimento do especialista e a execução do operador. Ele enquadra a colaboração humano-máquina como um framework de orquestração compartilhada onde o conhecimento do especialista é explicitamente codificado e operacionalizado.

Componentes Principais

A arquitetura do sistema consiste em cinco componentes primários:

1. Ambiente de Interação Baseado em Funções: Gerencia as responsabilidades do usuário com base nos níveis de proficiência (Iniciante, Intermediário, Avançado).
2. Arquitetura FSM: Implementa fluxos de trabalho como Máquinas de Estados Finitos (FSMs) utilizando a biblioteca Python transitions.
3. Controles de Ferramentas: Interfaceia com dispositivos físicos (via nós ROS2) e aplicações baseadas em GUI (via interação programática).
4. Interface do Usuário (UI): Fornece uma representação visual do estado do fluxo de trabalho e dos comandos disponíveis.
5. Pipeline de Compreensão de Linguagem: Combina Reconhecimento Automático de Fala (ASR) com reconhecimento de intenção sensível ao contexto.

Mecanismos Técnicos Chave

Formalismo de Máquina de Estados Finitos (FSM)

O EBuddy utiliza FSMs em vez de Árvores de Comportamento (BTs) para priorizar a representação explícita do estado do processo.

• Transparência: O status do sistema é capturado por um único estado ativo com um rótulo claro, exposto diretamente ao operador e registrado para diagnóstico.
• Imposição de Restrições: A FSM restringe a Compreensão de Linguagem Natural (NLU) apenas às transições válidas e alcançáveis a partir do estado atual. Isso cria um mecanismo de imposição inerente para as restrições do domínio.
• Modularidade: As FSMs suportam composição hierárquica, permitindo que fluxos de trabalho invoquem outras FSMs recursivamente ou chamem módulos externos.
• Autopiloto: "Estados de salto" (ex: AutoPilotOn) permitem que o sistema execute fluxos de trabalho inteiros autonomamente, útil tanto para treinar iniciantes quanto para executar processos de especialistas otimizados sem supervisão.

Integração de Ferramentas

• Ferramentas Físicas: Controladas via nós ROS2 (ex: cobot Fanuc CRX-20i).
• Aplicações GUI: O EBuddy automatiza aplicações de terceiros que carecem de APIs diretas, capturando capturas de tela de elementos da UI e executando sequências predefinidas (cliques, preenchimento de formulários). Ele monitora o feedback visual (ex: busca por strings específicas) para atualizar a máquina de estados.

Interação de Voz e Reconhecimento de Intenção

Os operadores utilizam um headset RealWear Navigator 500. O pipeline de processamento de voz inclui:

• Processamento no Dispositivo: Os sinais de voz são pré-filtrados por Detecção de Atividade de Voz (VAD) e processados por um modelo ASR baseado em Whisper no dispositivo para garantir a privacidade.
• NLU Sensível ao Contexto: O módulo NLU recebe a consulta do operador e a compara contra o conjunto de transições válidas disponíveis a partir do estado atual ($c$).
• Métricas de Similaridade: Para mapear a intenção falada para as transições de estado, o sistema combina:
  • Similaridade Lexical: Distância de edição de Levenshtein ($D_{Lev}$) e similaridade de Jaccard ($S_{Jac}$).
  • Similaridade Semântica: Similaridade de cosseno ($S_{cos}$) usando embeddings de um modelo sentence-transformer destilado.
• Lógica de Decisão: O sistema classifica as transições com base nessas métricas contra limiares de implantação definidos (ex: $\tau_{Scos} = 0.5$). Se uma correspondência exceder os limiares de segurança, a transição é executada; caso contrário, o sistema rejeita o comando ou solicita esclarecimentos.

Papéis de Usuário e Transferência de Conhecimento

O EBuddy adapta-se a três perfis de usuário:

• Iniciantes: Seguem orientações passo a passo, confirmam ações e aprendem observando a execução do EBuddy.
• Usuários Intermediários: Utilizam o EBuddy como interface primária, mas tomam decisões locais (ex: seleção de opções, ajuste de parâmetros) e lidam com avisos comuns.
• Usuários Avançados: Atuam como autores de processos, definindo fluxos de trabalho, primitivas de ferramentas, salvaguardas de segurança e conteúdo instrucional.

3. Estudo de Caso: Preparação de Reparo de Impelidor

O sistema foi validado em um piloto industrial envolvendo o reparo de Deposição de Energia Direcionada (DED) para impelidores de turbomaquinaria.

• Tarefa: Escaneamento 3D de lâminas de impelidor complexas (finas, separadas por vazios profundos) e geração de programas de reparo.
• Ferramentas: Scanner Artec Spider (montado em cobot), Artec Studio 16 (GUI) e um Gerador de Programa de Peças customizado.
• Fluxo de Trabalho: O processo foi modularizado em FSMs cobrindo escaneamento, processamento 3D e geração de programa.

4. Resultados

Uma campanha de avaliação com seis participantes comparou uma Linha de Base Manual (orientação contínua de um especialista) contra a execução assistida pelo EBuddy.

Achados Quantitativos:

• Tempo do Operador: Reduzido de 868 minutos (Manual) para 320 minutos (EBuddy), uma redução de 63%.
  • Treinamento/Onboarding: -47%
  • Escaneamento e Processamento 3D: -73%
  • Geração de Programa de Reparo: -70%
• Tempo do Especialista:
  • A configuração inicial exigiu 770 minutos.
  • O tempo de acompanhamento subsequente caiu para 30 minutos no total (uma redução de 90% no suporte de onboarding).
  • À medida que a base de usuários escala, a economia de tempo do especialista aumenta proporcionalmente, liberando especialistas para tarefas de maior valor.

Achados Qualitativos:

• Repetibilidade: O quadro de decisão da FSM garantiu a execução consistente entre os operadores.
• Carga de Trabalho: Os participantes relataram menor carga de trabalho percebida, menos posturas desconfortáveis e menos tempo perdido com o reprocessamento de dados.
• Democratização de Habilidades: Usuários com backgrounds técnicos limitados conseguiram executar fluxos de trabalho complexos seguindo a "receita explícita e guiada".

5. Significância e Alegações

O artigo afirma que o EBuddy representa um passo pragmático em direção à Indústria 5.0 de colaboração humano-máquina, mudando o paradigma de simples comandos de voz para a orquestração de fluxo de trabalho centrada na decisão.

As principais alegações incluem:

• Interação Fundamentada no Estado: Ao interpretar a fala dentro de um quadro de decisão FSM explícito, o sistema garante que a intenção do operador esteja sempre restrita pela lógica de processo válida, evitando ações inválidas sem a necessidade de camadas de validação externas complexas.
• Escalabilidade do Conhecimento: O sistema operacionaliza o saber do especialista em artefatos modulares e legíveis (fluxos de trabalho JSON, scripts), permitindo que esse conhecimento seja transferido para usuários iniciantes e intermediários sem a presença síncrona constante de um especialista.
• Integração Híbrida: O EBuddy coordena com sucesso recursos heterogêneos (software GUI, cobots, pipelines de dados) sem exigir integração profunda ao nível de API, usando feedback visual e monitoramento de estado para preencher as lacunas.
• Agência Humana: Ao contrário de sistemas totalmente autônomos, o EBuddy mantém o operador humano no ciclo (in the loop), retendo a agência sobre as decisões do fluxo de trabalho enquanto o sistema impõe a orquestração e as estratégias de recuperação.

Os autores concluem que esta abordagem reduz o atrito de execução, melhora a repetibilidade e permite maior throughput em configurações onde a disponibilidade de especialistas de domínio é o recurso limitante. Trabalhos futuros focam em validação mais ampla, métricas de qualidade quantitativas e o desenvolvimento de bibliotecas de fluxos de trabalho reutilizáveis.