Robust Assembly State Reasoning from Action Recognition for Human-Robot Collaboration

Resumo Técnico: Raciocínio Robusto de Estado de Montagem a partir do Reconhecimento de Ações para Colaboração Humano-Robô

Definição do Problema
No contexto da Indústria 5.0 e da Colaboração Humano-Robô (HRC), um desafio crítico permanece: permitir que parceiros robóticos percebam com precisão o estágio atual de uma tarefa de montagem colaborativa com base em entradas de Reconhecimento de Ação Humana (HAR). Embora os sistemas de HAR consigam frequentemente identificar o tipo de ação sendo realizada (ex: "parafusar"), eles frequentemente falham em mapear essas ações para o estado específico de uma sequência de montagem complexa. Isso é particularmente difícil em cenários realistas onde as tarefas envolvem ações repetidas do mesmo tipo primitivo, comportamentos não lineares do usuário (pular ou reordenar etapas) e dados de sensores imperfeitos. As abordagens atuais frequentemente dependem de uma lógica rígida e manual ou de pistas específicas que reduzem a fluidez da interação, enquanto métodos avançados carecem de comparações robustas entre ambientes de tarefas diversos, ruidosos e variáveis.

Metodologia
Os autores investigam e comparam sistematicamente cinco métodos distintos para rastrear estados de montagem dadas entradas de reconhecimento de ação. O estudo utiliza dois conjuntos de dados de código aberto distintos:

1. HA4M: Uma montagem de engrenagem epicíclica com 13 tipos de ação e 19 estados, apresentando ações repetidas.
2. IKEA ASM: Três tarefas de montagem de móveis (Mesa de Centro, Mesa Lateral, Banco de TV) caracterizadas por variações naturais na ordem das ações, correção de erros e ações cíclicas repetidas.

As cinco abordagens avaliadas são:

• Lógica de Base (Baseline Logic): Um algoritmo determinístico que itera através de estados baseando-se no correspondência de ações observadas e no decremento de um contador de tempo (inicializado com a duração média da ação). Ele avança os estados se a ação observada corresponder à próxima ação esperada ou se um limite de tempo for atingido.
• Base Probabilística Aprimorada (Probabilistic Enhanced Baseline): Uma extensão da base que incorpora um modelo probabilístico. Em vez de um limite de tempo rígido, utiliza uma Função de Distribuição Acumulada (CDF) Normal baseada na média e no desvio padrão das durações das ações para calcular a probabilidade de conclusão, disparando uma transição de estado quando essa probabilidade excede 0,9.
• Modelo Oculto de Markov (HMM): Um CategoricalHMM implementado com matrizes de transição e emissão predefinidas. O modelo assume uma estrutura sequencial conhecida, com probabilidades de transição favorecendo o estado atual (0,7) ou movendo-se para o próximo (0,225), e probabilidades de emissão favorecendo a observação correta (0,7). Este método não requer dados de treinamento.
• LSTM Focada na Tarefa (Task-Focused LSTM): Uma rede neural treinada especificamente para um único tipo de tarefa. Ela recebe uma sequência de entradas de ação codificadas em one-hot e produz o índice do estado atual. É treinada em janelas de 5 segundos com 20% de ruído simulado.
• LSTM Focada na Ação (Action-Focused LSTM): Uma arquitetura de rede genérica projetada para ser instanciada para cada ação em uma sequência. Ela prevê as probabilidades de início e conclusão de ações específicas com base no tipo de ação atual, estatísticas de duração e a saída do modelo da ação anterior. O objetivo é evitar o retreinamento para cada nova tarefa.

Experimentos foram conduzidos em duas etapas:

1. Entradas Simuladas: Os métodos foram testados contra sequências de ações de verdade fundamental (ground-truth) com níveis variados de ruído injetado (0% a 50%) para avaliar a robustez.
2. Entradas Realistas: Um modelo ST-GCN pré-treinado foi utilizado para gerar previsões de HAR a partir de dados de esqueleto, que foram então alimentados nos métodos de rastreamento de estado para simular imperfeições de sensores do mundo real.

Principais Resultados
O estudo revela que nenhum método único é ideal para todos os cenários; o desempenho é altamente dependente da variabilidade da tarefa e dos níveis de ruído de entrada.

• Robustez ao Ruído: No conjunto de dados HA4M (que possui ações repetidas mas uma sequência fixa), o Task-LSTM apresentou melhor desempenho sob ruído de baixo a moderado (F1 score de ~0,64 com 0-0,3 de ruído). No entanto, conforme o ruído aumentava, os métodos baseados em lógica mostravam maior resiliência.
• Tarefas Variáveis: Nos conjuntos de dados IKEA (caracterizados por alta variabilidade e ações cíclicas repetidas), os métodos Base e Base Probabilística superaram significativamente as abordagens de redes neurais e HMM. O HMM, em particular, teve dificuldades em distinguir entre ações idênticas sequenciais no HA4M e tendeu a "saltar adiante" para o fim da tarefa em cenários IKEA.
• Entradas de HAR Realistas: Ao utilizar saídas reais de ST-GCN (que possuíam menor acurácia, ex: F1 0,27 para IKEA), a Base Probabilística alcançou o maior F1 score para tarefas IKEA (0,46), enquanto o Task-LSTM permaneceu superior para HA4M (0,57).
• Modos de Falha: Matrizes de confusão indicaram que redes neurais e HMMs frequentemente ficam "presos" em estados ou saltam etapas quando confrontados com ações repetidas ou ruído. Métodos baseados em lógica foram mais propensos a ficar presos, porém menos propensos a saltar estados.

Significância e Alegações
O artigo afirma que o rastreamento robusto de estado em HRC requer uma abordagem matizada em vez de uma solução de "tamanho único". Os autores enfatizam que:

1. O Contexto Importa: Os métodos ideais variam por tarefa. Abordagens baseadas em lógica são mais robustas em cenários com alta variabilidade e ações repetidas, enquanto métodos de NN e HMM podem performar bem em tarefas com baixa variabilidade.
2. A Modelagem de Duração é Crítica: Métodos que modelam explicitamente a duração esperada da ação (como a Base Probabilística) são essenciais para lidar com ações repetidas onde nenhum sensor adicional é fornecido para distinguir as instâncias.
3. Generalização vs. Especificidade: Embora o aprendizado profundo ofereça alto desempenho em ambientes controlados, ele enfrenta dificuldades com o ruído e a variância inerentes ao HRC do mundo real. Os autores defendem arquiteturas generalizáveis que minimizem regras manuais, mas reconhecem que as abordagens baseadas em lógica atuais oferecem uma robustez necessária para implantação em ambientes complexos e não ideais.

O trabalho conclui que a previsão precisa de estado continua sendo um desafio não trivial, particularmente quando os usuários se desviam de procedimentos ideais. Trabalhos futuros devem focar na integração de modalidades de dados adicionais (como o rastreamento do estado de objetos) para melhorar ainda mais a robustez sem sacrificar a capacidade de implantar sistemas com retreinamento mínimo.