Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces

Este artigo apresenta uma política de controle compartilhado para reabilitação que utiliza aprendizado por reforço de dupla agente com múltiplos modelos (DAMMRL) e uma estratégia de acionamento por eventos para otimizar a co-adaptação humano-robô em tarefas de alcance, permitindo que o paciente defina a direção principal enquanto o robô ajusta dinamicamente movimentos corretivos para equilibrar precisão e eficiência temporal.

O essencial

Imagine que você está tentando pegar uma maçã no alto de uma árvore, mas seus braços estão um pouco fracos ou trêmulos. Você não consegue fazer o movimento sozinho com precisão. Agora, imagine que um robô amigo está segurando seu braço para te ajudar.

O problema é: se o robô for muito "chato" e tentar corrigir cada tremor seu imediatamente, ou se ele tentar fazer tudo sozinho, a maçã nunca será pega. O movimento fica tremido, como um carro tentando estacionar e indo para frente e para trás sem parar.

Este artigo descreve uma nova maneira de fazer esse "robô amigo" e o "paciente" trabalharem juntos de forma perfeita. Eles chamam isso de DAMMRL (uma sigla complicada que significa "Aprendizado de Máquina com Dois Agentes e Vários Modelos"), mas vamos simplificar: é como ter um duplo time de dança onde um guia o ritmo e o outro ajusta os passos.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. A Dança Dividida (Decomposição de Tarefas)

Em vez de o robô tentar adivinhar tudo o que você quer, eles dividiram o trabalho em duas partes:

• O Humano (Você): Você só precisa decidir a direção principal. É como dizer: "Quero subir" ou "Quero descer". Você não precisa se preocupar com a precisão lateral; apenas dá o comando de "cima" ou "baixo".
• O Robô: Ele cuida de tudo o resto. Se você subir um pouco torto, o robô faz os ajustes finos para o lado e para a frente, garantindo que você vá direto ao ponto.

Analogia: Pense em um barco com um leme. Você (o humano) só decide se quer ir para o Norte ou para o Sul. O robô (o capitão automático) ajusta o leme e a velocidade para garantir que o barco não bata nas pedras e chegue exatamente onde você quer.

2. O Problema do "Tremor" (Oscilação)

Antes, os robôs funcionavam como um metrônomo: eles faziam uma correção a cada segundo, não importa o que acontecesse.

• O que acontecia: O robô mandava o braço ir para a frente. O braço demorava um pouquinho para chegar lá (porque a física é lenta). Mas o robô, no segundo seguinte, já mandava voltar porque "o tempo acabou". O resultado? O braço ficava vibrando, indo e voltando, como um carro tentando estacionar e não conseguindo. Isso é chamado de "chatter" (tagarelice/oscilação).

3. A Solução: A "Bola de Admissão" (Gatilho por Evento)

Para resolver o tremor, os autores criaram uma regra nova. Em vez de contar o tempo, eles criaram uma bola invisível ao redor do alvo.

• Como funciona: O robô só faz o próximo movimento quando o braço realmente entra nessa bola invisível.
• Analogia: Imagine que você está jogando uma bola em um cesto. Você não joga a próxima bola até que a primeira tenha caído no cesto. O robô espera o braço "entrar na zona de conforto" antes de dar o próximo passo. Isso elimina o tremor e faz o movimento ser suave.

4. O Cérebro Duplo (Aprendizado de Máquina)

Aqui entra a parte mais inteligente. Cada pessoa é diferente. Alguns são rápidos e imprecisos; outros são lentos e precisos.

• O Agente Humano: Escolhe o tamanho da "bola invisível". Se você quer ser rápido, escolhe uma bola grande (aceita mais erro). Se quer precisão, escolhe uma bola pequena.
• O Agente Robô: Aprende a ajustar o tamanho dos seus passos. Se você escolheu a bola grande (rápido), o robô dá passos grandes para acompanhar sua velocidade. Se você escolheu a bola pequena (preciso), o robô dá passos miúdos e cuidadosos.

Analogia: É como um dançarino de salão. Se a sua parceira (você) decide dançar rápido, o parceiro (robô) ajusta o ritmo para passos largos e rápidos. Se você decide dançar devagar e com graça, ele ajusta para passos curtos e delicados. Eles "aprendem" a combinar perfeitamente através de tentativa e erro em simulações antes de ir para o mundo real.

5. O Treinamento (Do Virtual ao Real)

Eles não colocaram o robô real para treinar logo de cara (seria perigoso e caro). Eles fizeram em três etapas:

1. Simulação Total: Tudo no computador (como um jogo de vídeo game avançado).
2. Semi-Virtual: Você (humano real) aperta um botão físico, mas o robô é virtual.
3. Real: O robô físico real trabalhando com o paciente.

Resumo Final

Este trabalho cria um sistema de reabilitação onde:

1. O paciente mantém o controle (decide a direção).
2. O robô cuida da precisão e suavidade.
3. Eles param de "tremer" esperando o movimento terminar antes de continuar.
4. O robô aprende a se adaptar ao estilo de cada pessoa (rápido vs. preciso) para que a reabilitação seja mais eficiente, segura e confortável.

É como ter um assistente pessoal que sabe exatamente quando te empurrar e quando te deixar ir, tornando o caminho para a recuperação muito mais suave.

Resumo técnico

Resumo Técnico: Aprendizado por Reforço Dual-Agente para Co-adaptação Humano-Robô em Espaços de Tarefa Desacoplados

1. Problema e Motivação

A reabilitação robótica de membros superiores visa fornecer prática orientada a tarefas com alta dosagem, reduzindo a carga sobre os clínicos. No entanto, existem dois gargalos principais na implementação prática:

1. Decodificação de Intenção vs. Controle em Tempo Real: É necessário capturar a intenção humana de forma precisa e leve o suficiente para controle em tempo real.
2. Oscilação em Pontos de Caminho (Waypoint Chatter): Estratégias de controle de frequência fixa frequentemente induzem oscilações e indecisão perto dos alvos. Isso ocorre porque o tempo de execução da cinemática inversa (IK) varia, criando um descompasso entre a amostragem temporal e a progressão espacial real do robô.

O objetivo deste trabalho é desenvolver uma política de controle compartilhado para um robô de 6 graus de liberdade (6-DoF) que permita uma co-adaptação segura e eficiente entre o paciente e a máquina, eliminando oscilações e equilibrando precisão espacial com eficiência temporal.

2. Metodologia Proposta

A solução proposta integra três pilares principais: decomposição axial de tarefas, controle acionado por eventos (event-triggered) e uma estrutura de Aprendizado por Reforço (RL) Dual-Agente.

A. Decomposição Axial e Tarefas Desacopladas
O espaço de tarefa é decomposto para atribuir papéis distintos ao humano e ao robô:

• Agente Humano (Agente 0): Governa o eixo principal de alcance (ex: eixo Z, cima/baixo) através de comandos binários (decodificados via sensores vestíveis como IMU, EMG ou interfaces diretas como sensores de pressão). O humano também seleciona o raio da "esfera de admissão" (tolerância de erro), refletindo seu trade-off inerente entre velocidade e precisão.
• Agente Robô (Agente 1): Gerencia autonomamente os movimentos corretivos nos eixos ortogonais e determina a magnitude dos passos espaciais (tamanho do passo em X, Y e Z) para complementar o estado cognitivo do usuário.

B. Estratégia de Progressão Acionada por Eventos (Event-Driven)
Para evitar oscilações causadas por atualizações de frequência fixa, o sistema não avança o próximo passo baseado no tempo, mas sim em condições espaciais e energéticas.

• Critério de Gatilho: Uma nova ação de controle é disparada apenas quando o efetuador final entra em uma esfera de admissão centrada no ponto de caminho atual ($x^{(m)}$) e a energia do sistema (surrogato de Lyapunov) converge ($\dot{V} \leq 0$).
• Fórmula do Gatilho: $\|x - x^{(m)}\| \leq \varepsilon \land \dot{V} \leq 0$.
• Isso cria uma "zona morta" espacial que suprime o chatter (oscilação de ida e volta) antes de permitir a atualização do IK.

C. Dual-Agent Multiple Model Reinforcement Learning (DAMMRL)
O núcleo da adaptação é o framework DAMMRL, que utiliza Aprendizado por Reforço Profundo (DQN) para mapear características de decisão discretas.

• Modelagem: O sistema quantiza as capacidades em um conjunto finito de modelos $M = \{M_{i,j}\}$.
  • $i \in \{1, 2\}$: Representa o estado cognitivo do humano (escolha do raio da esfera de admissão: grande para velocidade/alta taxa de erro, pequeno para precisão/baixa taxa de erro).
  • $j \in \{1, ..., 8\}$: Representa as combinações de magnitudes de passos 3D do robô (pequeno ou grande em cada eixo).
• Curriculum de Treinamento: O sistema evolui através de três estágios:
  1. Virtual (Sim-Sim): Treinamento completo no MuJoCo.
  2. Semi-Virtual (Humano-Sim): Humano real controla via sensor físico, robô simulado. Refina o modelo baseado na frequência e precisão reais do usuário.
  3. Real (Humano-Robô): Implantação no hardware físico (planejado para estudo futuro).
• Função de Recompensa: Projetada para penalizar erro de rastreamento, tempo excessivo, esforço mecânico e oscilação, enquanto recompensa a aquisição bem-sucedida do alvo.

D. Controle Dinâmico
O sistema utiliza cinemática inversa numérica (otimização) para mapear passos cartesianos para o espaço das juntas, seguido por um controle de torque calculado (CTC) com modelagem de dinâmica inversa para compensar inércia, forças de Coriolis e gravidade, garantindo interação física suave e segura.

3. Principais Contribuições

1. Alocação de Papéis Axial: Reduz a decodificação de intenção para decisões binárias robustas, mantendo a agência do usuário sobre o progresso da tarefa.
2. Critério de Progressão por Eventos: Utiliza uma esfera de admissão para suprimir oscilações em pontos de caminho, comuns em atualizações de taxa fixa.
3. Framework DAMMRL: Um esquema de co-adaptação baseado em DQN que mapeia micro-passos cartesianos para trajetórias de juntas, combinando discretamente raios de esferas de erro com demandas de precisão.
4. Pipeline de Co-adaptação Escalonado: Uma metodologia de transição suave de simulação MuJoCo para ambientes semi-virtuais e físicos, simplificando o ajuste e a implantação em hardware.

4. Resultados e Avaliação

Os experimentos foram conduzidos em ambientes virtuais (MuJoCo) e validados parcialmente em configuração semi-virtual (humano real + robô simulado).

• Estabilidade Espacial: A comparação entre controle de frequência fixa e o método acionado por eventos mostrou uma redução drástica nas oscilações (chatter) perto dos subobjetivos. O método proposto sincroniza os comandos com o progresso físico real do robô.
• Convergência do RL: Ambos os agentes (humano simulado e robô) convergiram durante o treinamento.
• Efeito da Recompensa:
  • Com foco apenas em precisão (Recompensa 1), o agente adota passos pequenos e cautelosos, minimizando o erro final, mas aumentando o tempo de execução.
  • Com foco em equilíbrio velocidade/precisão (Recompensa 2), o agente ajusta dinamicamente o tamanho dos passos (usando passos maiores no meio do trajeto e menores no final), otimizando o tempo total sem sacrificar a precisão final.
• Validação Semi-Virtual: Participantes humanos controlaram o eixo principal via sensor de pressão, demonstrando que o algoritmo permite que o robô alcance o alvo de forma estável, adaptando-se à taxa de erro e frequência de decisão do usuário.

5. Significado e Conclusão

Este trabalho apresenta um avanço significativo na reabilitação robótica ao resolver o problema da instabilidade em pontos de caminho através de uma abordagem acionada por eventos, em vez de dependente de tempo. O framework DAMMRL oferece uma solução elegante para a variabilidade interindividual, permitindo que o robô se adapte não apenas à força física do paciente, mas também ao seu estado cognitivo e trade-off entre velocidade e precisão.

Ao desacoplar as tarefas espaciais e utilizar um conjunto finito de modelos de co-adaptação, o sistema elimina a necessidade de adaptação online contínua e pesada, garantindo segurança e eficiência. A validação em estágios (Virtual -> Semi-Virtual -> Real) estabelece um roteiro robusto para a implantação futura em pacientes com déficits neurológicos, prometendo melhorar as taxas de sucesso na aquisição de objetos e a experiência geral de reabilitação.