💻 computer science

Compliance for Free: Learning Identifiable Impedance via Bilateral Teleoperation

Este artigo propõe um método utilizando teleoperação bilateral de quatro canais para identificar e registrar a rigidez do operador a partir de sensores de torque de junta existentes, permitindo o ajuste fino de modelos de visão-linguagem-ação para gerar rótulos de complacência dependentes da direção com custo zero de anotação para tarefas ricas em contato.

Autores originais: Harsha Guda, Adrià Colomé, Carme Torras

Publicado 2026-09-18

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Harsha Guda, Adrià Colomé, Carme Torras

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs tornaram-se notavelmente bons a ver o mundo e a decidir para onde se mover a seguir. A inteligência artificial moderna consegue olhar para uma fotografia de um quarto desarrumado e dizer a um braço robótico exatamente como pegar num copo ou abrir uma gaveta. Mas há um passo final, crítico, onde estas máquinas frequentemente tropeçam: o momento em que tocam em algo. Embora se possa dizer a um robô para onde ir, ele tem dificuldade em saber com que força empurrar. Tarefas que exigem um toque suave, como limpar um quadro branco sem o riscar, ou inserir um pino num buraco apertado, dependam de uma propriedade chamada complacência. Esta é a capacidade de ceder ou resistir à pressão de uma forma controlada. Durante muito tempo, ensinar esta competência aos robôs foi difícil porque as formas padrão pelas quais os humanos mostram aos robôs o que fazer apenas registam a posição final do robô. Elas perdem a força invisível que o humano estava a aplicar, deixando o robô a adivinhar se deve ser rígido ou suave.

Uma equipa de investigadores em Barcelona encontrou uma forma de resolver esta peça de informação em falta sem adicionar sensores de força-torque ou táteis caros. Eles descobriram que, ao utilizar um tipo específico de configuração de controlo remoto, poderiam separar matematicamente o alvo pretendido pelo humano da força que aplicou, utilizando apenas os sensores de torque de junta já presentes no braço do robô. Nos seus experiências, um operador humano controlou um braço robótico através de um sistema onde o próprio braço do operador movia um segundo braço robótico idêntico. Ao observar como o braço do operador se movia em comparação com a forma como o braço do robô se movia realmente, os investigadores conseguiram calcular exatamente quão rígido ou suave o operador queria que o robô fosse em cada momento. Eles utilizaram estes novos dados para treinar um modelo de inteligência artificial que pode agora receber uma instrução verbal simples, como "limpa esta marca com firmeza", e ajustar a sua própria rigidez para corresponder, em vez de apenas se mover para uma localização.

O cerne do problema que os investigadores abordaram é uma confusão que acontece sempre que tentamos ensinar um robô ao observar um humano. Imagine um humano a empurrar um braço robótico contra uma parede. Se o robô acabar num determinado lugar, não sabemos se o humano empurrou com força contra uma mola rígida ou suavemente contra uma mola macia; ambos os cenários poderiam resultar no robô a terminar exatamente no mesmo lugar. Os dispositivos de gravação padrão apenas veem a posição final, pelo que não conseguem distinguir a diferença. Isto torna impossível ensinar a um robô o conceito de "firme" versus "suave" apenas observando para onde o robô vai. Os investigadores perceberam que, para corrigir isto, precisavam de uma segunda medição independente de para onde o humano pretendia ir, distinta de onde o robão realmente acabou.

Para resolver isto, utilizaram um sistema de teleoperação bilateral de quatro canais. Nesta configuração, um humano segura um braço robótico "líder" e um braço robótico "seguidor" tenta copiá-lo. Crucialmente, o sistema não envia apenas comandos de posição; também envia informação de força de ida e volta. Quando o braço seguidor atinge um obstáculo, o humano sente essa resistência na sua própria mão. Porque o humano está a sentir ativamente o contacto, o movimento do seu próprio braço representa a sua verdadeira intenção, enquanto o movimento do seguidor mostra como o robô reagiu ao ambiente. Ao comparar o caminho do líder com o caminho do seguidor, os investigadores puderam calcular a diferença entre onde o humano queria estar e onde o robô realmente estava. Esta diferença, combinada com a força que o robô sentiu (que foi estimada usando os sensores de torque de junta nativos do robô), permitiu-lhes trabalhar inversamente e determinar a rigidez exata que o humano estava a aplicar.

Utilizando este método, a equipa recolheu um grande conjunto de demonstrações onde humanos limpavam um quadro branco. Eles instruíram os humanos a limpar marcas no quadro de forma "normal" ou "firme". Devido ao seu novo método de cálculo, puderam extrair um rótulo preciso para a rigidez utilizada em cada momento do movimento de limpeza, sem necessitarem de quaisquer sensores de força especiais no pulso do robô. Eles utilizaram então estes rótulos para ajustar um modelo de linguagem-visão de grande escala, um tipo de inteligência artificial que compreende imagens e texto. Ensinaram este modelo a produzir não apenas um alvo de posição, mas também um valor de rigidez alvo para cada movimento que realiza.

Os resultados mostraram que esta abordagem funcionou exatamente como pretendido. Quando os investigadores testaram a nova política do robô, descobriram que ele conseguia genuinamente mudar a força com que pressionava com base na instrução linguística. Quando instruído para limpar "firmemente", o robô aumentou a sua força de contacto para uma média de 9,1 Newtons. Quando instruído para limpar "normalmente", reduziu essa força para 6,4 Newtons. Esta mudança foi estatisticamente significativa e consistente. Em contraste, outras políticas de robôs testadas no mesmo estudo falharam em alterar o seu comportamento com base na instrução. Algumas políticas que receberam dados de força como entrada ainda se moviam de forma demasiado rígida, enquanto outras que tentaram adivinhar a rigidez com base em regras fixas não conseguiram adaptar-se de todo. Apenas a política treinada com os novos rótulos extraídos ligou com sucesso a palavra "firmemente" a um aumento físico de pressão.

Os investigadores também verificaram que o robô aprendeu a ser seletivamente rígido. Ele não se tornou apenas uniformemente mais duro em todas as direções; tornou-se rígido na direção do movimento de limpeza para resistir a ser empurrado fora do curso, mantendo-se mais suave noutras direções. Este comportamento anisotrópico, ou rigidez dependente da direção, é um traço sofisticado que imita a forma como uma mão humana ajusta naturalmente a tarefa. O robô alcançou uma taxa de sucesso de 50 por cento na remoção de tinta do quadro, que foi a mais alta entre as cinco diferentes políticas testadas, e fez-no gerando menos paragens de segurança causadas por força excessiva.

Apesar destes sucessos, o estudo reconhece certas limitações. O método depende de o robô possuir sensores que meçam o torque nas suas juntas, que são comuns em robôs de investigação, mas nem sempre em modelos comerciais mais baratos. A técnica também exigiu que o robô permanecesse numa postura específica durante a calibração para garantir que os cálculos de força permanecessem precisos. Além disso, a rigidez rotacional, ou como o robô resiste à torção, foi mais difícil de medir com precisão porque a tarefa de limpeza não envolveu movimento de torção suficiente para gerar dados claros. Os investigadores notaram que, embora o seu método funcione bem para esta tarefa específica, não é uma solução universal para todos os tipos de contacto que um robô possa encontrar.

A significância deste trabalho reside em como contorna a necessidade de hardware especializado e caro de força-torque ou táctil para ensinar os robôs sobre o toque. Ao utilizar os sensores de torque de junta já existentes num braço robótico e uma abordagem matemática inteligente para interpretar a intenção humana, os investigadores criaram uma forma de gerar dados de treino de alta qualidade para complacência a custo zero adicional. Isto sugere que os robôs poderão aprender a lidar com tarefas delicadas ou de força variável de forma muito mais eficaz no futuro, simplesmente observando os humanos através de um sistema que captura tanto o movimento como a sensação de resistência. O estudo demonstra que a chave para um melhor toque robótico pode não ser melhores sensores, mas sim melhores formas de ler os sinais que já temos.

Resumo Técnico: Conformidade de Graça: Aprendendo Impedância Identificável via Teleoperação Bilateral

1. Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) revolucionaram a manipulação robótica, mas falham consistentemente em tarefas ricas em contato (ex: limpeza, inserção) porque produzem apenas alvos de pose, não a conformidade (rigidez) necessária para modular as forças de interação. Embora alguns trabalhos recentes tentem produzir força ou conformidade, eles dependem de frames de interação especificados manualmente, dados privilegiados de simulação ou sensores dedicados de força/torque (F/T) e táteis durante o treinamento e a inferência.

O obstáculo central é um problema fundamental de identificabilidade nas interfaces de demonstração padrão (ex: controles VR, SpaceMice, sistemas bimanuais unilaterais). Essas interfaces registram apenas a pose realizada pelo robô ( $x_f$ ) e a força de contato resultante ( $f$ ). No entanto, a força de contato é o produto tanto da pose de equilíbrio pretendida pelo operador ( $x_{eq}$ ) quanto de sua rigidez ( $K$ ). Matematicamente, uma mola macia puxada longe e uma mola rígida puxada levemente exercem a mesma força. Sem uma medição independente de $x_{eq}$ , o equilíbrio pretendido pelo operador e sua rigidez tornam-se confundidos; nenhuma quantidade de dados apenas de pose pode desmembrá-los. Consequentemente, as interfaces existentes não podem fornecer supervisão de conformidade, em princípio.

2. Metodologia

A. Resolvendo a Identificabilidade via Teleoperação Bilateral

Os autores propõem o uso de teleoperação bilateral de quatro canais para quebrar a ambiguidade de identificabilidade. Nesta configuração, um braço líder (controlado pelo humano) e um braço seguidor (o robô) são ativamente acoplados.

Insight Chave: A trajetória do braço líder ( $x_l$ ) serve como uma medição física independente do equilíbrio pretendido pelo operador ( $x_{eq}$ ).
Mecanismo: Ao substituir $x_{eq} = x_l$ na lei de impedância $f(t) = K(t)(x_{eq}(t) - x_f(t)) + D(t)\dot{e}(t)$ , o erro de deslocamento $e(t)$ torna-se diretamente observável. Isso permite que $K(t)$ e $D(t)$ sejam identificados via regressão usando apenas a detecção de torque de junta já presente no manipulador, eliminando a necessidade de sensores externos de F/T.

B. Estimativa de Wrench sem Sensores

Como o método depende de sensores de torque de junta em vez de sensores F/T de pulso, os autores implementam um procedimento de estimativa de wrench sem sensores:

Compensação de Gravidade: Eles identificam a massa da ferramenta e o centro de massa usando poses estáticas para subtrair o componente de gravidade dos torques de junta medidos.
Correção de Viés: Eles modelam o erro residual (dependente de configuração e velocidade) usando um banco de Características de Fourier Aleatórias (Random Fourier Features) ajustadas em varreduras de espaço livre.
Piso de Ruído: Um piso de ruído por eixo ( $\sigma_{f,i}$ ) é medido a partir de dados de espaço livre retidos para garantir que as estimativas de força estejam acima do ruído do sensor.

C. Extração de Rótulos de Conformidade

Os autores extraem rótulos de conformidade anisotrópicos por passo de tempo através de um processo de regressão mascarada:

Frame de Contato: Um frame de contato é ajustado à trajetória de limpeza usando Decomposição de Valores Singulares (SVD) para definir a normal da superfície.
Regressão em Janela: Sobre janelas deslizantes de 300ms, um problema de mínimos quadrados não lineares regularizado resolve para rigidez ( $k$ ) e amortecimento ( $d$ ) por eixo.
Máscara de Identificabilidade: Uma máscara binária é aplicada para reter rótulos apenas quando:
1. A matriz de regressão está bem condicionada.
2. O deslocamento é significativo.
3. A força excede o piso de ruído.
4. O sistema está em contato.
  Isso gera um conjunto de dados de pares $(x_{eq}, \log K)$ com máscaras de validade, exigindo custo zero de anotação.

D. Política VLA de Saída de Conformidade

Os rótulos extraídos são usados para ajustar um VLA pré-treinado (backbone SmolVLA):

Arquitetura: A política recebe visão (cena + câmera de pulso), instruções de linguagem (ex: "limpe a marca à esquerda firmemente") e um token de histórico de força como entrada.
Saída: Ela prevê um bloco (chunk) de ações futuras contendo tanto uma pose alvo absoluta ( $x_{eq}$ ) quanto um alvo de rigidez ( $\log K$ ).
Treinamento: Utiliza flow-matching para pose e perda de Huber para rigidez, aplicados apenas em passos de tempo mascarados (identificáveis).
Controle: Um controlador de impedância cartesiana de baixo nível rastreia as saídas em blocos da política. O sistema emprega ensembramento temporal e portão de tanque de energia (energy-tank gating) para garantir estabilidade e passividade.

3. Principais Contribuições

Procedimento de Extração Sem Sensores: Um método para resolver a ambiguidade de identificabilidade de pose única usando teleoperação bilateral, gerando rótulos de conformidade por passo de tempo usando apenas os sensores nativos de torque de junta.
Benchmark Offline: Demonstração de que os rótulos extraídos carregam sinal aprendível, com um preditor aprendido superando um preditor constante por eixo em $1,25\times$ no RMSE agregado nos eixos de translação.
Política de Conformidade Condicionada por Instrução: Uma política VLA treinada nesses rótulos que rastreia com sucesso alvos de impedância em blocos. É a única política entre cinco baselines cuja força de contato realizada muda em resposta a instruções sobre o "modo" de força (ex: "firmemente" vs. "normalmente").

4. Resultados Experimentais

O método foi avaliado em um robô Franka Research 3 realizando uma tarefa de limpeza de quadro branco com instruções para limpar "normalmente" ou "firmemente".

Condicionamento de Instrução: A política modulou com sucesso sua rigidez de saída baseada na instrução.
- Demonstração de Rigidez: Demonstrações "firmes" mostraram maior rigidez ($146,2$ N/m) do que "normais" ($127,2$ N/m).
- Saída da Política: A política reproduziu essa lacuna ($141,2$ vs. $116,4$ N/m).
- Força Realizada: Crucialmente, a força de contato realizada respondeu à instrução: "Firme" resultou em $9,12$ N RMS de força, enquanto "Normal" resultou em $6,40 $N RMS ($ p=0,023$, Cohen's $d=0,89$ ).
Comparação com Baselines:
- Fixed-K: Usou rigidez constante; falhou em modular a força baseada na instrução.
- Force-In: Consome força como entrada, mas produz apenas pose; falhou em modular a força.
- Hybrid: Prediz a rigidez, mas via uma cabeça de regressão separada; a rigidez comandada não se traduziu em mudanças de força realizada.
- O Nosso Método: A única política onde a força de contato realizada respondeu estatisticamente à instrução de linguagem.
Desempenho da Tarefa: A política proposta alcançou a maior taxa de sucesso (50,0%) e remoção de tinta (40,8%), mantendo forças de contato de pico e RMS mais baixas em comparação com o baseline Fixed-K, resultando em menos paradas de proteção (1 vs. 6).

5. Significância e Alegações

O artigo alega que a barreira primária para aprender manipulação complacente não é a arquitetura do modelo, mas a interface de demonstração. As interfaces padrão confundem equilíbrio e rigidez, tornando a supervisão de conformidade impossível sem hardware externo ou simulação.

Ao utilizar teleoperação bilateral de quatro canais, os autores demonstram que:

A conformidade pode ser extraída de graça: Não são necessários sensores adicionais de F/T ou táteis durante o treinamento ou inferência; o braço líder fornece o sinal de equilíbrio necessário.
A conformidade é uma ação aprendível: Um VLA pode ser treinado para produzir alvos de rigidez que são fisicamente realizados pelo robô.
A força condicionada por instrução é alcançável: O sistema pode modular a força de contato com base em linguagem natural ("firmemente" vs. "normalmente") sem depender de restrições rígidas ou informações privilegiadas.

Os autores enfatizam que prever a conformidade é insuficiente; a política também deve rastreá-la. Sua abordagem alcança isso decodificando pose e rigidez através de um alvo compartilhado, resultando em um comportamento anisotrópico genuíno onde o robô resiste à deflexão fora do caminho do traço quando instruído a limpar "firmemente", em vez de simplesmente pressionar mais forte contra o quadro.

6. Limitações

Os autores reconhecem várias limitações:

Dependência de Configuração: A estimativa de wrench sem sensores requer uma postura de nullspace fixa e um espaço de trabalho restrito.
Impedância Rotacional: Os canais rotacionais foram fracamente identificados nesta tarefa específica (a limpeza mal excita a orientação), e a rigidez rotacional extraída frequentemente satura no limite inferior do controlador.
Escopo: A evidência é limitada a uma única tarefa (limpeza) e plataforma (Franka Research 3).
Poder de Ablação: O estudo de ablação do canal de força foi subdimensionado devido a um pequeno orçamento de execução (rollout), deixando o papel causal do token de entrada de força aberto para investigação adicional.