💻 computer science

Vision-Force Admittance Learning for Peg Insertion into a Movable Hole

Este artigo propõe uma estrutura de Aprendizado de Admitância Visão-Força (VFAL) que funde o feedback visual assíncrono de modelos de fundação com o controle de força de alta frequência para permitir a inserção de pino no furo com precisão milimétrica e robusta em furos móveis em ambientes dinâmicos.

Autores originais: Yuzhong Chen, Yongqing Liang, Yunzhi Xu, Irving Fang, Chase Kidder, Hui-ping Wang, Raihan Haque, Yubiao Zhang, Chen Feng

Publicado 2026-09-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuzhong Chen, Yongqing Liang, Yunzhi Xu, Irving Fang, Chase Kidder, Hui-ping Wang, Raihan Haque, Yubiao Zhang, Chen Feng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo silencioso e controlado de um chão de fábrica, um braço robótico pode ser uma maravilha de precisão. Ele pode pegar um parafuso e inseri-lo em um furo com uma firmeza que nenhuma mão humana consegue igualar, desde que o furo não se mova. Este é o reino da manipulação estática, onde o alvo permanece imóvel e o desafio do robô é simplesmente encontrar o caminho para um ponto fixo. Mas o mundo real raramente é tão estático. Imagine uma peça de carro movendo-se ao longo de uma correia transportadora, ou um robô montado em um veículo que está dirigindo sobre um terreno irregular. Nesses ambientes dinâmicos, o alvo está em movimento, e o robô deve não apenas encontrar o furo, mas persegui-lo, tudo isso enquanto mantém a precisão de nível milimétrico necessária para encaixar um pino em um espaço apertado. Este é um conflito fundamental: a necessidade de precisão extrema colide com o caos de um alvo em movimento. Os robôs tradicionais têm dificuldade aqui porque dependem ou de uma visão de alto nível lenta para ver onde o furo está, ou de sensores de toque locais rápidos para sentir o momento do contato. A visão é lenta demais para reagir a mudanças súbitas, enquanto o toque sozinho não consegue enxergar longe o suficiente para planejar um caminho suave.

Pesquisadores da Universidade de Nova York e da General Motors desenvolveram uma nova maneira de resolver este problema, criando um sistema que permite a um robô inserir um pino em um furo móvel com um sucesso notável. Eles chamam seu método de Aprendizado de Admitância de Visão-Força (Vision-Force Admittance Learning). Em vez de forçar o robô a escolher entre ver e sentir, este sistema permite que os dois sentidos trabalhem juntos em um ritmo assíncrono específico. O robô usa uma câmera para estimar onde o furo está, mas, como as câmeras são lentas, essa informação é tratada como um guia geral, em vez de um comando estrito. Simultaneamente, o robô depende de um sensor de força em seu pulso, que reage centenas de vezes por segundo à pressão física do pino tocando o furo. A inovação reside em como esses dois fluxos de dados são combinados. O sensor de força rápido faz os ajustes imediatos e de fração de segundo necessários para manter o pino alinhado, enquanto a câmera mais lenta atualiza a compreensão do robô sobre a posição geral do furo. Esta atualização visual atua como uma correção suave, ou um regularizador, que impede o robô de se desviar demais do curso, mesmo enquanto o sensor de força lida com as vibrações rápidas e caóticas da inserção.

Para testar isso, a equipe construiu um experimento do mundo real envolvendo um braço robótico segurando um pino e uma base com um furo que poderia se mover. Eles usaram um tipo especial de fixador, um pushnut com abas flexíveis, que é comum na montagem industrial. A configuração incluiu uma câmera para observar a cena e um sensor de força para sentir o contato. Eles testaram o robô em três cenários diferentes: um furo que permanecia parado, um furo movendo-se em linha reta e um furo movendo-se em três dimensões em um slider motorizado. Os resultados foram impressionantes. Quando o furo estava em movimento, um robô que dependia apenas da visão falhou em inserir o pino na maioria das vezes, enquanto um robô que dependia apenas de sensores de força também teve dificuldades, muitas vezes perdendo o caminho ou aplicando força excessiva. No entanto, o novo sistema, que fundiu os dois sentidos, alcançou uma taxa de sucesso de 80 por cento no cenário mais difícil de movimento tridimensional. No cenário de movimento em linha reta, ele teve sucesso todas as vezes.

Os pesquisadores descobriram que a chave para esse sucesso não era apenas ter ambos os sensores, mas como eles eram cronometrados. Eles compararam seu método com uma versão onde os dados de visão e força eram forçados a esperar um pelo outro, um processo que retardava tudo. Ao deixar o sensor de força rápido conduzir o movimento enquanto o sistema de visão mais lento atualizava o objetivo em segundo plano, o robô podia reagir instantaneamente ao contato físico sem perder seu senso global de direção. Eles também descobriram que o sistema podia se recuperar de erros. Se a câmera perdesse o rastro do furo, o robô recuava com segurança e esperava que a visão retornasse. Se o pino ficasse preso ou as leituras de força indicassem um ângulo ruim, o robô poderia levantar o pino e tentar novamente. Essa capacidade de adaptar-se e recuperar-se tornou o sistema robusto o suficiente para lidar com a natureza imprevisível de um alvo em movimento.

O estudo também explorou como diferentes configurações afetavam o resultado. Eles descobriram que o equilíbrio entre confiar na posição da câmera e no feedback do sensor de força era crítico. Se o robô confiasse demais na câmera, ele ignoraria a realidade física do pino batendo na lateral do furo. Se confiasse demais no sensor de força, ele derivaria sem rumo quando o furo se movesse. Ao encontrar um meio-termo, o robô aprendeu a usar a câmera para permanecer no caminho certo e o sensor de força para fazer os ajustes finos necessários para deslizar o pino para dentro. Essa abordagem funcionou mesmo quando o alvo se movia de formas complexas e não lineares, provando que o sistema poderia lidar com mais do que apenas movimentos simples e previsíveis.

Em última análise, este trabalho demonstra que robôs podem ser ensinados a realizar tarefas delicadas em ambientes que não são perfeitamente imóveis. Ao combinar a visão ampla e lenta de uma câmera com o toque rápido e sensível de um sensor de força, os pesquisadores criaram um método que imita como os humanos poderiam lidar com um objeto em movimento: usando nossos olhos para saber para onde ir e nossas mãos para sentir o caminho. O sistema não exige que o robô seja perfeito desde o início; ele permite erros e os corrige em tempo real. Embora o sistema atual assuma que o robô já pegou o pino, a capacidade de inseri-lo em um furo móvel é um passo significativo em direção a robôs que possam trabalhar ao lado de humanos em ambientes dinâmicos do mundo real, de linhas de montagem a veículos móveis, sem precisar que o ambiente pare para eles.

Resumo Técnico: Aprendizado de Admitância Visão-Força para Inserção de Pino em um Orifício Móvel

Definição do Problema

A manipulação precisa em ambientes dinâmicos, como manipulação móvel ou montagem em linhas de produção em movimento, apresenta um desafio significativo para a robótica. Embora tarefas de pino-no-furo estáticas sejam bem estudadas, cenários dinâmicos introduzem uma incerteza substancial devido ao movimento relativo entre o robô e o alvo. Essa incerteza conflita com a precisção de nível milimétrico necessária para uma inserção bem-sucedida. As abordagens existentes enfrentam um compromisso: métodos baseados em força oferecem controle de alta frequência e baixa latência, mas têm dificuldade com desalinhamentos iniciais grandes e contexto global, enquanto métodos baseados em visão fornecem contexto global, mas sofrem com alta latência e menor precisão durante fases ricas em contato. Além disso, muitos robôs industriais dependem de controle de posição em vez de controle direto de força, complicando a implementação de estratégias complacentes.

Metodologia

Os autores propõem o Aprendizado de Admitância Visão-Força (VFAL), um framework multimodal projetado para fundir o feedback visual assíncrono com um modelo baseado em força de alta frequência. O sistema opera em duas etapas distintas:

1. Estágio de Aproximação

Antes do contato, o robô utiliza um módulo de estimativa de pose baseado em visão (adaptado do FoundationPose) para guiar o robô em direção ao alvo móvel. Para lidar com a latência inerente ao processamento visual, os autores projetam um rastreador PD acoplado cruzado. Este rastreador aceita estimativas de velocidade do alvo (previstas via filtro de Kalman) e gera poses e velocidades esperadas do robô, permitindo que o robô rastreie o orifício móvel com erro reduzido antes que o contato seja estabelecido.

2. Estágio de Manipulação Rica em Contato

Uma vez detectado o contato, o sistema muda para um loop de controle baseado em força operando a 125 Hz. Este estágio emprega uma abordagem de Aprendizado de Modelo Linear (LML) para adaptar o modelo de dinâmica de contato online.

Modelagem de Contato Adaptativa Baseada em Força: O sistema mantém um modelo linear $G$ que mapeia o estado atual do sistema (pose do robço, leituras de força, entrada de controle) para forças previstas. Este modelo é atualizado passo a passo usando um filtro de Kalman para lidar com as não-linearidades de ambientes dinâmicos dentro de pequenos intervalos de tempo.
Referenciamento Visual Assíncrono: Para evitar que o modelo baseado em força derive devido a mudanças de movimento ou latência, o sistema incorpora estimativas de pose visual como um termo de regularização. Embora as atualizações visuais ocorram em uma frequência menor (20 Hz), um filtro de Kalman prevê a pose e a velocidade do alvo no ciclo de controle atual.
Objetivo de Controle: A entrada de controle $u_i$ é otimizada para minimizar a discrepância entre a força esperada (baseada no perfil de inserção desejado) e a força prevista, enquanto simultaneamente penaliza o erro de posição entre a pose esperada do robô e a pose do alvo estimada visualmente. A função objetivo é:
$\arg\min_{u_i} \|F^{esperada}_i - F^{prevista}_i\|^2_2 + \lambda \| \hat{p}^{esperada}_i - p_i \|^2_2$
onde $\lambda$ equilibra a exploração de força e a adesão ao prior visual.

Mecanismos de Robustez

O VFAL inclui estratégias de recuperação de falhas:

Perda de Rastreamento: Se o rastreamento visual for perdido, o robô recua para uma posição segura até que o rastreamento seja restaurado.
Falha de Inserção: Se picos de força indicarem uma falha de engajamento (por exemplo, ausência da assinatura de força correspondente para o travamento do fixador), o robô levanta e reinicializa o processo.

Principais Contribuições

Framework Multimodal Inovador: Introdução do VFAL, que funde assincronamente visão e força para aumentar a precisão e a adaptabilidade em tarefas de pino-em-orifício-móvel.
Pipeline de Fusão Assíncrona: Um pipeline que aproveita a pose prevista do alvo como um termo de regularização para o controle de admitância de alta frequência, permitindo que o sistema mantenha suposições de linearidade local enquanto se adapta ao movimento global.
Implantação no Mundo Real: Implantação bem-sucedida do framework em um robô controlado por posição (FANUC CRX-10iA/L), demonstrando inserção de pino robusta em bases móveis com variadas rigidez e padrões de movimento.

Resultados Experimentais

Os autores avaliaram o VFAL em um robô FANUC com um sensor de força/torque, utilizando pushnuts (fixadores deformáveis) inseridos em bases móveis 1D e 3D e em uma base fixa.

Taxas de Sucesso:
- Base Móvel 1D: O VFAL alcançou uma taxa de sucesso de 100%, superando a visão pura (40%), a admitância baseada apenas em força (60%) e a fusão síncrona (90%).
- Base Móvel 3D (Mais rígida e exigente): O VFAL alcançou uma taxa de sucesso de 80%. Isso superou significativamente a visão pura (20%), os métodos baseados apenas em força (0-10%) e a fusão síncrona (60%).
Precisão (MSE de Wrench Total): O VFAL demonstrou o menor erro tanto nos cenários de base móvel 1D (13.95) quanto 3D (9.22) em comparação com todos os baselines.
Estudos de Ablação:
- Aprendizado Online: Remover o aprendizado online reduziu a taxa de sucesso na base 3D de 80% para 70%.
- Peso de Regularização ( $\lambda$ ): Um valor de $\lambda=0.1$ proporcionou o desempenho ideal. Valores mais altos ( $\lambda=1$ ) suprimiram o feedback de força necessário, enquanto valores menores ( $\lambda=0.01$ ) enfraqueceram a orientação visual.
- Frequência do Controlador: Aumentar apenas a frequência do controlador do robô não replicou os ganhos de desempenho do VFAL, confirmando que a estratégia de fusão assíncrona é o principal motor do sucesso.

Significância e Alegações

O artigo afirma que o VFAL efetivamente preenche a lacuna entre a alta precisão do controle de força e a adaptabilidade global da visão. Ao tratar as estimativas de pose visual como um termo de regularização em vez de um sinal de controle direto, o sistema evita os problemas de latência que tipicamente assolam o controle dinâmico baseado em visão. Os autores demonstram que esta abordagem permite que robôs realizem tarefas de montagem precisas em plataformas móveis sem exigir hardware de controle de força direto, tornando-o adequado para robôs industriais controlados por posição. O trabalho destaca que a fusão assíncrona, combinada com a adaptação de modelo online e recuperação de falhas, é um caminho viável para a manipulação robusta em ambientes dinâmicos e incertos.