Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators

1. Problema e Motivação

O controle visual de manipuladores robóticos (servoing visual) tradicionalmente depende de marcadores externos (como ArUco ou AprilTags) ou de modelos cinemáticos precisos do robô e calibração de câmera. Essas abordagens apresentam limitações significativas:

• Marcadores: Podem ser ocluídos (por auto-oclusão ou objetos no ambiente), sofrer com reflexos, desfoque de movimento ou condições de iluminação, levando à falha no controle. Além disso, a aplicação física de marcadores pode ser impraticável em robôs macios, subatuados ou de baixo custo.
• Modelos: Métodos baseados em modelos exigem calibração precisa e conhecimento da cinemática, o que é difícil para robôs complexos ou com hardware variável.
• Oclusão: A maioria dos sistemas de servoing visual falha quando as características visuais são parcialmente ocluídas, pois não há mecanismo para "ver" através da obstrução.

O objetivo deste trabalho é desenvolver um framework de servoing visual baseado puramente em características naturais (sem marcadores externos) que seja robusto a oclusões e não dependa de modelos explícitos de robô ou câmera.

2. Metodologia Proposta

Os autores propõem um pipeline integrado que combina geração de dados sintéticos via inpainting, detecção de keypoints e filtragem temporal para controle adaptativo. O processo divide-se em três fases principais:

A. Coleta de Dados e Geração de Dataset (Treinamento)

Para treinar um detector de keypoints sem necessidade de anotação manual extensiva:

1. Marcadores Temporários: Marcadores ArUco são colocados fisicamente no corpo do robô (ex: braço Panda da Franka Emika) para definir as posições dos keypoints.
2. Inpainting para Remoção de Marcadores: Um modelo de inpainting baseado em GAN (LaMa - Large Mask Inpainting) é utilizado para remover digitalmente os marcadores ArUco das imagens e reconstruir as regiões ocluídas, gerando imagens "naturais" do robô.
3. Rótulos Automáticos: Os centros dos marcadores ArUco (antes da remoção) servem como rótulos de ground truth (keystones).
4. Resultado: Cria-se um dataset de imagens de robôs sem marcadores, mas com coordenadas de keypoints precisas, permitindo o treinamento de um detector de keypoints puramente baseado em características naturais.

B. Detecção de Keypoints e Tratamento de Oclusão em Tempo Real

Durante a operação (runtime):

1. Detector de Keypoints: Um modelo modificado Keypoint R-CNN (ResNet50 FPN) é treinado para detectar os keypoints naturais do robô nas imagens capturadas.
2. Inpainting para Oclusão (Mask-Free): Se o robô estiver parcialmente ocluído por objetos no ambiente, um segundo modelo de inpainting é aplicado. Diferente do LaMa (que requer máscaras), este modelo utiliza uma arquitetura GAN baseada em Attention U-Net com treinamento WGAN-GP (Wasserstein GAN com Penalidade de Gradiente).
   • Este modelo é "livre de máscaras" (mask-free), ou seja, ele aprende a reconstruir o robô oculto sem precisar de uma máscara binária explícita da oclusão, transformando diretamente a região ocluída em uma versão livre de obstruções.
3. Filtragem Temporal (UKF): Para lidar com ruídos, falhas de detecção ou reconstruções imperfeitas, um Filtro de Kalman Unscented (UKF) é integrado. O UKF estima a posição, velocidade e aceleração de cada keypoint, suavizando a trajetória e preenchendo lacunas quando a detecção falha, garantindo continuidade no loop de controle.

C. Controle Visual Adaptativo

O sistema utiliza um esquema de Servoing Visual Baseado em Imagem (IBVS):

• Os keypoints detectados são usados como características visuais.
• A matriz de interação (Jacobian) é estimada online usando uma otimização de mínimos quadrados em uma janela de dados visuais e motores recentes.
• Isso elimina a necessidade de um modelo cinemático do robô ou de parâmetros de câmera calibrados.

3. Contribuições Principais

• Pipeline de Controle sem Marcadores e sem Modelo: Primeira demonstração de controle IBVS eye-to-hand em 3D (movimento fora do plano) usando apenas uma câmera monoculares e keypoints naturais, sem sensores de profundidade, estereoscopia ou modelos de robô/câmera.
• Geração de Dados via Inpainting: Uma metodologia inovadora para criar datasets de treinamento de keypoints naturais removendo marcadores físicos via inpainting, eliminando a dependência de anotação manual ou simulação (sim-to-real gap).
• Inpainting Livre de Máscaras para Robótica: Desenvolvimento de um modelo GAN (Attention U-Net + WGAN-GP) capaz de reconstruir partes ocluídas do robô em tempo real sem necessidade de detectar a oclusão previamente (sem máscaras), permitindo detecção contínua de keypoints sob oclusão parcial.
• Robustez com UKF: Integração de um Filtro de Kalman Unscented para lidar com não-linearidades e falhas de detecção, superando filtros lineares tradicionais em cenários de controle adaptativo.

4. Resultados Experimentais

Os experimentos foram realizados com um braço robótico Franka Emika Panda e uma câmera Intel RealSense D435i.

• Precisão de Detecção (Visibilidade Total): O modelo alcançou taxas de detecção de 100% dentro de um erro de 10 pixels para configurações de 4, 5 e 8 keypoints (incluindo movimento 3D). O erro médio de localização foi inferior a 2 pixels.
• Desempenho sob Oclusão:
  • Oclusão Pequena: A degradação na precisão foi mínima.
  • Oclusão Grande: Embora a trajetória de controle se tornasse mais ruidosa e o tempo de assentamento aumentasse, o sistema ainda conseguiu convergir para o objetivo. A combinação de inpainting + UKF reduziu significativamente a taxa de falha de detecção em comparação ao uso de apenas filtragem.
• Controle 3D (Fora do Plano): O sistema demonstrou sucesso no controle de movimento fora do plano (3D) usando apenas keypoints 2D, resolvendo ambiguidades de profundidade através da distribuição espacial dos keypoints ao longo do corpo do robô.
• Demonstração Real: Um experimento de "empilhamento de copos" foi realizado com sucesso sob oclusão parcial, validando a aplicabilidade prática do método.
• Comparação: O desempenho de controle (tempo de subida, tempo de assentamento, overshoot) foi comparável ou superior a métodos anteriores que dependiam de modelos explícitos e calibração.

5. Significância e Limitações

Significância:
Este trabalho representa um avanço significativo na robótica de visão, permitindo que robôs operem em ambientes não estruturados e dinâmicos sem a necessidade de calibração complexa, modelos precisos ou marcadores físicos. A capacidade de lidar com oclusões via inpainting em tempo real abre novas possibilidades para robôs colaborativos que operam em espaços compartilhados com humanos e objetos variados.

Limitações e Trabalhos Futuros:

• Ambiguidade de Pose: Em casos extremos onde a extremidade do robô (end-effector) está totalmente ocluída, o modelo de inpainting pode gerar poses plausíveis mas incorretas (alucinação), levando a erros que o UKF não consegue corrigir totalmente.
• Cores Similares: A reconstrução falha quando objetos oclusores têm cores muito semelhantes ou são muito brilhantes em relação ao robô.
• Futuro: Os autores planejam migrar da reconstrução da imagem para a reconstrução direta dos keypoints usando arquiteturas de grafos (Graph Neural Networks) para melhorar a robustez em cenários de alta ambiguidade visual.

Em resumo, o artigo apresenta uma solução elegante e robusta para o controle visual de robôs, substituindo a dependência de hardware e modelos físicos por inteligência artificial generativa e filtragem estatística.