IMPASTO: Integrating Model-Based Planning with Learned Dynamics Models for Robotic Oil Painting Reproduction

Título: IMPASTO: Integração de Planejamento Baseado em Modelos com Modelos de Dinâmica Aprendidos para Reprodução Robótica de Pinturas a Óleo

1. O Problema

A reprodução robótica de pinturas a óleo apresenta desafios técnicos únicos que vão além da geração de imagens digitais. O sistema deve:

• Controlar ferramentas deformáveis: Manipular escovas macias e pigmentos líquidos, onde a física é complexa e não linear.
• Controle sensível à força: Ajustar a pressão da escova contra o tecido (tela) para controlar a espessura e a largura da pincelada.
• Planejamento de alto nível: Composição de múltiplas pinceladas para recriar uma obra completa.
• Restrições de dados: O sistema deve operar sem demonstrações humanas passo a passo (como teleoperação ou rastreamento de escova) e sem simuladores fiéis de física de pintura. O único dado de entrada é uma sequência de imagens estáticas da pintura alvo.

A questão central é: Dadas apenas imagens estáticas de uma pintura a óleo feita por um artista humano, um robô pode inferir e executar as trajetórias, forças e cores necessárias para reproduzi-la?

2. Metodologia

O IMPASTO é um sistema robótico que integra modelos de dinâmica aprendidos (baseados em dados) com planejamento baseado em modelos (MPC). O sistema opera em um braço robótico de 7 graus de liberdade (DoF) com sensor de força/torque.

A. Parametrização da Pincelada
Cada pincelada é representada por um parâmetro de controle vetorial $u = (p_0, l, b, \alpha, F)$, onde:

• $p_0$: Localização inicial (pixels).
• $l$: Comprimento.
• $b$: Curvatura (dobramento).
• $\alpha$: Orientação no plano.
• $F$: Força normal (controla a espessura/largura).
• A cor $C$ é predita separadamente por um módulo de vizinho mais próximo em um banco de dados de pigmentos.

B. Modelo de Dinâmica de Pixels (Aprendizado)

• Arquitetura: Um modelo de rede neural (baseado em U-Net) que aprende a dinâmica de "frente" (forward dynamics).
• Entrada: A imagem atual da tela ($I_t$) e uma ação parametrizada pré-renderizada ($R_t$).
• Saída: A próxima imagem da tela ($\hat{I}_{t+1}$).
• Treinamento: O robô coleta dados através de auto-jogo (self-play), explorando aleatoriamente os parâmetros de pincelada. O modelo é treinado para minimizar a perda $\ell_1$ ponderada, focando nos pixels alterados pela pincelada. Isso permite que o robô aprenda a física da tinta sem dados humanos.

C. Planejamento e Controle (MPC)

• Planejamento: Utiliza Controle Preditivo por Modelo (MPC) com horizonte recorrente. Dada uma imagem alvo, o otimizador (usando MPPI - Model Predictive Path Integral) busca uma sequência de ações que minimize a diferença entre a imagem prevista e a imagem alvo.
• Execução: Um controlador de força sensível executa a trajetória. O sistema usa um modo de impedância e um laço de força para manter a pressão desejada na superfície da tela.
• Fechamento do Loop: Após executar algumas pinceladas, o robô re-observa a tela e re-planeja o restante da sequência, corrigindo erros de modelo ou variações físicas.

3. Principais Contribuições

1. Modelo de Dinâmica de Pixels Aprendido: Desenvolvimento de um modelo neural treinado exclusivamente em dados de auto-jogo do robô, capaz de prever o resultado visual de pinceladas complexas com escovas macias.
2. Planejamento de Trajetória e Força Baseado em Modelos: Integração do modelo aprendido em um framework de MPC para planejar trajetórias precisas e forças de contato para reproduzir pinceladas individuais e sequências.
3. Sistema Robótico Integrado: Implementação completa em um braço Franka Emika Panda, capaz de mergulhar a escova na tinta, limpá-la entre cores e pintar em uma tela física, lidando com a estocasticidade inerente à tinta úmida.

4. Resultados e Avaliação

O sistema foi avaliado em três cenários principais:

• Q1: Capacidade de Predição: O modelo de dinâmica alcançou baixa taxa de erro de predição ($L_{\ell1} \approx 0.0285$) com apenas 900 amostras de auto-jogo, demonstrando que o aprendizado é eficiente.
• Q2: Reprodução de Pinceladas Individuais:
  • Comparado com baselines (incluindo FRIDA-CNN e regressão linear), o IMPASTO-UNet superou todos os métodos em similaridade perceptual (LPIPS) e erro de imagem ponderado ($L_{w\ell1}$).
  • O modelo generalizou bem para pinceladas de 5 artistas humanos diferentes, mesmo sem ter visto seus dados de treinamento.
  • Em conjuntos de dados com pinceladas sobrepostas ("Overlaid"), o IMPASTO manteve a precisão, lidando melhor com o "ruído" de fundo (tela já pintada) do que os baselines.
• Q3: Planejamento Multi-Etapas (Pinturas Completas):
  • O sistema conseguiu recriar pinturas complexas ("Flor" e "Peixe") compostas por 17 e 18 pinceladas, respectivamente.
  • O IMPASTO reduziu o erro de planejamento em ~24% e o erro de execução em ~10% comparado ao melhor baseline (FRIDA-CNN).
  • Foi demonstrada a capacidade de planejar e executar uma obra complexa de 204 passos com alta similaridade visual.

5. Significado e Conclusão

O IMPASTO representa um avanço significativo na robótica de manipulação de materiais deformáveis e fluidos. Ao contrário de abordagens anteriores que dependiam de simulações imperfeitas ou demonstrações humanas extensivas, este trabalho demonstra que:

• É possível aprender a física complexa da pintura a óleo diretamente da interação robô-ambiente (self-play).
• A combinação de modelos de dinâmica aprendidos com planejamento baseado em modelos (MPC) permite um controle de alto nível e precisão de baixo nível simultaneamente.
• O sistema aproxima a capacidade de um robô de imitar o estilo e a técnica de um artista humano, manipulando ferramentas reais e materiais físicos, abrindo caminho para robôs criativos autônomos capazes de operar no mundo real sem simuladores perfeitos.

O projeto está disponível em: https://impasto-robopainting.github.io/.