1. 문제 정의 (Problem Definition)

이 연구는 로봇이 부드러운 붓과 유화 물감을 사용하여 인간 화가의 작품을 정밀하게 재현하는 데 직면한 기술적 난제를 해결하는 것을 목표로 합니다. 기존의 디지털 이미지 생성과 달리, 물리적 캔버스에서 유화를 그리는 로봇은 다음과 같은 복합적인 과제를 동시에 수행해야 합니다.

• 변형 가능한 도구 및 유체 제어: 부드러운 붓과 젖은 물감의 물리적 상호작용을 정밀하게 제어해야 합니다.
• 힘 감지 조작 (Force-sensitive Manipulation): 캔버스에 가해지는 압력에 따라 붓의 두께와 형태가 변하므로, 힘 제어가 필수적입니다.
• 고수준 계획 (High-level Planning): 복잡한 그림을 완성하기 위해 여러 번의 붓질 (Stroke) 을 순차적으로 계획해야 합니다.
• 데이터 제약: 인간 화가의 동작 시연 데이터 (Teleoperation 등) 나 정교한 물리 시뮬레이터 없이, 오직 목표 이미지 (정적 이미지 시퀀스) 만을 제공받아 로봇이 스스로 붓질 궤적, 힘, 색상을 추론하고 실행해야 합니다.

2. 방법론 (Methodology)

저자들은 IMPASTO라는 로봇 유화 시스템을 제안하며, 이는 학습된 역학 모델 (Learned Dynamics Models) 과 모델 기반 계획 (Model-Based Planning) 을 통합한 하이브리드 접근법을 사용합니다.

가. 브러시 스토크 모델링 (Brushstroke Parameterization)

• 각 붓질은 6 개의 매개변수로 파라미터화됩니다:
  • 시작 위치 ($p_0$), 길이 ($l$), 굽힘 ($b$), 방향 ($\alpha$), 수직 힘 ($F$), 색상 ($C$).
  • 기존 연구 (FRIDA 등) 가 붓의 압착 깊이를 사용했다면, IMPASTO 는 **힘 ($F$)**을 직접 제어하여 물감의 두께와 폭을 조절합니다.
• 스토크의 기하학적 형태는 2 차 베지어 곡선 (Quadratic B´ezier curve) 으로 표현됩니다.

나. 하드웨어 시스템

• 로봇 팔: 7 자유도 (DoF) Franka Emika Panda 로봇 암 사용.
• 센서: 끝단에 6 축 힘/토크 센서 (Kunwei Tech) 를 장착하여 정밀한 힘 제어를 구현.
• 환경: 캔버스, 물감 팔레트, 브러시 세정기, 상단 Intel RealSense D435 카메라 (RGB 관측).
• 제어: 임피던스 모드 (Impedance mode) 와 힘 피드포워드 어미턴스 (Force feedforward admittance) 를 결합하여 붓질 시작 시 목표 힘을 설정하고 유지합니다.

다. 픽셀 역학 모델 (Pixel Dynamics Model)

• 목적: 현재 캔버스 이미지 ($I_t$) 와 파라미터화된 붓질 행동 ($u_t$) 을 입력받아 다음 캔버스 상태 ($\hat{I}_{t+1}$) 를 예측하는 순방향 역학 모델 학습.
• 아키텍처: U-Net 기반의 인코더-디코더 구조.
  • 이미지 인코더 ($\phi$) 와 행동 인코더 ($\psi$) 의 임베딩을 결합하여 디코더가 다음 이미지를 출력.
  • 행동 벡터를 미리 렌더링한 이미지 ($R_t$) 로 변환하여 입력에 합성함으로써, 저차원 벡터와 고차원 픽셀 상태 간의 모달리티 격차를 해소.
• 학습 데이터: 로봇의 **자가 놀이 (Self-play)**를 통해 수집. 로봇이 무작위 매개변수로 붓질을 하고 결과 이미지를 관찰하여 데이터셋을 구성.
• 손실 함수: 붓질 영역의 변화 픽셀에 가중치를 둔 가중치 $\ell_1$ 손실 ($L_{w\ell1}$) 사용.

라. 다단계 계획 (Multi-Step Planning)

• MPC (Model Predictive Control): 학습된 역학 모델을 기반으로 재귀적 예측 제어 (Receding-horizon) 를 수행.
• 프로세스:
  1. 현재 캔버스 상태와 목표 이미지를 입력.
  2. $H=5$ 단계의 행동 시퀀스를 최적화 (MPPI 알고리즘 및 적응형 샘플링 사용).
  3. 최적화된 시퀀스 중 첫 2 개의 행동을 실행.
  4. 캔버스 상태를 재관측하고 남은 계획 구간을 다시 최적화 (Closed-loop).
• 이 방식은 모델의 오차에 강인하며, 물리적 제약 (힘의 한계 등) 을 자연스럽게 반영합니다.

3. 주요 기여 (Key Contributions)

1. 학습된 픽셀 역학 모델: 로봇의 자가 놀이 데이터만으로 훈련된 신경망 역학 모델을 개발하여, 로봇의 행동 매개변수와 붓질 결과 (형태, 외관) 간의 복잡한 관계를 학습하고 예측합니다.
2. 모델 기반 궤적 및 힘 계획: 학습된 모델을 모델 기반 계획 프레임워크에 통합하여, 원하는 붓질 모양을 달성하기 위한 정밀한 궤적과 힘을 계산합니다.
3. 통합 로봇 유화 시스템: 7 DoF 로봇 암, 힘/토크 센서, 자동 세정 및 물감 담금 기능을 갖춘 완전 자동화 시스템을 구축했습니다. 이는 인간 화가의 단일 붓질 데이터와 다중 붓질 작품을 모두 학습하고 재현할 수 있음을 보여줍니다.

4. 실험 결과 (Results)

연구진은 인간 화가 (5 명) 가 그린 단일 붓질 데이터와 겹쳐진 붓질 (Overlaid Strokes) 데이터, 그리고 복잡한 전체 그림 (Flower, Fish) 에 대해 IMPASTO 를 평가했습니다.

• 단일 붓질 재현 (Single Strokes):
  • IMPASTO-UNet 은 기존 베이스라인 (FRIDA-CNN, IMPASTO-LR, Heuristics-only) 대비 LPIPS(지각적 이미지 유사도) 및 가중치 $\ell_1$ 손실에서 일관되게 우수한 성능을 보였습니다.
  • 특히 실행 단계 (Execution) 에서 LPIPS 는 1535% 향상되었고, $\ell_1$ 손실은 521% 감소했습니다.
  • 학습 데이터가 로봇의 자가 놀이 데이터였음에도 불구하고, 다양한 인간 화가의 스타일에 대해 일반화 (Generalization) 성능을 입증했습니다.
• 다단계 계획 및 전체 그림 재현:
  • 복잡한 그림 (17~18 개의 붓질) 을 재현하는 실험에서 IMPASTO 는 FRIDA-CNN 대비 계획 및 실행 단계에서 더 낮은 오차를 기록했습니다.
  • 204 단계에 달하는 매우 복잡한 그림을 높은 시각적 유사도로 재현하는 데 성공했습니다.
• 노이즈 환경 강건성: 이미 붓질이 된 배경 (Noisy base images) 위에서도 정확한 다음 스토크를 예측하여 겹쳐진 붓질 (Overlaid Strokes) 재현에서 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇이 물리적 도구 (붓) 와 유체 (물감) 를 다루며 인간의 예술적 표현을 모방하는 데 있어 중요한 진전을 이루었습니다.

• 학습과 제어의 융합: 데이터 기반의 역학 학습과 원칙적인 모델 기반 계획을 결합하여, 시뮬레이터나 인간 시연 데이터 없이도 복잡한 물리적 작업을 수행할 수 있음을 증명했습니다.
• 실제 물리 세계 적용: 단순한 시뮬레이션이 아닌, 실제 힘 제어와 변형 가능한 도구를 사용하는 실물 로봇 시스템에서 성공적으로 작동함을 입증했습니다.
• 미래 전망: IMPASTO 는 인간 화가의 섬세함을 따라잡을 수 있는 로봇 예술가 개발을 위한 중요한 발걸음이며, 로봇이 물리적 환경을 이해하고 창의적으로 상호작용하는 능력을 확장하는 데 기여합니다.