기술 요약: LiveSVG

문제 제기

고품질의 편집 가능한 스칼라 벡터 그래픽 (SVG) 애니메이션 생성은 여전히 중요한 과제로 남아 있습니다. 정적 SVG 생성은 대규모 데이터셋과 확산 모델을 통해 발전해 왔지만, 복잡한 비강체 (non-rigid) 운동을 위한 짝지어진 훈련 데이터의 부재로 인해 애니메이션 SVG 는 어려움을 겪고 있습니다. 기존 접근 방식은 두 가지 패러다임으로 나뉘며, 둘 다 치명적인 한계를 지닙니다:

1. LLM/VLM 기반 코드 합성: 애니메이션 코드 (예: CSS/SMIL) 를 생성하는 방법들은 미세한 비강체 베지어 변형에 어려움을 겪습니다. 좌표 수준에서 매끄럽고 복잡한 곡선 운동을 기술하는 것은 모델의 컨텍스트 한계를 소모하여, 거칠고 강체적인 변환에 의존하게 만듭니다.
2. 비디오 점수 증류 샘플링 (SDS): 비디오 확산 사전 지식을 사용하는 최적화 기반 방법들은 사전에 미리 보거나 편집할 수 없는 암시적이고 노이즈가 많은 목표 운동으로 고통받으며, 비용이 많이 드는 피팅 과정 전에 이를 확인할 수 없습니다. 이러한 파이프라인은 종종 카테고리별 구조 (예: 스켈레톤) 를 필요로 하며, 구조적 가정 없이 복잡한 다중 객체 장면을 처리하지 못합니다.

방법론: LiveSVG

LiveSVG 는 운동 생성과 벡터 최적화를 분리하는 제로샷, 스켈레톤 없는 프레임워크를 도입합니다. 최적화 루프 내에서 비디오 모델을 확률적 사전 지식으로 사용하는 대신, LiveSVG 는 먼저 구체적이고 미리 볼 수 있는 목표 비디오를 생성한 후, 원래 SVG 기하학을 이 시퀀스에 직접 피팅합니다.

파이프라인은 두 가지 주요 단계로 구성됩니다:

단계 1: 전처리 및 목표 생성

1. 의미론적 그룹화: LLM(Gemini 3.1 Pro) 이 입력 SVG 를 의미론적 그룹 (예: 팔다리, 머리) 으로 분할하여 일관된 전역 운동을 가능하게 합니다.
2. 구 포장 재색칠: 픽셀 단위 피팅 중 대응성 모호성 (유사한 색상의 경로가 최적화기를 혼란스럽게 함) 을 해결하기 위해, 구 포장 (sphere-packing) 해에서 유도된 최대한 분리된 RGB 팔레트를 사용하여 경로를 일시적으로 재색칠합니다. 이는 각 경로에 대한 명확한 그라디언트 흐름을 보장합니다.
3. 레이어 순서 지정: SAM2 를 사용하여 목표 운동과 일관된 가려짐을 처리하기 위해 수정된 레이어 순서를 추정합니다.
4. 목표 비디오 생성: 고정된 이미지 - 비디오 모델 (예: Veo, LTX, WAN) 이 재색칠된 SVG 와 운동 프롬프트로부터 후보 비디오를 생성합니다.
5. 필터링: 2 차원 일관성, 색상 보존, 그리고 invented 요소의 부재에 대해 후보를 평가하는 2 단계 LLM 점수화 과정을 거쳐 최적화할 최고의 목표 비디오를 선택합니다.

단계 2: 미분 가능 최적화

선택된 목표 비디오는 미분 가능 렌더러 (DiffVG) 를 통해 원래 SVG 를 최적화하는 데 사용됩니다.

• 이중 수준 운동 표현:
  • 전역: 그룹별 8 자유도 (8-DOF) 동형 사상이 거친 관절 운동 (이동, 회전, 크기 조절) 을 포착합니다.
  • 로컬: 경로별, 키프레임별 베지어 제어점 오프셋이 미세한 비강체 변형 (굽힘, squashing-and-stretching) 을 포착합니다.
• 점진적 최적화: 객체가 초기 자세에서 멀리 이동할 때 국소 최소값을 피하기 위해 프레임이 점진적으로 최적화됩니다. 새로운 키프레임은 이전 프레임의 매개변수에서 초기화되며, 중첩을 보장하기 위해 포인트 추적 (TAPNext) 을 사용하여 추가적으로 정제됩니다.
• 손실 함수: 최적화는 다음 가중 합을 최소화합니다:
  • 흐린 MSE: 렌더링된 프레임과 목표 프레임 간의 픽셀 공간 오차.
  • 공간 정규화: 인접한 제어점의 일관된 운동을 장려합니다.
  • $G_1$ 연속성: 베지어 조인트에서의 매끄러움을 유지합니다.
  • SDF 페널티: 제어점이 전경 지지 영역 내에 있도록 하여 기하학적 드리프트를 방지합니다.

주요 기여

1. LiveSVG 프레임워크: 운동 생성과 벡터 피팅을 분리하여 사용자가 최적화 전에 목표 애니메이션을 검사하고 편집할 수 있게 하는 새로운 제로샷 접근법입니다. 스켈레톤이나 특정 카테고리를 요구하지 않고 오픈 도메인 SVG 를 지원합니다.
2. 구 포장 재색칠: 픽셀 공간 피팅 중 색상에 기인한 대응성 모호성을 제거하기 위해 경로에 최대한 분리된 색상을 할당하고, 최종 출력에서 원래 색상으로 복원하는 전략입니다.
3. ChallengeSVG 벤치마크: 비강체 관절 운동에서 실패하는 기존 방법들을 스트레스 테스트하도록 설계된, 계층적 가려짐과 풍부한 배경을 가진 35 개의 복잡한 다중 객체 SVG 로 구성된 새로운 데이터셋입니다.
4. 최첨단 성능: LiveSVG 는 표준 AniClipart 벤치마크와 까다로운 ChallengeSVG 모두에서 인간 선호도 점수와 프롬프트 정렬에서 우수한 성과를 거두었습니다.

결과

• 인간 선호도: AniClipart 에서 LiveSVG 변형체는 5 가지 베이스라인 (Vector Prism, LiveSketch, FlexiClip 포함) 에 대한 쌍별 비교에서 **86.7%**를 승리했습니다. 더 어려운 ChallengeSVG 에서는 비교의 **84.8%**를 승리했습니다.
• 정량적 지표: LiveSVG 는 최적화 기반 방법들 중에서 최고의 프롬프트 정렬 (X-CLIP) 과 외관 보존 (LPIPS/SSIM) 을 달성했습니다.
• 효율성: 이 방법은 SDS 기반 베이스라인보다 훨씬 효율적이며, 경쟁 최적화 방법의 2080 분 및 1635GB 에 비해 SVG 당 약 5.2 분과 7.4GB의 GPU 메모리를 요구합니다.
• 정성적: LiveSVG 는 코드 합성 방법이 실패하거나 SDS 방법이 아티팩트를 생성하는 큰 자세 변화 (예: 앉기, 완전한 스트레칭) 와 복잡한 변형을 성공적으로 처리합니다.

중요성 및 주장

이 논문은 LiveSVG 가 프롬프트 정렬된 완전히 편집 가능한 벡터 애니메이션을 위한 실용적이고 견고한 경로로서 직접 참조 비디오 피팅을 확립한다고 주장합니다. 운동 생성과 벡터 기하학 최적화를 분리함으로써, 이 방법은 코드 합성의 표현 한계와 SDS 기반 최적화의 불투명성을 극복합니다.

저자들은 이 접근법이 사용자가 벡터 피팅에 착수하기 전에 목표 운동을 미리 보고 큐레이션할 수 있는 새로운 워크플로우를 가능하게 한다고 강조합니다. 이 방법은 생성된 목표 비디오의 품질에 의존하며 무거운 가려짐에서는 어려움을 겪을 수 있지만, 생성되거나 캡처된 비디오의 풍부한 운동을 컴팩트하고 편집 가능한 벡터 자산으로 변환하는 "야생 (in-the-wild)" 비디오 -to-SVG 애니메이션을 향한 한 걸음을 의미합니다. 이 작업은 모든 벡터 애니메이션 과제를 해결한다고 주장하지는 않지만, 오픈 도메인 설정에서 복잡한 비강체 변형을 처리하는 데 있어 상당한 개선을 보여줍니다.