기술 요약: 피시본 (Fishbone): 하나의 3D 에셋에서 백만 개의 제어 가능한 편집까지

1. 문제 제기

대규모, 다양하며 제어 가능한 3D 에셋의 가용성은 컴퓨터 그래픽스, embody AI, 로봇공학, 그리고 인터랙티브 콘텐츠 제작을 위한 결정적인 병목 현상입니다. 3D 스캐닝과 아티스트가 제작한 에셋은 존재하지만, 이러한 에셋의 다양한 변형을 생성하는 것은 수동 모델링과 리깅의 높은 비용으로 인해 여전히 어렵습니다.

기존의 형태 변형 솔루션은 다음과 같은 중대한 한계에 직면해 있습니다:

• 수동 리깅: 전통적인 방법 (케이지 기반 좌표, 골격 구동 애니메이션, 자유 형태 변형 격자) 은 상당한 수동 설정 (예: 케이지 설계, 골격 배치) 을 요구하며, 이는 이질적인 에셋 컬렉션으로 확장되지 못합니다.
• 희소 제어의 한계: 희소한 사용자 입력 (2D 스케치, 투영 점) 에 의존하는 데이터 기반 방법은 깊이 불확실성과 뷰 의존적 아티팩트로 고통받으며, 미세한 국소 기하학의 정밀도를 제한합니다.
• 카테고리 특이성: 최근의 3D 제어 방법 (신경 케이지, 학습된 흐름장) 은 종종 카테고리별 학습 데이터를 요구하며, 분포 외 (out-of-distribution) 형태에서는 성능이 저하됩니다.
• 매개변수적 경직성: 매개변수 모델링은 미세한 제어를 제공하지만 잘 정의된 구조와 깨끗한 토폴로지에 의존하며, 자유 형태 기하학에서는 무너집니다.

핵심적인 과제는 수동 리깅, 카테고리별 학습, 또는 사전 정의된 형태 구조 없이 예측 가능한 매개변수적 변형을 가능하게 하는 일반 형태를 위한 기하학 유도형 저차원 제어 표현을 구축하는 것입니다.

2. 방법론: 피시본 프레임워크

저자들은 입력 메시로부터 직접 결합된 리브 - 척추 표현을 구축하는 통합 프레임워크인 **피시본 (Fishbone)**을 제안합니다. 자연계의 생물에서 중앙 척추가 전체 형태를 지배하고 단면 리브가 국소 변형을 제어한다는 점에 영감을 받아, 피시본은 세 가지 결합된 구성 요소를 통해 국소 변형을 전체 형태 변형과 분리합니다: 리브 ($R$), 척추 ($S$), 그리고 스킨닝 가중치 ($W$).

2.1 피시본 표현 ($F = (R, S, W)$)

• 리브 ($R$): 단면 등위선 (iso-contours) 을 나타내는 일련의 순차적 폴리라인입니다. 이들은 국소 형태 프로파일 (두께, 방향, 단면 변형) 을 인코딩합니다.
• 척추 ($S$): 리브의 체적 중심을 관통하는 매끄러운 중심선입니다. 이는 형태의 전체 궤적, 굽힘, 비틀림, 신축을 지배합니다. 척추는 지점 (junction points) 을 중복하지 않고 가지치기 구조 (예: 몸통에서 분리된 팔다리) 를 처리하기 위해 공유 노드 트리로 저장됩니다.
• 스킨닝 가중치 ($W$): 메시 정점을 제어 구조에 바인딩하는 희소 행렬 ($W_r$은 리브용, $W_s$는 척추용) 로, 가우스 방사 기저 함수를 사용하여 변형의 매끄러운 전파를 가능하게 합니다.

2.2 메시 - 투 - 피시본 파이프라인

이 프레임워크는 수동 개입 없이 일반 삼각형 메시에서 이 구조를 자동으로 추출합니다:

1. 자동 루트 선택: 각 메시 파트에 대해, 축 정렬 경계 상자 (axis-aligned bounding box) 에서 지배적인 기하학적 방향을 추정하여 측지선 (geodesic) 계산을 위한 루트를 초기화합니다.
2. 측지선장 계산: **적응형 열 방법 (adaptive heat method)**은 짧은 시간 열 확산 과정을 풀고 푸아송 방정식을 적용하여 루트로부터 매끄럽고 단조 증가하는 스칼라장 ($\phi$) 을 생성합니다.
3. 리브 추출: $\phi$의 여러 측지선 레벨에서의 등위선이 리브로 추출됩니다. 리브의 수 ($K$) 는 일관된 간격을 보장하기 위해 파트의 상대적 범위에 기반하여 적응적으로 결정됩니다. 토폴로지 인식 전파 (면 인접성 그래프에서의 BFS 를 통해) 는 가지치기와 연결되지 않은 구성 요소를 처리합니다.
4. 척추 구축: 기하학적 중심 찾기 알고리즘은 국소 평탄성, 기하학적 중심화, 부모 - 자식 연속성을 결합한 점수를 최대화하여 각 리브에 대한 대표 척추 점을 추출합니다. 이러한 점들은 가지치기 척추 트리를 형성합니다.
5. 스킨닝 가중치 계산: 정점을 가장 가까운 리브 에지와 척추 점에 바인딩하기 위해 적응형 가우스 가중치가 계산됩니다.

2.3 변형 원시 (Deformation Primitives)

이 표현은 아홉 가지 매개변수 변형 원시를 지원합니다:

• 리브 구동 (국소): 균일/이방성 스케일링, 이동, 회전, 국소 드래깅, 그리고 단면 재형성. 이들은 전체 구조를 보존하면서 국소 프로파일을 조작합니다.
• 척추 구동 (전체): 신장, 굽힘, 그리고 비틀림. 이들은 전체 궤적과 방향을 조작합니다.
• 양방향 결합: 변형은 체인화될 수 있습니다. 리브 편집은 메시를 업데이트하고 이후 척추를 업데이트하며; 척추 편집은 메시와 리브를 업데이트하여 재추출 없이 결합된 구조를 유지합니다.

2.4 축소 공간 역학 및 애니메이션

• 축소 시뮬레이션: 척추는 저차원 시뮬레이션 좌표로 작용합니다. 전체 메시 상태는 스킨닝 행렬을 사용하여 척추에서 리프트됩니다. 시스템은 희소 척추 점 위에서 물리 (탄성, 감쇠, 바람/중력과 같은 외부 힘) 를 시뮬레이션하여 모든 정점을 시뮬레이션하지 않고도 실시간, 물리적으로 타당한 2 차 운동 (예: 식물 흔들림, 흔들림) 을 가능하게 합니다.
• 키프레임 애니메이션: 사용자는 변형 원시를 통해 희소 목표 포즈를 작성할 수 있습니다. 중간 프레임은 저차원 매개변수 공간 (메시 정점, 리브, 척추 점) 에서 키프레임 간 보간을 통해 생성됩니다.

3. 주요 기여

1. 통합 피시본 표현: 기하학 유도형 리브, 매끄러운 척추, 가우스 가중치 스킨닝의 새로운 결합. 이는 직관적이고 효율적인 국소 및 전체 매개변수 변형을 가능하게 하며 단일 구조 내에서 축소 공간 역학 및 애니메이션을 지원합니다.
2. 자동 메시 - 투 - 피시본 프레임워크: 수동 리깅, 카테고리별 학습, 또는 사전 정의된 템플릿 없이 일반 메시에서 리브 - 척추 구조를 추출하는 파이프라인. 이 파이프라인은 해당 리브, 척추, 스킨닝 구조를 가진 파트 레벨 메시를 포함하는 Fishbone-136K 데이터셋을 구축하는 데 사용됩니다.
3. 다용도 응용 및 평가: 3D 생성 (메시와 제어 구조의 공동 생성), 인터랙티브 편집, 로봇 학습 (그립을 위한 데이터 증강), 그리고 에이전트 생성 전반에 걸쳐 프레임워크가 시연됩니다. 광범위한 실험은 그 효과성, 효율성, 그리고 다용도성을 검증합니다.

4. 결과 및 성능

• 런타임 효율성:
  • 전처리: 2,565 개 메시 데이터셋에서 추출 파이프라인은 메시당 중앙값 58.0 초 (평균 84.5 초) 에 실행됩니다. 런타임은 정점 수에 따라 거의 선형적으로 확장됩니다.
  • 변형: 인터랙티브 편집은 밀리초 단위로 수행됩니다 (대부분의 원시에서 중앙값 약 1ms, 비틀림의 경우 약 12.7ms). 최대 160 만 정점을 가진 메시에서 수행됩니다.
  • 역학: 축소 공간 시뮬레이션은 실시간 성능을 달성합니다 (물리당 서브스텝 중앙값 1.1ms, 변위 리프트 포함 약 3ms). 축소 비율 ($K/N$) 은 일반적으로 0.007% 정도로, 원래 정점의 아주 작은 부분만 시뮬레이션합니다.
• 품질 및 정확도:
  • 변형: ARAP 및 WIR3D 와 비교하여 피시본은 더 낮은 라플라시안 매끄러움 편차 (아티팩트 감소) 와 더 낮은 ARAP 에너지 (더 나은 경직성 보존) 를 달성하며, 전처리 시간이 훨씬 짧습니다 (시간 단위 vs 초 단위).
  • 3D 생성: 이미지 조건부 생성에서 메시와 피시본 구조의 공동 예측은 Chamfer Distance 및 F-Score 에서 베이스라인 (PartCrafter, OmniPart, PartPacker) 을 능가하며, 더 깨끗한 기하학과 더 적은 부유 아티팩트를 생성합니다.
  • 로봇 학습: Fishbone 증강 데이터로 그립 정책 (DexGraspNet 2.0) 을 파인튜닝하는 것은 단일 및 다중 객체 장면에서 보지 못한 야생 (in-the-wild) 객체에 대한 그립 성공률을 크게 향상시킵니다.
  • 절대 연구 (Ablation Studies): 구성 요소 (열 방법, 자동 루트 선택, 적응형 레벨 수, 가지치기 트리 처리) 를 제거하면 단편화된 리브, 정렬되지 않은 척추, 또는 불안정한 변형으로 이어져 각 설계 선택의 필요성을 확인시켜 줍니다.

5. 중요성 및 주장

이 논문은 피시본이 3D 에셋 조작을 위한 확장 가능하고 자동화되며 기하학적 인식을 갖춘 솔루션을 제공한다고 주장합니다. 메시 기하학에서 직접 저차원 제어 구조를 유도함으로써, 매개변수 모델링의 정밀도와 자유 형태 형태의 유연성 사이의 간극을 메웁니다.

그 중요성은 다음과 같은 능력에 있습니다:

• 다양한 에셋에 대한 수동 리깅 및 카테고리별 학습의 필요성을 제거합니다.
• 희소 2D 제어나 비매개변수 신경장으로 달성하기 어려운 예측 가능하고 제어 가능한 편집 (국소 및 전체) 을 가능하게 합니다.
• 편집에 사용되는 동일한 제어 구조를 사용하여 실시간 축소 공간 역학 및 애니메이션을 지원하며, 로봇공학 (데이터 증강) 및 인터랙티브 콘텐츠 응용을 촉진합니다.
• 에이전트 시스템을 위한 기초 표현으로 작용하여 LLM/VLM 이 안정적이고 의미 있는 핸들을 통해 복잡한 메시 편집 (예: "다리를 두껍게 하라") 을 추론하고 실행할 수 있게 합니다.

저자들은 현재 삼각형 메시에 의존하고 긴 키프레임 시퀀스 작성에 수동 노력이 필요하다는 한계를 인정하며, 다른 3D 표현 (포인트 클라우드, 가우스 스플래팅) 과의 통합 및 학습 기반 키프레임 생성에 대한 향후 작업을 제안합니다.