💻 computer science

Interactive Stroke-based Neural SDF Sculpting

이 논문은 사용자가 신경 암시적 SDF 표현(neural implicit SDF representations) 상에서 직접 실시간 획 기반 스컬핑을 수행할 수 있게 하는 인터랙티브 프레임워크를 소개하며, 이를 통해 느린 최적화와 국소적 편집이라는 기존의 한계를 극복하고 직관적이고 고성능인 3D 형상 조작을 제공한다.

원저자: Fizza Rubab, Yiying Tong

게시일 2026-08-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fizza Rubab, Yiying Tong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

3차원 디자인의 세계에서 예술가들은 오랫동안 디지털 메쉬(mesh)에 의존해 왔습니다. 메쉬는 본질적으로 가상 물체의 표면을 형성하는 아주 작은 삼각형들의 복잡한 그물망입니다. 이러한 메쉬는 예술가가 표면의 특정 지점을 잡아당겨 매끄럽고 예측 가능한 변화를 만들어낼 수 있다는 점에서 매우 강력합니다. 그러나 삼각형 메쉬를 전혀 사용하지 않는, 3D 형상을 묘사하는 새로운 방식이 등장했습니다. 대신, 이 형상들은 연속적인 수학적 필드, 즉 어떤 점이 물체의 표면으로부터 얼마나 떨어져 있는지를 컴퓨터에 알려주는 일종의 보이지 않는 데이터 구름으로 정의됩니다. '뉴럴 부호 거리 함수(neural signed distance function)'라고 알려진 이 방식은 무한히 확대해도 품질 저하 없이 믿을 수 없을 만큼 매끄럽고 세밀한 형상을 만들어낼 수 있습니다. 문제는 이러한 형상들이 아름답고 저장 효율도 높지만, 수정하기가 매우 어렵다는 점입니다. 형상이 눈에 보이는 점이 아니라 컴퓨터 프로그램의 복잡한 가중치 안에 숨겨져 있기 때문에, 이를 깎거나 빚으려는 시도는 마치 그 구름을 만든 기상 패턴을 조절하여 구름을 조각하려는 것과 같았습니다.

미시간 주립 대학교의 연구진은 예술가들이 전통적인 찰흙이나 디지털 메쉬와 동일한 직관적인 용이함으로 이 보이지 않는 뉴럴 형상을 조각할 수 있게 해주는 새로운 도구를 개발했습니다. 그들의 연구는 사용자가 3D 모델 위로 연속적인 선, 즉 스트로크(stroke)를 그으면 컴퓨터가 그 경로를 따라 즉각적으로 표면을 재형성하는 시스템을 도입했습니다. 개별 점을 클릭하고 느린 계산을 기다려야 했던 이전의 시도들과 달리, 이 새로운 방식은 실시간으로 작동합니다. 이 시스템을 통해 예술가는 커스텀 브러시 모양을 정의하여 도구의 너비나 좁기를 정확히 결정할 수 있으며, 스트로크의 시작부터 끝까지 압력이 어떻게 변하는지도 정할 수 있습니다. 이는 예술가가 단 한 번의 유려한 동작만으로 가장자리는 흐릿하고 중심부는 깊은 홈을 파거나, 중간 부분이 가장 강하고 가장자리는 약한 능선을 쌓아 올릴 수 있음을 의미합니다.

이 속도의 비결은 컴퓨터가 데이터를 샘플링하는 방식에 있습니다. 컴퓨터는 스트로크가 만들어질 때마다 전체 수학적 모델을 업데이트하려고 시도하는 대신, 사용자의 브러시 스트로크를 둘러싼 좁은 튜브 형태의 영역에만 집중합니다. 시스템은 이 튜브 내부에서 특정 점들의 집합을 수집하고, 필요한 변화를 계산한 다음, 새로운 형상에 맞게 기초가 되는 뉴럴 네트워크를 빠르게 조정합니다. 이러한 표적 접근 방식은 전체 표면을 한꺼번에 처리하려 했던 기존 방식보다 훨씬 더 효율적입니다. 연구진은 테스트를 통해 이 기술이 기존의 점 기반 편집 도구보다 최대 15배 더 빠를 수 있음을 발견했으며, 마우스를 움직이는 즉시 형상이 변하는 반응형 경험을 가능하게 했습니다.

이 연구의 결과는 단순히 속도에 관한 것이 아니라, 생산될 수 있는 예술의 품질에 관한 것이기도 합니다. 연구진은 디지털 흉상에 사실적인 쇄골을 추가하거나, 호박에 복잡한 패턴을 새기거나, 심지어 물결 모양의 경로를 따라 비늘을 추가하여 개구리를 도마뱀으로 변형시키는 등 다양한 복잡한 편집 작업을 통해 이 도구를 입증했습니다. 그들은 이 시스템이 돌출된 부분을 만들어 재료를 밀어내는 것과 움푹 들어간 부분을 만들기 위해 재료를 끌어당기는 것 모두를 처리할 수 있음을 보여주었으며, 이 과정에서 뉴럴 표현 방식의 가치인 매끄럽고 고품질인 표면을 유지했습니다. 이 복잡하고 보이지 않는 형상들을 전통적인 모델과 동일한 자유도로 조작할 수 있음을 증명함으로써, 연구진은 디지털 디자인의 중요한 간극을 메우고 강력한 신기술을 인간의 창의성에 접목시켰습니다.

기술 요약: 인터랙티브 스트로크 기반 신경 SDF 스컬핑 (Interactive Stroke-based Neural SDF Sculpting)

문제 정의

내재적 신경 표현(Implicit Neural Representations, INRs), 특히 신경 부호 거리 함수(Neural Signed Distance Functions, SDFs)는 임의의 해상도에서 연속적인 표면을 표현할 수 있는 능력 덕분에 3D 기하학을 모델링하는 강력한 도구로 부상했습니다. 그러나 중요한 병목 현상은 이들의 편집 가능성(editability)에 있습니다. 정점(vertex)을 직접 조작할 수 있는 전통적인 메쉬 기반 표현과 달리, 신경 SDF 파라미터는 네트워크 가중치 내에 전역적으로 임베딩되어 있습니다. 이러한 전역적 의존성은 국소적인 수정(local modification)을 어렵게 만듭니다.

신경 SDF를 편집하는 기존 방식들은 주로 형상 코드(shape codes)나 잠재 공간(latent spaces)을 수정하는 데 의존하며, 이는 종종 세밀한 제어와 즉각적인 피드백이 부족합니다. 점 기반 편집 방법(예: 3DNS)도 존재하지만, 이는 국소적인 스팟 편집에 한정됩니다. 스트로크 기반 스컬핑을 시뮬레이션하기 위해 점 편집을 순차적으로 적용하려고 시도하는 것은 계산 비용이 많이 들며, 상당한 지연 시간, 중복된 평가, 불균일한 샘플링 밀도를 초래합니다. 결과적으로, 신경 SDF에 대한 고성능 인터랙티브 스트로크 기반 스컬핑 툴킷이 부재하여, 직관적이고 실시간 조작이 필요한 예술 및 디자인 워크플로우에서의 도입을 저해하고 있습니다.

방법론

저자들은 사전 학습된 신경 SDF 상에서 직접 스트로크 기반 스컬핑을 가능하게 하는 인터랙티브 프레임워크를 제안합니다. 이 시스템은 사용자가 정의한 스트로크를 따라 튜브형 근방(tubular neighborhood) 내에서 샘플링을 수행하고, 원하는 변형에 맞춰 신경 네트워크의 zero-level set을 정렬하도록 미세 조정(fine-tuning)하는 방식으로 작동합니다.

1. 좌표계 및 브러시 정의

직관적인 제어를 용이하게 하기 위해, 본 방법은 스트로크 경로를 따라 로컬 u-v-n 좌표계를 설정합니다:

u (스트로크 방향): 스트로크 곡선의 접선(tangent).
v (브러시 프로파일 방향): 스트로크에 수직이며 표면에 접하는 방향.
n (법선 방향): 두 방향에 직교하며 표면으로부터 바깥쪽을 향하는 방향.

브러시는 $v$ -방향을 따라 작동하는 $C^1$ 함수 $b_P(v)$ 로 정의됩니다. 사용자는 Catmull-Rom 스플라인을 통해 보간된 제어점을 사용하여 커스텀 프로파일을 정의하거나, 해석적 함수(선형, 큐빅, 퀸틱)를 선택할 수 있습니다. 브러시 강도와 반경은 독립적으로 매개변수화되어, 깎아내는 작업(음의 변위)과 돌출시키는 작업(양의 변위) 모두를 지원합니다.

2. 변조(Modulation) 및 스트로크 표현

스트로크는 $u \in [0,1]$ 로 매개변수화된 연속 곡선 $\gamma(u)$ 로 표현됩니다. 변형 강도는 변조 함수 $m(u)$ 를 통해 스트로크를 따라 동적으로 변화할 수 있습니다. 이를 통해 추가적인 계산 비용 없이 선형 감쇄(linear falloff), 중앙 피크, 또는 사인파 패턴(예: 스케일 패턴)과 같은 효과를 구현할 수 있습니다. 이는 변조가 스트로크 매개변수화에 직접 적용되기 때문에 가능합니다.

3. 튜브형 샘플링 전략 (Tubular Sampling Strategy)

본 연구의 핵심적인 기술적 기여는 튜브형 샘플링 전략입니다. 시스템은 전체 표면을 샘플링하거나 이산적인 점 투영에 의존하는 대신, 스트로크 주변의 튜브형 영역 내에서 샘플을 생성합니다:

스트로크 궤적을 따라 $u$ -방향으로 균일하게 점을 샘플링합니다.
각 점에 대해, 반지름 $r$ 내에서 $v$ -방향으로 오프셋을 적용합니다.
이 오프셋 점들을 표면에 투영하여 튜브형 근방을 포착합니다.

이 접근 방식은 상호작용 영역 전반에 걸쳐 일관된 브러시 효과를 보장합니다. 저자들은 이 전략이 3DNS와 같은 점 기반 방식이 유사한 커버리지를 달age 위해 100,000개 이상의 샘플이 필요한 것과 대조적으로, 훨씬 적은 수의 샘플(예: 안정화를 위해 총 ~10,000개)만 필요로 하여 최적화 배치 크기를 획기적으로 줄일 수 있다고 언급합니다.

4. 최적화 및 손실 함수

편집 과정은 변형 손실(deformation loss)을 최소화하도록 신경 SDF 가중치( $\theta$ )를 미세 조정하는 과정을 포함합니다. 타겟 위치 $p'$ 는 브러시 프로파일과 변조를 기반으로 법선 방향 $n$ 을 따라 표면 점 $p$ 를 오프셋하여 계산됩니다:
$p' = p + s \cdot b_P(v(p)) \cdot m(u) \cdot n(u(p))$

네트워크는 새로운 zero-level set이 이러한 변위된 점들을 통과하도록 최적화됩니다. 전체 손실 함수는 3DNS 프레임워크에서 채택된 여러 항을 결합합니다:

회귀 손실 ( $L_{regression}$ ): 변위된 점에서의 SDF 값을 최소화합니다.
Eikonal 손실 ( $L_{eikonal}$ ): 그래디언트 노름(gradient norm)을 1로 유지하여 SDF 속성을 유지합니다.
법선 손실 ( $L_{normal}$ ): 예측된 그래디언트를 표면 법선과 정렬합니다.
경계 정규화 ( $L_{boundary}$ ): 바운딩 박스 가장자리 근처의 아티팩트를 방지합니다.

주요 기여

인터랙티브 스트로크 기반 툴킷: 점 기반 편집의 한계를 넘어, 신경 SDF 상에서 실시간으로 스트로크 기반 수정을 수행할 수 있는 프레임워크를 도입했습니다.
커스터마이징 가능한 브러시 및 변조: 제어점을 통한 사용자 정의 브러시 프로파일과 스트로크 경로를 따르는 변조 함수를 지원하여, 치즐드 스트로크(chiseled strokes), 비대칭 형상, 리드미컬한 패턴과 같은 복잡한 효과를 구현할 수 있는 유연한 시스템을 제공합니다.
효율적인 튜브형 샘플링: 상호작용 영역에 집중하는 성능 지향적 샘플링 전략을 통해, 편집 충실도를 유지하면서도 기존 점 기반 방식(3DNS) 대비 최대 15배의 속도 향상을 달성했습니다.
통합된 표현: 동일한 신경 암시적 프레임워크 내에서 복잡한 형상을 표현하고 편집할 수 있어, 메쉬와 신경 표현 사이를 전환할 필요가 없습니다.

실험 결과

본 방법은 NVIDIA GeForce RTX 4070 GPU를 사용하여 6개의 3D 형상 데이터셋(Stanford Bunny, 흉상, 호박 포함)에 대해 평가되었습니다.

속도 및 인터랙티비티: 제안된 방법은 다양한 스트로크 밀도에 대해 1초 미만의 편집 시간을 달성합니다. 논문의 표 1은 스트로크 점의 수가 증가함에 따라 3DNS 대비 1.18배에서 15.01배에 이르는 속도 향상을 보여줍니다. 이러한 효율성은 상호작용 영역에서의 샘플 수 감소 덕분입니다.
기하학적 정확도: Chamfer Distance를 지표로 사용했을 때, 본 방법은 3DNS 점 기반 편집 및 거친 메쉬에서의 직접 편집보다 우수한 성능을 보였습니다. 테스트된 모든 형상에 대해 제안된 방법의 전체 표면 평균 Chamfer distance가 일관되게 더 낮았습니다 (예: 구(sphere)의 경우 7.279 vs 7.394).
시각적 품질: 시스템은 매끄럽고 연속적인 변형을 생성합니다. 고주파 세부 사항은 기저 MLP 용량(SIREN)에 따라 달라지지만, 본 방법은 버니(bunny)에 로봇 특징을 추가하거나 호박에 복잡한 패턴을 새기는 것과 같이 3DNS의 중첩된 점 편집으로는 달성하기 어렵거나 불가능한 복잡한 편집을 성공적으로 처리합니다.

의의 및 주장

본 논문은 전통적인 3D 스컬핑 워크플로우와 현대적인 신경 암시적 표현 사이의 가교 역할을 합니다. 저자들은 자신들의 프레임워크가 신경 SDF의 결정적인 문제인 인터랙티브 편집 가능성 결여를 해결한다고 주장합니다. 암시적 표현의 매끄러운 특성이나 인터랙티브한 성능을 저해하지 않으면서 직관적인 스트로크 기반 조작을 가능하게 함으로써, 이 방법은 예술 및 디자인 영역에서 신경 SDF의 적용 가능성을 확장합니다.

저자들은 고주파 진동 브러시 프로파일에 따른 세부 사항 보존 문제(MLP 깊이에 따라 흐릿해질 수 있음)와 Python 기반 PyTorch 구현의 계산 오버헤드 등 한계점을 겸허히 언급했습니다. 그러나 일반적인 스컬핑 워크플로우(저~중간 강도의 편집)에 있어서, 이 프레임워크가 다재다능하고 반응성이 뛰어난 도구를 제공한다고 단언합니다.