💻 computer science

Compos3D: Interactive Part-Based Composition for Creative Control in Generative 3D Models

Compos3D는 예측 불가능한 반복적 재생성에 의존하는 대신, 여러 후보군으로부터 선택된 부품들을 리믹싱 워크플로를 통해 일관된 디자인으로 조립할 수 있게 함으로써 생성형 3D 모델링에서의 창의적 제어력을 향상시키는 인터랙티브 시스템이다.

원저자: Faraz Faruqi, Sean J. Liu, George Fitzmaurice, Justin Matejka

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Faraz Faruqi, Sean J. Liu, George Fitzmaurice, Justin Matejka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 목소리에만 반응하는 마법의 오븐을 사용해 완벽한 케이크를 구우려 한다고 상상해 보세요. 당신이 "드래곤 날개가 달린 초콜릿 케이크를 만들어줘!"라고 말합니다. 오븐이 윙윙거리더니, 펑—케이크가 나옵니다. 하지만 날개는 엉뚱한 쪽에 달려 있고, 초콜릿은 너무 어둡고, 베이스(밑단)는 빠져 있습니다. 예전 방식대로라면, 당신은 "다시 해봐!"라고 말하고 다음 케이크가 더 나아지기를 기도해야 했을 것입니다. 만약 초콜릿은 마음에 들지만 날개가 싫다면, 당신은 꼼짝도 할 수 없습니다. 날개만 새것으로 바꿀 수는 없고, 케이크 전체를 다시 걸고 도박을 해야 합니다. 이 "주사위를 던지는" 방식은 현재 대부분의 3D AI 도구가 작동하는 방식이며, 논문은 나쁜 부분을 고치려고 할 때마다 좋은 부분까지 잃게 되기 때문에 이 방식이 좌절감을 준다고 주장합니다.

여기에, 게임의 판도를 바꾸는 새로운 시스템인 Compos3D가 등장했습니다. 결과물을 유지하거나 버려야 하는 완성품으로 취급하는 대신, Compos3D는 그것을 거대한 레고 블록 상스처럼 취급합니다.

작동 방식은 다음과 같습니다:

베이크 오프(Bake-Off): 당신의 아이디어를 바탕으로 AI에게 여러 가지 다른 3D 모델(예: 의자나 괴물)을 만들라고 요청합니다.
스캐빈저 헌트(Scavenger Hunt): 모든 결과물을 살펴보고 당신이 좋아하는 특정 부분들을 고릅니다. 예를 들어, A 의자의 좌석, B 의자의 등받이, C 의자의 다리를 원할 수 있습니다. 당신은 2D 사진에서 클릭하거나 3D 모델 자체를 직접 클릭하여 이 부품들을 가져올 수 있습니다.
리믹스(The Remix): 선택한 좋아하는 조각들을 캔버스 위로 드래그 앤 드롭하여 대략적이고 무질서한 콜라주 형태로 배치합니다. 아직 완벽할 필요는 없습니다. 그저 부품들이 어떻게 서로 맞물려야 하는지에 대한 당신의 비전일 뿐입니다.
마법의 풀(The Magic Glue): 시스템은 그런 다음 당신의 거친 콜라주를 가져와 이를 "합성(synthesize)"합니다. 이는 별개의 조각들을 하나의 매끄럽고 일관된 3D 모델로 융합하는 매우 똑똑한 풀 역할을 하여, 틈새를 메우고 기하학적 구조가 실제처럼 보이도록 만듭니다.

저자들은 3D 모델링이 처음인 8명의 사람을 대상으로 이 아이디어를 테스트했습니다. 사용자들에게 매우 구체적인 요구 사항(예: 높은 등받이와 드래곤 다리 모양의 팔걸이)이 있는 하이브리드 작업용 의자를 설계하도록 요청했습니다. 사용자들은 두 가지 방법을 사용했습니다: 기존의 "주사위를 던지는" 재생성 방식과 새로운 "리믹싱" 방식입니다.

결과는 명확했습니다. 사용자들은 리믹싱 방식을 사용할 때 훨로 더 많은 통제권을 느꼈습니다. 그들은 최종 디자인이 자신의 아이디어와 훨씬 더 잘 일치한다고 보고했습니다 (재생성 방식의 평균 점수가 7점 만점에 4.12점인 것에 비해, 리믹싱 방식은 6.12점을 기록했습니다). 또한 도구가 자신의 의도에 더 잘 반응한다고 느꼈습니다. 하지만 한 가지 걸림돌이 있었습니다: 리믹싱은 약간 더 많은 정신적 노력을 요구했습니다. 사용자들은 리믹싱의 노력 점수(3.50)를 재생성의 점수(2.94)보다 약간 높게 책정했습니다. 하지만 핵심은 이것입니다: 더 많은 노력이 들었음에도 불구하고, 사용자들은 리믹싱을 더 즐겁다고 느꼈습니다 (재생성 방식의 4.81점 대비 리믹싱의 5.75점). 자신이 직접 부품을 골라 조합할 수 있는 능력이 추가적인 노력을 가치 있게 만든 것으로 보입니다.

연구는 또한 리믹싱을 수행하는 두 가지 방법, 즉 2D 이미지(콜라주 형태)를 사용하는 것과 3D 모델(공간에서 실제 블록을 움직이는 것)을 사용하는 것을 조사했습니다. 3D 방식은 공간에서 물체를 움직이는 데 더 직관적이었던 반면, 2D 방식은 조각을 고르는 데 더 빨랐습니다. 대부분의 사람들은 정밀함 때문에 3D 리믹싱 방식을 선호했지만, 이는 가장 많은 노력을 요구했습니다.

이 논문은 이러한 "부품 기반" 접근 방식이 큰 진전이라고 제안하는데, 이는 사용자가 단순히 설명하는 것이 아니라 만듦으로써 의도를 표현할 수 있게 해주기 때문입니다. 한 사용자는 기존 방식에서는 그저 "무언가를 입력하고 어떤 일이 일어나는지 지켜보는 것"처럼 느껴졌지만, 리믹싱을 통해서는 선택을 내리는 진짜 디자이너가 된 것 같다고 언급했습니다.

저자들은 이것이 모든 것을 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 밝히고 있습니다. 그들은 단 8명의 사람을 대상으로 한 가지 특정 디자인 과제(의자)를 테스트했을 뿐이며, 최종 모델이 실제로 출력되거나 제작 가능한지도 확인하지 않았습니다. 그러나 연구 결과는 사람들이 서로 다른 AI 생성물에서 부품을 섞고 조합할 수 있는 능력을 갖추는 것이 더 행복하고 창의적인 디자이너를 만들며, 그들이 자신의 창작물을 진정으로 통제하고 있다고 느끼게 한다는 점을 강력하게 시사합니다. AI가 첫 번째 시도에 바로 맞기를 기대하는 대신, 당신은 최고의 조각들을 큐레이팅하고 AI가 그것들을 하나로 합치는 힘든 작업을 수행하도록 맡길 수 있습니다.

기술 요약: Compos3D

문제 정의
현재의 3D 생성형 AI 워크플로우는 주로 "원샷 블랙박스(one-shot black box)" 방식으로 작동합니다. 사용자는 텍스트나 이미지 프롬프트를 제공하고 완성된 3D 모델을 받지만, 재프롬프팅(re-prompting) 외에는 출력물을 조작할 수 있는 능력이 매우 제한적입니다. 사용자가 특정 요소는 보존하면서 다른 요소만 수정하고자 할 때, 이들은 "주사위 던지기(dice roll)" 상황에 직면하게 됩니다. 수정된 프롬프트로 모델을 반복해서 재생성하는 것은 원하는 특징을 잃을 위험이 있으며, 자연어를 넘어 직접적으로 디자인 의도를 표현할 메커니즘도 제공하지 않습니다. 최근의 발전된 기술들이 텍스트 가이드 기반 편집을 통해 국소적인 정교화를 허용하긴 하지만, 근본적인 워크플로우는 여전히 모델을 재조합을 위한 원재료로 취급하기보다는 전체 모델을 수용하거나 거부하는 방식에 머물러 있습니다. 이는 사용자의 제어력을 제한하며 생성 공간의 다양성을 충분히 활용하지 못하게 만듭니다.

방법론: Compos3D 시스템
Compos3D는 3D 생성을 (1) 중간 단계의 후보 모델 생성과 (2) 이를 최종 디자인으로 리믹싱하는 두 가지 별개의 단계로 분리하는 **구성적 리믹싱 워크플로우(compositional remixing workflow)**를 도입합니다. 이 시스템은 생성된 모델을 사용자가 부품을 추출, 배치 및 재조합할 수 있는 소스 재료로 취급합니다.

시스템은 2D(이미지 기반)와 3D(메시 기반) 상호작용 모드를 모두 지원하는 세 단계의 통합 파이프라인을 통해 작동합니다:

초기 생성 및 리믹스 컨텍스트(Initial Generation & Remix Context): 사용자는 텍스트 또는 이미지 프롬프트로부터 여러 개의 후보 3D 모델을 생성합니다. 이 후보들은 검수를 위해 렌더링되며, 유망한 디자인은 "리믹스 컨텍스트(Remix Context)" 풀에 추가됩니다. 사용자는 기존의 2D 또는 3D 에셋을 가져올 수도 있습니다.
부품 선택(Part Selection): 사용자는 후보 모델에서 원하는 부품을 분할합니다.
- 2D 모드: 긍정적 프롬프팅(좌클릭) 및 부정적 프롬프팅(우클릭)을 통해 2D 이미지 상에서 대화형 세그멘테이션을 수행하는 Segment Anything Model(SAM)을 사용합니다.
- 3D 모드: 3D 메시 상에서 직접 영역을 선택할 수 있는 Point-SAM을 사용하여 표면의 영역을 선택합니다.
구성(Composition): 선택된 부품들은 대략적인 구성을 위해 조립됩니다.
- 2D 캔버스: 추출된 이미지 세그먼트들을 2D 콜라주 위에 배치하고, 크기를 조절하거나 회전시켜 디자인 의도를 탐색합니다.
- 3D 캔반스: 추출된 메시 세그먼트들을 3D 공간에 배치하여 공간적 위치, 비율 및 투영에 대한 정밀한 제어를 허용합니다.
합성(Synthesis): 시스템은 대략적인 구성을 일관성 있고 고품질인 3D 모델로 합성합니다.
- 2D 합성: 콜라주는 (선택적 텍스트 프롬프트에 의해 가이드되는) 이미지 생성 모델을 통해 일관된 이미지로 정교화되며, 이후 이미지-투-3D 파이프라인을 통해 3D로 변환됩니다.
- 3D 합성: 시스템은 사용자의 3D 배치를 복셀화(voxelize)하여 구조적 스캐폴드(scaffold)를 생성합니다. 콜라지의 다각도 이미지를 렌더링하고, 이를 이미지-투-이미지 모델로 정교화한 뒤, 복셀화된 기하 구조와 다각도 특징(multi-view features)을 모두 TRELLIS 파이프라인에 입력합니다. TRELLIS는 구조적 잠재(Structured Latent, SLAT) 표현 위에서 작동하여 기하 구조와 외관을 공동으로 생성하며, 사용자의 높은 수준의 공간적 배치를 유지하면서 이음새(seams)와 토폴로지 문제를 해결합니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

다중 모드 리믹싱을 위한 시스템: 부품 기반 선택(2D 이미지 또는 3D 메시를 통한), 구성, 그리고 생성형 3D 모델을 위한 AI 보조 합성을 가능하게 하는 새로운 시스템을 선보입니다.
통제된 사용자 연구: 2D 및 3D 모드 모두에서 리믹싱 워크플로우를 전통적인 재생성 워크플로우와 비교 평가하는 대조 연구를 수행했습니다.
모달리티 비교: 구성적 워크플로우 내에서 2D(속도, 단순성)와 3D(정밀도, 공간 추론) 상호작용 모드 간의 트레이드오프를 분석합니다.
디자인 권장 사항: 부품 기반 구성과 모달리티 간의 유연한 전환을 강조하며, 향 $\text{AI}$ 보조 3D 모델링 도구를 위한 가이드라인을 제시합니다.

결과
저자들은 8명의 초보 3D 모델러를 대상으로 통제된 피험자 내 연구(within-subjects study)를 실시했습니다. 참가자들은 Remixing-2D, Remixing-3D, Regeneration-2D, Regeneration-3D의 네 가지 조건에서 디자인 과제를 완료했습니다.

워크플로우 비교 (리믹싱 vs. 재생성): 참가자들은 재생성 방식에 비해 리믹싱 워크플로우에서 유의미하게 높은 창의적 제어력, 디자인 의도와의 강력한 일치성, 그리고 더 높은 만족도를 보고했습니다. 리믹싱이 다소 더 많은 인지적 노력을 요구하긴 했으나, 이는 더 높은 즐거움과 더 강한 소유감에 의해 상쇄되었습니다. 질적 데이터에 따르면 재생성은 원하는 특징을 제거하는 경우가 많았던 반면, 리믹싱은 명시적인 보존과 재조합을 가능하게 했습니다.
모달리티 비교 (2D vs. 3D): 작업 결과 및 도구 응답성에 대한 평가는 모달리티 간에 대체로 유사했습니다. 그러나 3D 모달리티는 창의적 표현과 즐거움을 지원하는 측면에서 더 높게 평가되었으며, 사용자들이 직접적인 공간 조작을 더 직관적이라고 느꼈습니다. 반대로, 일부 사용자들은 2D 선택이 더 단순하고 모호함이 적다고 느꼈습니다.
트레이드오프: 연구를 통해 명확한 트레이드오프를 확인했습니다: Remixing-3D는 가장 높은 제어력과 확신을 제공했지만 가장 많은 노력을 요구했습니다. 2D 워크플로우는 더 빠르고 단순하다고 인식되었으나 정밀한 제어력은 낮았습니다.

의의 및 주장
본 논문은 Compos3D가 "수용 또는 폐기"에서 "구성 및 정교화"로 패러다임을 전환함으로써 생성형 3D 모델링의 결정적인 공백을 메운다고 주장합니다. 생성 과정을 후보 생성과 리믹싱으로 분리함으로써, 시스템은 사용자에게 최종 출력물에 대한 더 세밀한 제어력을 제공합니다.

저자들은 구성적 워크플로우가 반복적인 재생성에 비해 더 깊은 창의적 참여와 더 강한 소유감을 촉진한다고 결론짓습니다. 그들은 향후 AI 보조 3D 도구가 자동화보다는 **공동 창작(co-creation)**을 우선시해야 하며, 사용자가 부품 기반 사고를 통해 디자인을 능동적으로 형성하는 워크플로우를 지원해야 한다고 주장합니다. 나아가, 2D와 3D 모달리티를 통합함으로써 효율성과 정밀도의 균형을 맞출 수 있으며, 사용자가 2D에서 아이디어를 빠르게 탐색한 후 3D에서 공간적 배치를 정교화할 수 있게 한다고 제안합니다. 본 논문은 이러한 접근 방식이 사용성을 개선할 뿐만 아니라, 사용자의 역할을 수동적인 프롬프터에서 능동적인 디자이너로 변화시킨다고 역설합니다.

기술 요약: Compos3D

유사한 논문