SemanticSlider3D: Training-Free Continuous Semantic Editing for 3D Objects

손에 물리적인 물체를 들고 있다고 상상해 보십시오. 아마도 나무 의자나 세라믹 꽃병 같은 것일 수 있습니다. 만약 이 물체의 스타일을 소박한 느낌에서 미래적인 느낌으로 바꾸고 싶다면, 나무를 깎아내거나 점토의 모양을 다시 잡아야 합니다. 이 과정은 느리고 영구적이며 상당한 숙련도를 요구합니다. 디지털 세계에서 영화, 비디오 게임 또는 제품 디자인을 위한 3차원 객체를 만드는 것도 전통적으로는 이와 유사한 수작업의 경로를 따랐습니다. 디자이너들은 조각 하나하나를 만들며 모든 곡선과 표면을 다듬습니다. 최근에는 인공지능이 지름길을 제시하여, 사람들이 단순히 설명을 입력하는 것만으로 3D 객체를 생성할 수 있게 해주었습니다. 하지만 이러한 AI 도구들은 종종 복권 추첨기와 같이 작동합니다. 당신이 프롬프트를 입력하면 시스템은 결과를 만들어냅니다. 만약 그 결과가 너무 현대적이거나 딱 맞지 않는다면, 단순히 살짝 수정할 수 있는 것이 아니라 새로운 설명을 통해 더 나은 결과를 얻기를 바라며 처음부터 다시 시작해야 합니다. 이는 의자를 약간 더 둥글게 만들거나 자동차를 약간 더 공기역학적으로 만드는 것과 같은 작고 정밀한 조정을, 전체 디자인의 통제력을 잃지 않고 수행하는 것을 어렵게 만듭니다.

연구진은 이 문제를 해결하기 위해 'SemanticSlider3D'라고 불리는 새로운 방법을 개발했습니다. 이들의 작업은 마치 스테레오의 볼륨 조절 장치처럼, 디지털 객체의 스타일이나 재질을 조절하는 단순한 슬라이더를 사용하여 3D 객체의 외형과 느낌을 연속적으로 편집할 수 있는 방법을 도입합니다. 기존의 모델을 매번 처음부터 다시 만드는 대신, 이 시스템은 사용자가 기존 3D 모델을 가져와서 컨트롤을 앞뒤로 움직여 한 극단에서 다른 극단으로 부드럽게 변하는 모습을 볼 수 있게 해줍니다. 예를 들어, 사용자는 표준 피아노를 가져와서 컨트롤을 밀어 점점 더 미래적으로 보이게 할 수 있으며, 클래식한 나무 마감에서부터 통합된 조명이 있는 매끄럽고 빛나는 디자인에 이르기까지 그 사이의 모든 미세한 변화를 볼 수 있습니다. 이 시스템은 새로운 객체나 스타일에 대해 매번 다시 학습할 필요 없이 이를 구현하므로, 많은 가능성을 빠르게 탐색해야 하는 디자이너들에게 유연한 도구가 됩니다.

연구진이 직면한 핵심 과제는 3D 객체가 평면적인 사진보다 훨씬 더 복잡하다는 점이었습니다. 2D 이미지를 편집할 때는 카메라가 보는 각도에서의 모습만 바꾸면 됩니다. 하지만 3D 객체는 공간에 존재하며, 한쪽 면에서 외형을 변경하는 것은 다른 쪽 면에서 보이는 모습과 일관성이 있어야 합니다. 만약 AI가 의자의 앞부분을 미래적으로 바꿨는데 뒷부분은 예전 그대로 둔다면, 그 결과물은 깨져 보이고 비현실적으로 보일 것입니다. 이전의 시도들은 객체의 2D 사진을 편집한 다음 그 사진을 다시 3D 형태로 변환하려고 시도했습니다. 연구진은 이 방식이 실패했다는 것을 발견했는데, 이미지를 다시 3D로 변환하는 과정에서 오류와 불일치가 발생하여 결과물이 왜곡되거나 원래의 형태를 잃는 경우가 많았기 때문입니다.

이러한 오류를 우회하기 위해, 연구진은 2D 이미지를 먼저 작업하는 대신 3D 객체가 저장되는 컴퓨터의 '두뇌' 내부에서 직접 작동하도록 시스템을 구축했습니다. 그들은 3D 형태의 구조를 이해하는 강력한 AI 모델을 사용했습니다. 과정은 원래의 3D 객체를 가져와서 마치 방 안을 모든 방향에서 포착하는 보안 카메라 시스템처럼 여러 각도에서 바라보는 것으로 시작됩니다. 그런 다음 시스템은 언어 모델에게 두 가지 설명을 작성하도록 요청합니다. 하나는 객체의 부정적인 극단(원하는 변화의 반대)을 설명하는 것이고, 다른 하나는 긍정적인 극단(원하는 변화)을 설명하는 것입니다. 예를 들어, 목표가 소파를 "매우 미래적으로" 만드는 것이라면, 시스템은 고전적이고 전통적인 소파에 대한 설명과 매우 매끄럽고 현대적인 소파에 대한 설명을 생성합니다.

다음으로, 시스템은 어떤 카메라 뷰가 변화를 보여주는 데 가장 중요한지를 식별합니다. 만약 사용자가 캐릭터의 눈 크기를 바꾸고 싶어 한다면, 시스템은 뒷모습을 무시하고 앞모습에만 집중합니다. 그런 다음 대조되는 설명들을 사용하여 각 중요한 뷰에 대해 한 쌍의 이미지를 만듭니다. 하나는 부정적인 극단의 객체를 보여주고, 다른 하나는 긍정적인 극단의 객체를 보여줍니다. 이 쌍들을 비교함으로써, 시스템은 오래된 모습에서 새로운 모습으로 이어지는 특정한 방향을 내부 수학적 공간 내에서 계산합니다. 이 방향은 가이드 역할을 합니다. 사용자가 슬라이더를 움직이면 시스템은 이 가이드를 따라 단계별로 객체의 형태와 질감을 조정합니다. 시스템이 3D 구조 자체에서 직접 작동하기 때문에, 모든 각도에서 일관되게 보이도록 보장하며 객체의 온전함을 유지하면서 새로운 스타일을 적용합니다.

연구진은 동물, 가구, 음식, 차량 등 50가지의 서로 다른 객체 데이터셋을 통해 이 방법을 테스트했습니다. 그들은 2D 이미지를 편집한 후 다시 3D로 변환하려는 표준적인 접근 방식과 새로운 슬라이더 시스템을 비교했습니다. 5명의 전문가가 결과물을 평가하며, 슬라이더가 만들어낸 다양성, 변화의 일관성, 3D 모델의 전반적인 품질, 그리고 시스템이 건드리지 말아야 할 부분을 실수로 변경했는지 여부를 평가했습니다. 결과는 명확했습니다: 새로운 슬라이더 방식이 압도적으로 선호되었습니다. 이 방식은 훨씬 더 넓은 범위의 의미 있는 변화를 만들어냈고, 3D 객체가 고품질이며 구조적으로 견고하게 유지되도록 했으며, 관련 없는 특징들을 성공적으로 보존했습니다. 예를 들어, 의자를 더 미래적으로 만들 때, 시스템은 의자의 다리 개수나 좌석의 기본 구조를 실수로 바꾸지 않으면서 스타일을 변경했습니다.

이 도구가 실제 디자인 환경에서 어떻게 작동할지 확인하기 위해, 연구진은 3D 모델링 경험이 있는 6명을 통제된 환경에 초대했습니다. 참가자들은 다양한 목표, 예를 들어 램프나 의족의 3D 프로토타입을 설계하도록 요청받았습니다. 참가자들은 슬라이더가 자신들이 처음에 고려하지 못했던 디자인 아이디어를 탐색하는 데 도움을 주었다고 답했습니다. 현대적인 플로어 램프를 만들고자 했던 한 참가자는 레트로 스타일의 변형이 자신이 원래 구상했던 현대적인 버전보다 더 흥entering한 디테일을 제공한다는 사실에 놀랐습니다. 의족을 설계하던 또 다른 참가자는 모든 옵션의 스펙트럼을 보는 것이 자신이 포함해야겠다고 생각하지 못했던 새로운 기능들을 생각하도록 영감을 주었다는 것을 깨달았습니다. 이 도구는 단순한 편집기를 넘어 창의적 과정의 파트너로서 작용하여, 사용자들에게 전체적인 가능성의 범위를 보여줌으로써 그들이 실제로 원하는 것이 무엇인지 명확히 하도록 도왔습니다.

하지만 연구는 몇 가지 한계점도 밝혀냈습니다. 시스템은 전체적인 스타일, 재질, 또는 객체의 '분위기'를 바꾸는 데는 매우 잘 작동했지만, 단 하나의 눈 크기나 특정 부위의 높이와 같은 구체적인 기하학적 세부 사항을 변경하는 데는 정밀함이 떨어졌습니다. 연구진은 이러한 미세한 구조적 변화를 매끄럽게 처리하는 것이 여전히 어렵다는 점을 언급했습니다. 또한, 슬라이더를 생성하는 데 걸리는 시간이 상당할 수 있는데, 초기 설정에 약 12분이 소요되며 슬라이더의 새로운 지점 하나를 만드는 데 약 1분 30분이 걸립니다. 이는 이 도구가 강력하긴 하지만 아직 즉각적이지는 않으며, 사용자가 시스템이 작동하는 동안 인내심을 가져야 함을 의미합니다.

이러한 제약에도 불구하고, 이번 연구 결과는 인간이 디자인을 위해 인공지능과 상호작용하는 방식에 있어 중요한 진전을 보여줍니다. 이 시스템은 사용자가 3D 모델링 소프트웨어의 전문가가 아니더라도 3D 객체에 대해 세밀한 제어를 할 수 있다는 것을 입증했습니다. 사용자가 스타일과 속성의 연속적인 범위를 슬라이드하며 탐색할 수 있게 함으로써, 이 도구는 모호한 텍스트 프롬프트와 전문적인 디자인의 정밀한 요구 사이의 간극을 메워줍니다. 이는 창의적인 가능성의 광활한 공간을 항해하여 디자이너가 초기 아이디어와 최종 제품 사이의 완벽한 균형을 찾도록 돕는 방법입니다. 기술이 발전하여 특히 복잡한 기하학적 변화를 처리하고 대기 시간을 줄이게 된다면, 이 도구는 창의적 워크플로우의 표준적인 부분이 되어 우리가 미래의 사물을 상상하고 구축하는 방식을 변화시킬 수 있을 것입니다.