기술 요약: Img2CADSeq

문제 정의

최근 단일 뷰 3D 생성 (예: NeRF, Gaussian Splatting) 분야의 획기적인 발전은 놀라운 시각적 충실도를 달성했으나, 결과적으로 생성된 표현은 대부분 암시적 필드 (implicit fields) 나 비구조화된 점 스플랫 (unstructured point splats) 입니다. 이러한 형식은 정밀 엔지니어링 작업에 필요한 기하학적 곡선과 표면의 명시적 내부 위상 구조를 결여하고 있습니다. 따라서 이들은 표준 STEP 형식과 같은 경계 표현 (BReps) 에 의존하는 산업 설계 및 제조에는 적합하지 않습니다. 고화질 BRep 을 단일 이미지로부터 재구성하는 작업은 위상적 제약의 복잡성, 장기간 연산 시퀀스의 비구조적 특성, 그리고 합성 렌더링과 실제 세계 제조 아티팩트 간의 간극을 연결하는 산업급 훈련 데이터의 부족으로 인해 여전히 큰 과제로 남아 있습니다.

방법론

Img2CADSeq 은 CAD 연산을 이산적 잠재 공간에 인코딩하여 단일 뷰 이미지 (또는 점 구름) 로부터 표준화된 STEP 파일을 생성하도록 설계된 다단계 파이프라인입니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다:

1. 계층적 시퀀스 인코딩

길고 비구조화된 CAD 시퀀스를 학습하는 어려움을 해결하기 위해, 저자들은"프로파일에서 세부 사항으로"라는 설계 과정에서 영감을 받은3 단계 계층적 코드북을 제안합니다. 이 전략은 Vector Quantized Variational Autoencoders(VQ-VAE) 를 사용하여 CAD 연산을 세 가지 서로 다른 수준으로 양자화합니다:

• Extrude-Block(EB): 스케치 평면 방향, 원점, 압출 깊이, 불리언 연산 유형 (New, Join, Cut) 을 포함한 전역 의미론을 인코딩합니다.
• Sketch-Patch(SP): 위상적 레이아웃을 인코딩합니다. 단순한 정렬과 달리, 이 계층은 면적 및 대각선 크기를 기반으로 지배적인 프로파일을 우선시하는 점수 매김 메커니즘을 사용하여 후속 루프를 위한 공간적 앵커를 설정합니다.
• Curve-Cluster(CC): 절대 좌표가 아닌 국소 프레네 프레임 (local Frenet-frame) 공식 (현 길이, 상대 접선 편차, 곡률, 잔차 오프셋) 을 사용하여 국소 기하학을 인코딩합니다. 이는 병진 불변성을 보장하고 불필요한 구분자를 제거하여 시퀀스 길이를 압축하며, 시퀀스를 <EOS> 토큰으로만 종료합니다.

2. 기하학 인식 특징 추출

2D 이미지와 3D CAD 시퀀스 간의 모달리티 간극을 해소하기 위해, 이 방법은거친 것에서 정밀한 것으로의 점 구름 중간 표현을 활용합니다:

• Coarse Lifting: 단일 뷰 이미지를 Dens3R 의 맞춤형 버전을 사용하여 초기 거친 점 구름으로 들어 올립니다. 경성 산업 부품에 적응시키기 위해 저자들은 Query 및 Value 선형 계층에서 파라미터 효율적 미세 조정 (PEFT) 을 적용하여 공간적 주의를 CAD 사전 지식과 정렬합니다.
• Refinement: 노이즈를 줄이면서 날카로운 모서리를 보존하기 위해 새로운불확실성 인식 DGCNN(UA-DGCNN)이 도입되었습니다. 이 네트워크는 기하학적 중요도 점수를 예측하고휴리스틱 유도 리샘플링전략을 활용합니다. 이 전략은 볼츠만 분포를 통해 높은 곡률 특징 (날카로운 모서리) 의 보존과 평면 영역의 공백을 방지하기 위한 균일한 배경 커버리지를 균형 있게 조절합니다.

3. 교차 모달 정렬 및 생성

시스템은 정제된 점 구름 임베딩을 CAD 잠재 공간과 정렬하여 생성을 안내합니다:

• 대조 학습: 공동 프레임워크가 InfoNCE 손실 함수를 사용하여 점 구름 임베딩과 CAD 시퀀스 임베딩 간의 상호 정보를 최대화함으로써, 기하학에서 유래된 구조적 정보가 CAD 코드북과 의미론적으로 연결되도록 보장합니다.
• VQ-Diffusion 생성: 정렬된 특징은 VQ-Diffusion 모델의 조건으로 작용합니다. 이 모델은 흡수 상태 전이 과정을 통해 CAD 시퀀스에 대한 이산 토큰을 예측합니다.
• 컴파일: 기하학적 커널이 예측된 이산 토큰을 방수 BRep 모델로 컴파일하여 표준 STEP 파일을 출력합니다.

주요 기여

1. 계층적 3 층 코드북: 복잡한 CAD 시퀀스를 확산 모델링에 적합한 이산적 잠재 공간으로 압축하는 새로운 인코딩 전략으로, 위상적 유효성과 학습 가능성을 보장하기 위해 국소 세부 사항보다 전역 프로파일을 우선시합니다.
2. 산업 데이터 큐레이션 (CAD-220K 및 PrintCAD): 산업 데이터의 부족과 시뮬레이션 - 실제 간극을 해결하기 위해 저자들은 다음을 도입합니다:
   • CAD-220K: 렌더링된 이미지와 함께 220,000 개 이상의 다양한 3D CAD 모델을 포함하는 ABC 데이터셋의 큐레이션된 하위 집합.
   • PrintCAD: 실제 세계 조명 및 배경 하에서 촬영된 3D 프린팅 부품 2,000 개 이상의 이미지 데이터셋.
     이러한 데이터셋은 이미지 - 점 구름 모듈을 훈련하는 데 사용되어 기계 부품에 대한 일반화 능력을 향상시킵니다.
3. 강건한 정렬 프레임워크: 대조 학습을 통해 2D 이미지에서 유래된 점 구름을 CAD 시퀀스 인코딩과 정렬하는 조건부 메커니즘으로, 표준 STEP 파일로 직접 컴파일되는 위상적으로 유효한 CAD 시퀀스 생성을 가능하게 합니다.

실험 결과

광범위한 실험은 Img2CADSeq 이 세 가지 설정에서 최첨단 방법들보다 우월함을 보여줍니다:

• 이미지 조건부 생성: TripoSR, HoLa, CADDreamer 와 같은 베이스라인과 비교하여 이 방법은 가장 낮은 챔퍼 거리 (1.21), 가장 낮은 매달린 면 비율 (2.2), 그리고 가장 높은 분할 정확도 (97.2%) 를 달성합니다. 시각적으로 이 방법은 날카로운 모서리와 최소한의 피팅 오류를 가진 BRep 을 생성하며, 경쟁 방법들에서 관찰되는"점토 같은"왜곡이나 방수되지 않은 아티팩트를 피합니다.
• 점 구름 조건부 생성: 깨끗한 점 구름에서 Img2CADSeq 은 가장 낮은 정확도 오차 (6.49) 와 완전성 오차 (4.91) 를 달성하며, 높은 정밀도 (0.947) 와 재현율 (0.923) 을 보입니다. 이 방법은 피팅 기반 방법들이 종종 부드럽게 만들거나 올바르게 자르지 못하는 날카로운 모서리와 미세한 기하학적 특징을 성공적으로 복원합니다.
• 무조건부 생성: 무조건부 생성 작업에서 이 방법은 낮은 유효하지 않은 비율 (10.89) 을 유지하면서 우수한 분포 유사성 (최저 MMD 및 JSD) 과 다양성 (최고 Coverage 및 Novelty) 을 보여주어 구조적으로 타당한 기계 부품을 생성합니다.

의의 및 한계

이 논문은 Img2CADSeq 이 수동적인 메시가 아닌편집 가능하고 위상적으로 유효한 BRep을 생성함으로써 자동화된 역설계 분야에서 크게 진전시켰다고 주장합니다. 표준 STEP 파일을 직접 출력함으로써 이 방법은 제조 및 시뮬레이션과 같은 하류 산업 응용을 촉진합니다.

저자들은 다음과 같은 구체적인 한계를 겸손하게 인정합니다:

• 단일 뷰 모호성: 심각한 가려짐의 경우, 모델은 위상적으로 방수되지만 물리적으로 제조가 불가능한 가려진 영역을 환각할 수 있습니다.
• 전역 제약: 국소 특징은 잘 포착되지만, 이 방법은 명시적인 전역 제약이 부족하여 시퀀스 오차 누적으로 인해 엄격한 대칭성이나 동축성에서 잠재적 오류가 발생할 수 있습니다.
• 해상도 한계: 중간 점 구름 해상도 (4,096 개 점) 는 리샘플링 과정에서 나사산이나 작은 필렛과 같은 미세 구조가 부드럽게 처리되거나 누락될 수 있습니다.

향후 작업은 다중 모달 조건부 설정을 위해 Vision-Language Models(VLM) 을 통합하고, 중간 단계에서 상호작용 편집을 가능하게 하며, 엄격한 기하학적 제약을 명시적으로 부과하는 방안이 제안됩니다.