SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment

스마트폰을 들고 지저질한 커피 테이블을 향해 비추며, 컴퓨터가 모든 컵, 책, 리모컨이 3D 공간의 정확히 어디에 놓여 있는지 즉각적으로 이해하도록 요청한다고 상상해 보십시오. 이것은 단순한 눈속임이 아닙니다. 이것은 기계가 우리처럼 세상을 보려고 노력하는 분야인 '컴퓨터 비전'의 성배입니다. 이를 실현하기 위해 과학자들은 종-종 "CAD-to-image alignment(CAD-이미지 정렬)"라고 불리는 디지털 기술을 사용합니다. 이것을 "퍼즐 조각 맞추기" 게임이라고 생각해 보십시오. 당신에게는 물체의 완벽한 3D 디지털 청사진(CAD 모델)이 있고, 현실 세계의 평면적인 2D 사진이 있습니다. 컴퓨터의 임무는 그 디지털 청식를 어떻게 회전시키고, 밀고, 늘려서 사진 속의 물체 위에 완벽하게 들어맞게 할지 찾아내는 것입니다. 까다로운 점은 무엇일까요? 현실은 무질서하다는 것입니다. 물체는 다른 것에 가려지고(폐쇄/occlusion), 조명이 변하며, 디지털 청사진은 종종 먼지가 쌓인 실제 버전과 전혀 다르게 보입니다. 오랫동안 컴퓨터는 인간이 모든 물체를 하나하나 가르쳐주지 않고서는 이 매칭을 수행하는 데 어려움을 겪었습니다.

여기에 SUFLECA라는, 초지능적이고 기하학에 능숙한 탐정처럼 행동하는 새로운 방법론이 등장했습니다. SUFLECA는 단순히 사물이 어떻게 보이는지(이는 그림자나 이상한 각도에 속을 수 있음)를 바탕으로 추측하는 대신, 사물의 표면 아래에 형태가 어떻게 존재하는지를 이해하는 법을 배웁니다. 연구진은 실물 사진과 컴퓨터로 생성된 이미지를 혼합한 674,000장의 방대한 라이브러리로 이 시스템을 훈련시켰습니다. 그들은 AI에게 "겉치레"를 무시하고 물체의 단단한 골격에 집중하도록 가르쳤습니다. 그 결과는 어떠했을까요? SUFLECA는 물체가 부분적으로 가려져 있더라도 1초도 안 되는 시간에 디지털 모델을 실제 물체에 딱 맞게 끼워 넣을 수 있습니다. 실제로, ScanNet25k라는 까다로운 테스트에서 SUFLECA는 특정 학습 데이터 없이 학습하는 "제로샷(zero-shot)" 방식들을 능가했을 뿐만 아니라, 인간의 라벨링을 통해 완전히 지도 학습된(fully supervised) 시스템들보다도 더 높은 성능을 보여주며 33.4%의 카테고리 정확도와 42.3%의 인스턴스 정확도를 달아냈습니다. 이는 마치 가구에 관한 일반적인 책을 몇 권 읽은 학생이, 세상의 모든 의자를 암기했지만 복잡한 장면에서는 혼란스러워하는 학생보다, 복잡한 방 안에서 특정 의자를 즉각적으로 식별하고 배치하는 것과 같습니다.

문제점: "닮은꼴"이 실패할 때

디지털 3D 의자 모델을 붐비는 거실의 의자 사진과 매칭하려고 시도한다고 상상해 보십시오. 초기 방식들은 색상과 질감을 보고 이를 수행하려 했습니다. 만약 디지털 의자가 빨간색이고 사진 속 의자도 빨간색이라면, 둘을 매칭했습니다. 하지만 이것은 군중 속에서 친구를 찾을 때 오직 그 친구의 빨간 모자만을 보고 찾는 것과 같습니다. 조명이 바뀌거나, 친구가 다른 모자를 쓰고 있거나, 나뭇가지가 얼굴 절반을 가린다면 컴퓨터는 길을 잃습니다.

최근의 "제로샷" 방식들은 일반적인 패턴을 인식하는 데 뛰어난 거대 사전 학습 AI 모델을 사용하여 이를 해결하려 했습니다. 그러나 이러한 모델들은 여전히 "외형(appearance)"에 너무 치중되어 있습니다. 그들은 질감을 보고 "저것은 의자처럼 보인다!"라고 말하지만, 실제 3D 기하학을 이해하지는 못합니다. 물체가 부분적으로 가려지거나(occlusion), 컴퓨터가 깨끗한 디지털 모델을 지저분한 실제 사진과 매칭하려고 할 때(이를 "sim-to-real 도메인 시프트" 문제라고 함), 이러한 외형 기반 매칭은 무너집니다. 색상이 우연히 일치한다는 이유로 퍼즐 조각을 엉뚱한 곳에 붙이려는 것처럼 "노이즈"가 섞인 연결을 만들어냅니다.

해결책: SUFLECA의 2단계 마법

이 논문의 저자인 사드 에자즈(Saad Ejaz)와 그의 팀은 이를 해결하기 위해 SUFLECA(Scaling Up Feature Learning for CAD Alignment)를 도입했습니다. 그들은 단순히 기존 도구를 수정하는 데 그치지 않고, 두 가지 핵심 업그레이드가 적용된 새로운 엔진을 구축했습니다.

1. "기하학 체육관" (특징 학습의 확장)
작고 완벽하게 격리된 컴퓨터 이미지 세트로 훈련하는 대신, SUFLECA는 674,000장의 방대한 데이터셋과 함께 체육관에 갔습니다. 이 혼합 데이터에는 실제 사진과 합성(컴퓨터 생성) 렌더링이 포함되었습니다. 여기서 핵심 비법은 **NOCs(Normalized Object Coordinates, 정규화된 물체 좌표)**입니다.

NOCs를 물체를 위한 보편적인 "신체 지도"라고 생각하십시오. 시스템은 "이 픽셀은 빨간색이다"라고 말하는 대신, "이 픽셀은 의자 등받이의 왼쪽 상단 모서리이다"라고 말하는 법을 배웁니다. 이 방대한 혼합 데이터셋으로 훈련함으로써, AI는 지저나 조명 같은 지저분한 디테일을 무시하고 근본적인 3D 형태에 집중하는 법을 배웁니다. 이는 아이에게 개를 인식할 때 털 색깔이 아니라 귀와 꼬리의 모양으로 인식하도록 가르치는 것과 같습니다. 이를 통해 시스템은 일반화할 수 있습니다. 즉, 한 번도 본 적 없는 의자를 보더라도, 특정 의자의 "외형"이 아닌 의자의 "기하학"을 배웠기 때문에 여전히 그 3D 구조를 이해할 수 있습니다.

2. "더블 체크" 매치메이커 (기하학적 일관성을 갖춘 매칭)
AI가 이러한 "형태 인식" 특징을 확보하면, 이제 사진의 픽셀을 3D 모델의 점들과 매칭해야 합니다. 기존 방식들은 "데이터베이스에서 가장 가까운 것을 찾아라"라는 단순한 "최근접 이웃(nearest neighbor)" 접근 방식을 사용했습니다. 이는 마치 친구가 실제로 내 친구인지 상관없이 그냥 내 옆에 있는 사람을 고름으로써 군중 속에서 친구를 찾는 것과 같습니다. 이는 실수를 유발합니다.

SUFLECA는 더 스마트한 알고리즘을 사용합니다. 이는 **상호 일관성(mutual consistency)**과 **기하학적 논리(geometric logic)**를 확인합니다.

• 상호 일관성: 사진의 픽셀이 모델의 점을 가리키고, 동시에 모델의 점이 다시 사진의 픽셀을 가리킬 때만 매치를 수락합니다. 이것은 악수와 같습니다. 한쪽이 응답하지 않으면 거래는 무효입니다.
• 기하학적 일관성: 두 점이 "악수"를 하더라도, 서로 상대적인 위치가 틀릴 수 있습니다. SUFCECA는 모델 상의 두 매칭된 점 사이의 거리가 (물체가 늘어나거나 찌그러진 것을 고려한) 사진 속 파트너 사이의 거리와 일치하는지 확인합니다(이방성 스케일/anisotropic scale). 이는 사진 속 친구의 왼쪽 귀와 오른쪽 귀 사이의 거리가 3D 모델의 거리와 일치하는지 확인하는 것과 같습니다. 수학적으로 맞지 않으면 그 매치는 버려집니다.

결과: 빠르고, 정확하며, 놀라운 성과

팀은 이 기술의 표준 테스트인 ScanNet25k 벤치마크에서 SUFLECA를 테스트했습니다. 결과는 인상적이었습니다.

• 정확도: SUFLECA는 물체의 올바른 카테고리를 식별하는 데 33.4%, 정확한 인스턴스를 짚어내는 데 **42.3%**의 정확도를 달성했습니다. 이는 이전의 최고 제로샷 방식인 ZeroCAD보다 10% 포인트 이상 높은 수치입니다.
• 전문가를 넘어서다: 놀랍게도 SUFLECA는 단순히 다른 "제로샷" 방식들을 이긴 것이 아니라, 인간의 라벨링 데이터로 훈련된 여러 "완전 지도 학습(fully supervised)" 방식들까지 제쳤습니다. 심지어 최선의 추측을 하기 위해 정답 포즈(ground-truth poses)에 접근할 수 있는 다른 방식의 "오라클(oracle)" 버전보다도 뛰어난 성능을 보였습니다.
• 속도 및 효율성: 이 시스템은 믿을 수 없을 정도로 빠릅니다. 인스턴스당 1초 미만(약 0.53초) 내에 물체를 정렬하며, 매우 적은 컴퓨터 메모리(VRAM 2,178 MB)만을 사용합니다. 이는 수 초가 걸리고 엄청난 메모리를 요구하는 경쟁 모델들에 비해 훨씬 가볍습니다.

논문은 또한 SUFLECA가 거대한 도약이지만 완벽하지는 않다는 점도 명시하고 있습니다. 성능은 여전히 컴퓨터가 처음에 올바른 CAD 모델을 얼마나 잘 찾아내느냐에 달려 있습니다. 만약 컴퓨터가 잘못된 모델(예: 소파 모델을 의자에 맞추려고 하는 경우)을 선택한다면, SUFLECA는 이를 바로잡을 수 없습니다. 또한, 현재는 실내 장면과 흔한 물체들에 가장 잘 작동하며, 실외 장면이나 희귀한 품목은 향가 해결해야 할 과제로 남아 있습니다.

이것이 중요한 이유

SUFLECA는 3D 공간을 이해하기 위해 세상의 모든 물체를 암기할 필요가 없다는 것을 증명합니다. AI에게 기하학의 법칙을 존중하도록 가르치고, 실제와 합성 데이터가 혼합된 방대한 데이터로 훈련시킴으로써, 우리는 더 견고하고, 빠르며, 놀라울 정도로 똑똑한 시스템을 구축할 수 있습니다. 로봇이 복잡한 창고를 항해하든, 증강 현실 앱이 당신의 거실에 가상 가구를 배치하든, SUFCECA는 3D 비전의 미래가 단순히 표면을 보는 것이 아니라 사물의 형태를 이해하는 데 있다는 것을 보여줍니다.