당신이 방 안의 사진을 찍어 그 안을 걸어 다닐 수 있는 3D 세계로 바꿔주는 마법 같은 카메라를 가지고 있다고 상상해 보세요. 이것은 공상 과학 소설이 아닙니다. **3D 가우시안 스플래팅(3D Gaussian Splatting)**이라고 불리는 기술입니다. 이것은 마치 수백만 개의 작고 폭신한 빛의 공들로 만들어진 디지털 구름과 같습니다. 이 구름을 특정 각도에서 바라보면 컴퓨터가 공들을 배치하여 실제 사진처럼 보이게 만듭니다. 당신이 머리를 움직이면, 컴퓨터는 즉시 공들을 재배치하여 새로운 각도를 보여줌으로써 마치 비디오 게임을 하는 것 같은 생생한 경험을 선사합니다.

이제, 이 3D 세계에서 무언가를 바꾸고 싶다고 상상해 보세요. 예를 들어 파란색 곰 인형을 분홍색으로 바꾸는 것입니다. 당신은 아마도 이렇게 생각할 것입니다. "컴퓨터 프로그램에 '곰을 분홍색으로 만들어줘'라고 말하면 되겠지!" 하지만 여기서 까다로운 문제가 발생합니다. 컴퓨터는 곰이 3D 공간의 정확히 어디에 있는지 알지 못합니다. 컴퓨터는 단지 원래 카메라가 찍었던 특정 각도에서 곰이 어떻게 보이는지만 알고 있습니다. 만약 당신이 원래의 각도에서 곰이 아주 작게 보이거나 의자 뒤에 숨겨져 있는 이상한 각도에서 바꾸려고 시도한다면, 컴퓨터는 혼란에 빠질 것입니다. 실수로 방 전체를 분홍색으로 만들어버리거나, 곰을 형체를 알 수 없는 덩어리로 만들 수도 있습니다. 이것이 바로 연구자들이 해결하려는 퍼즐입니다. 어떻게 하면 컴퓨터에게 정확히 어디를 보아야 하는지, 그리고 주변의 나머지 3D 세계를 망가뜨리지 않고 어떻게 단 하나만을 바꿀 수 있는지 알려줄 수 있을까요?

문제점: 잘못된 안경을 쓰고 3D 세계를 편집하기

이 논문의 저자들인 LB-Edit( "편집하기 전에 먼저 보기(Look Before You Edit)"의 약자)는 사람들이 현재 이 3_D 세계를 편집하는 방식에 큰 결함이 있다는 것을 발견했습니다. 대부분의 기존 방식은 3D 모델을 구축하는 데 사용되었던 것과 정확히 동일한 카메라 각도를 사용하여 장면을 편집하려고 시도합니다.

당신이 조각상의 아주 작은 세부 사항을 채색하려고 하는데, 50피트 떨어진 곳에서 약간 휘어진 망원경을 통해 조각상을 바라봐야만 한다고 상상해 보세요. 당신은 지점을 완전히 놓치거나, 붓질이 코가 아닌 조각상의 얼굴 전체에 페인트를 번지게 할 수도 있습니다. "재구성 카메라(reconstruction cameras)"(모델을 만드는 데 사용된 카메라)를 사용하여 편집할 때 발생하는 현상이 바로 이것입니다. 이 카메라들은 전체 방을 명확하게 보는 데 최적화되어 있지, 특정 장난감이나 물체를 확대해서 보기 위해 최적화된 것이 아닙로. 만약 물체가 작거나 원래 사진에서 멀리 떨어져 있다면, 편집 소프트웨어는 길을 잃게 되어 색이 사방으로 번지거나 물체의 모습이 각도마다 다르게 보이는 지저분한 결과를 초래합니다.

해결책: "편집하기 전에 먼저 보기"

저자들은 이 문제를 마치 화가가 붓질을 한 번 하기 전에 캔버스를 정성스럽게 준비하는 과정처럼 다루는 2단계 전략을 제 제안합니다.

1단계: 완벽한 지점 찾기 (주의 집중 유도 카메라 배치)

첫 번째 단계는 물체를 편집하기 위한 최적의 위치를 결정하는 것입니다. 연구자들은 편집 소프트웨어의 "두뇌"(디퓨전 모델이라 불리는 일종의 AI)가 특별한 방식으로 주의를 기울인다는 사실을 깨달았습니다. 이 모델은 이미지의 어느 부분을 변경할지 결정하기 위해 **어텐션 맵(attention maps)**이라는 것을 사용합니다.

AI의 주의력을 스포트라이트라고 생각해 보세요. 만약 당신이 물체에 너무 가까이 서 있으면, 스포트라이트가 너무 넓어서 방 전체를 비추게 됩니다. 반대로 너무 멀리 서 있으면, 스포트라이트가 너무 희미해서 물체를 명확하게 볼 수 없습니다. 연구팀은 다양한 거리를 빠르게 테스트하는 방법을 개발했습니다. 그들은 AI에게 묻습니다. "내가 여기에 서 있다면, 당신의 스포트라이트가 곰 인형에만 딱 집중되나요, 아니면 주변으로 번지나요?"

그들은 AI의 주의력이 바꾸고자 하는 물체 안에 완벽하게 담기는 "스위트 스폿(sweet spot)" 거리를 찾아냈습니다. 일단 이 완벽한 거리를 찾으면, 단순히 하나의 카메라만 선택하는 것이 아니라, 그 완벽한 거리에서 물체를 약간씩 다른 각도로 바라보는 소수의 다양하고 정교한 카메라 그룹(최소 5개)을 설정합니다. 이를 통해 AI가 물체를 명확하게 보고 무엇을 수정해야 할지 정확히 알 수 있도록 합니다.

2단계: 모두가 같은 생각을 하도록 만들기 (다중 뷰 어텐션 정렬)

두 번째 문제는, 완벽한 카메라를 갖추었더라도 AI가 한 각도에서는 곰을 분홍색으로 칠하고 다른 각도에서는 보라색으로 칠하는 등 서로 다르게 칠할 수 있다는 점입니다. 이것을 "드리프트(drift)" 현상이라고 합니다. 이는 마치 친구들이 서로 대화하지 않은 채 각자 종이에 똑같은 그림을 그리려고 하는 것과 같습니다. 한 명은 둥근 코를 그리고, 다른 한 명은 뾰족한 코를 그리는 식입니다.

이를 해결하기 위해 팀은 모든 카메라가 서로 동의하도록 만드는 시스템을 만들었습니다. 두 가지 방법으로 진행됩니다:

1. 외형 합의(Appearance Agreement): 편집의 "스타일"을 공유하도록 만듭니다. 만약 AI가 한 뷰에서 곰의 털이 폭신하고 윤기가 나야 한다고 결정했다면, 다른 모든 뷰에도 동일한 결정이 적용되도록 강제합니다.
2. 위치 합의(Location Agreement): 편집이 일어나야 할 위치에 대한 공유된 "3D 지도"를 만듭니다. 예를 들어, AI가 한 뷰에서 곰의 코 위에 빛나는 점을 그린다면, 그 점을 3D 공간으로 들어 올립니다. 그다음 뷰를 편집할 때, AI는 그 3D 공간의 동일한 빛나는 점을 참조하여 정확히 어디에 칠해야 할지 알게 됩니다. 이를 통해 편집 내용이 밀려나거나 각도마다 다르게 보이는 것을 방지합니다.

결과: 더 빠르고, 더 깔끔하며, 더 정확하게

연구팀은 여러 물체가 있는 지저한 책상부터 단일 조각상까지 다양한 장면에서 이 방법을 테스트했습니다. 그들은 "편집하기 전에 먼저 보기" 접근 방식을 통해 다음과 같은 결과를 얻었습니다:

• 더 나은 품질: 편집 결과가 사용자의 지시 사항에 훨씬 더 정확했습니다. 곰을 로봇으로 바꿔달라는 요청을 받았을 때, 로봇은 한쪽 각도뿐만 아니라 모든 각도에서 로봇처럼 보였습니다.
• 더 적은 오류: 편집 내용이 배경으로 번지지 않고 있어야 할 위치에 정확히 머물렀습니다.
• 훨씬 빠른 속도: 다른 방법들이 20~60개의 뷰를 편집해야 했던 것과 달리, 이들은 신중하게 선택된 5~20개의 뷰만 편집하면 되었기에 과정이 매우 빨랐습니다. 일부 테스트에서 이들의 방식은 기존 기술보다 최대 7배 더 빨랐으며, 다른 방식들이 1500초 이상 걸릴 때 단 254초 만에 완료되었습니다.

연구자들은 하나의 물체를 바꾸기 위해 세상 전체를 편집할 필요가 없다는 것을 보여주었습니다. 단지 어디를 보아야 하는지 알면 되고, 그다음 편집 팀 모두가 같은 것을 같은 방식으로 바라보게 만들면 됩니다. 스마트한 카메라 배치와 공유된 "주의(attention)" 시스템을 결합함으로써, 그들은 3D 편집을 더 신뢰할 수 있고 효율적으로 만들었으며, 때로는 잘 살펴보는 것이 가장 좋은 편집 방법임을 증명했습니다.