완벽하게 매끄러운 흰색 벽을 사진으로 찍는다고 상상해 보십시오. 표준 카메라에게 이 벽은 지루하고 평평하며 텅 빈 도화지일 뿐입니다. 형태를 만들어줄 굴곡도, 패턴도, 그림자도 없습니다. 수십 년 동안 컴퓨터 과학자들은 장면이 이토록 매끄럽게 보인다면, 능동형 레이저나 프로젝터를 사용하여 벽에 질감을 "칠하지" 않고서는 카메라가 각 부분의 거리를 파악하는 것이 불가능하다고 믿어 왔습니다. 이것이 바로 카메라가 이미 존재하는 것만을 보고 3D 형상을 추측하는 "수동적 깊이 감지(passive depth sensing)"의 세계입니다. 기존의 규칙은 단순했습니다. 질감이 없으면 깊이도 없다. 굴곡을 볼 수 없다면 거리를 측정할 수 없다.

하지만 그 "매끄러운" 벽이 사실은 전혀 매끄럽지 않다면 어떨까요? 우리 눈에는 보이지 않는 미세한 규모에서, 그 표면이 사실 미세한 언덕과 골짜기로 이루어진 혼돈스러운 산맥이라면 어떨까요? 빛의 파동 세계에서, 이 작은 굴곡들은 마치 혼돈스러운 드럼 세트처럼 작동합니다. 빛이 이들에 부딪힐 때, 빛은 단순히 깨끗하게 튕겨 나가는 것이 아니라 "스펙클(speckle)"이라고 불리는 무질서하고 무작위적인 춤을 추며 흩어집니다. 보통 우리의 카메라는 너무 느리고 광범위한 스펙트럼을 가지고 있어 이 춤을 포착하지 못하며, 그래서 벽은 여전히 매끄러워 보입니다. 그러나 이 논문은 대담한 질문을 던집니다. 만약 우리가 빛을 아주 조금만 느리게 만들어 그 춤을 포착할 수 있다면 어떨까?

카네기 멜론 대학교의 연구진은 이 오래된 규칙을 뒤집는 새로운 이론을 개발했습니다. 그들은 우리가 "질감이 없다"고 생각하는 표면조차도 사실 빛의 파동 자체로 이루어진 숨겨진, 보이지 않는 질감으로 덮여 있다는 것을 발견했습니다. 표준 카메라에 (특정 색상의 아주 좁은 조각만을 통과시키는 까다로운 선글라스와 같은) 특수한 협대역 스펙트럼 필터를 추가하는 것만으로도, 그들은 이 보이지 않는 질감을 가시화할 수 있습니다. 이를 통해 카메라는 이전에는 측정이 불가능하다고 여겨졌던 물체의 3D 형상을 매핑하기 위해 "초점으로부터의 깊이(Depth from Focus)" 기술을 사용할 수 있습니다. 이는 마치 벽이 매끄러운 것이 아니라, 적절한 렌즈를 통해 볼 때만 드러나는 빛의 비밀 코드로 덮여 있다는 사실을 깨닫는 것과 같습니다.

빛의 비밀스러운 춤

이것이 어떻게 작동하는지 이해하기 위해, 카메라가 세상을 보는 방식을 살펴보겠습니다. 대부분의 카메라는 "1차 질감(first-order texture)"에 의존합니다. 체커보드 바닥을 생각해 보십시오. 검은색 사각형과 흰색 사각형은 서로 다른 색을 띠며 명확한 패턴을 만듭니다. 카메라가 이 바닥에 초점을 맞추면 패턴이 선명해집니다. 초점이 흐려지면 패턴은 흐릿해집니다. 카메라가 패턴이 가장 선명한 순간을 찾아냄으로써 바닥이 얼마나 멀리 있는지 알 수 있습니다. 하지만 평범한 흰색 벽을 본다면, 검은색이나 흰색 사각형이 없습니다. 카메라는 평평하고 변하지 않는 회색만을 보게 되며, "이것이 얼마나 멀리 있는지 알 수 없다"며 포기해 버립니다.

이 논문의 저자들은 이러한 관점이 빛의 파동 물리학을 무시하고 있기 때문에 불완전하다고 주장합니다. 그들은 "2차 질감(second-order texture)"이라는 개념을 도입합니다. 흰색 벽이 실제로는 사람 머리카락보다 작은 미세한 굴곡으로 덮여 있다고 상상해 보십시오. 이 굴곡들은 너무 작아서 카메라 렌즈가 개별적인 언덕으로 식별할 수 없으며, 그저 평평한 표면으로 보일 뿐입니다. 그러나 빛이 이 미세한 굴곡에 부딪힐 때, 빛은 "주관적 스펙클(subjective speckle)"이라는 현상을 만들어냅니다.

스펙클을 햇빛이 요동치는 바다나 구겨진 은박자에 비칠 때 보이는 반짝이고 움직이는 패턴이라고 생각하십시오. 그것은 빛의 파동이 서로 간섭하여 발생하는 밝고 어두운 점들의 무작위적이고 고주파적인 춤입니다. 표준 카메라에서는 이 춤이 매우 빠르고 다양한 색상(파장)과 함께 일어나기 때문에, 카메라는 이 모든 것을 평균화하여 매끄럽고 지루한 이미지를 만들어냅니다. 카메라는 "평균적인" 밝기를 보게 되며, 이는 단조로운 회색일 뿐입니다.

논문은 만약 우리가 매우 특정하고 좁은 범위의 색상을 분리해낼 수 있다면(10에서 100 나노미터 너비의 필터를 사용하여), 이 평균화 과정을 늦출 수 있다고 제안합니다. 이는 마치 모든 방송국이 섞여 들리는 잡음 섞인 상태에서 하나의 명확한 라디오 채널을 튜닝하는 것과 같습니다. 카메라가 이 좁은 필터를 통해 볼 때, 무작위적인 스펙클 춤은 평균화되지 않습니다. 대신, 빛 자체의 "질감"이 눈에 보이게 됩니다. 갑자기, 그 "매끄러운" 흰색 벽은 빛과 어둠의 고대비 입자 패턴으로 덮이게 됩니다.

마법의 필터

연구진은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 이를 증명하기 위한 수학적 이론을 구축하고 실세계에서 테스트했습니다. 그들은 표준 카메라 렌즈 앞에 협대역 스펙트럼 필터를 배치함으로써 이 2차 질감을 크게 향상시킬 수 있다는 것을 발견했습니다.

실험에서 그들은 흰색 플라스틱 병이나 세라믹 컵처럼 육안으로는 완전히 매끄러워 보이는 물체들을 촬영했습니다. 필터가 없을 때 카메라는 깊이를 파악하는 데 어려움을 겪었습니다. 이미지는 흐릿했고 깊이 지도(depth maps)는 오류로 가득했습니다. 하지만 빛의 스펙트럼 중 아주 작은 조각(약 10 나노미터 너비)만을 통과시키는 필터를 추가하자 결과는 극적으로 변했습니다. "질감이 없는" 물체들이 갑자기 풍부하고 입자감이 있는 질감을 드러냈습니다. 이제 카메라는 어느 부분이 초점이 맞고 어느 부분이 초점이 맞지 않는지를 명확히 볼 수 있었고, 이를 통해 물체의 상세한 3D 형상을 재구성할 수 있었습니다.

이 논문은 이 방식이 햇빛이나 실내 천장 조명과 같은 일반적인 일상 조명 아래에서도 작동함을 보여줍니다. 특수한 레이저 프로젝터나 어두운 방이 필요하지 않습니다. "질감"은 이미 그곳에 있었고, 빛의 파동 성질 속에 숨겨져 있었으며, 적절한 필터가 나타나기를 기다리고 있었던 것입니다.

트레이드오프와 미래

물론, 대가가 따릅니다. 아주 좁은 색상 조각만을 통과시키는 필터는 많은 양의 빛을 차단하기도 합니다. 이는 카메라 이미지를 어둡게 만들어, 이미지가 너무 어두울 경우 보기 어렵게 만들 수 있습니다(신호 대 잡음비가 낮은 문제). 연구진은 이를 해결하기 위해 카메라 셔터를 조금 더 오래 열어 더 많은 빛을 받아들이기만 하면 된다는 것을 발견했습니다. 이미지가 약간 노출 부족이더라도, 새로운 질감이 매우 강력하기 때문에 카메라는 여전히 깊이를 파악할 수 있습니다.

또한 논문은 이 기술이 작동하지 않는 경우도 지적합니다. 만약 물체가 빛을 통과시켜 내부에서 산란시키는 재질(왁스나 반투명 플라스틱 등)로 만들어졌다면, 빛의 "춤"이 흐려져 질감이 사라집니다. 마찬가지로, 광원이 매우 크고 확산되어 있다면(거대한 구름 낀 하늘처럼), 스펙클 패턴이 너무 약해져서 보이지 않게 됩니다. 하지만 대부분의 고체 불투명 물체에 대해서는 이 방법이 유효합니다.

이 발견은 컴퓨터 비전에서 "질감"의 정의가 대폭 업데이트되어야 함을 시사합니다. 우리는 단순히 표면의 페인트나 굴곡을 찾는 것이 아니라, 거의 모든 거친 표면에 존재하는 숨겨진 파동 기반의 질감을 찾을 수 있습니다. 간단하고 저렴한 필터를 사용함으로써, 우리는 이전에는 매핑이 불가능하다고 여겨졌던 장면에서 깊이를 보는 능력을 잠금 해제할 수 있습니다. 이는 때때로 문제의 답이 더 복적인 기계가 아니라, 빛을 바라보는 약간 다른 방식에 있다는 것을 상기시켜 줍니다.