A Large-Depth-Range Layer-Based Hologram Dataset for Machine Learning-Based 3D Computer-Generated Holography

단순히 평면적인 그림을 보여주는 것이 아니라, 실제로 걸어 다닐 수 있는 떠다니는 빛의 파동을 만들어내는 3D 영화 프로젝터를 만드는 것을 상상해 보십시오. 이것이 바로 **컴퓨터 생성 홀로그래피(Computer-Generated Holography, CGH)**의 꿈입니다. 하지만 여기에는 함정이 있습니다. 빛의 파동이 어떻게 춤추고 굴절되는지 계산하는 것은 수학적으로 너무 복잡해서, 보통 슈퍼컴퓨터로도 엄청 오랜 시간이 걸립니다. 이는 마치 설탕 결정 하나하나의 정확한 분자 진동을 계산하여 케이크를 굽으려는 것과 같습니다. 실생활에 적용하기에는 너무 느린 것이죠.

최 최근 과학자들은 이 문제를 해결하기 위해 **머신러닝(ML)**을 사용하여 일종의 '속임수'를 쓰기 시작했습니다. 매번 무거운 수학 계산을 하는 대신, 수백만 개의 사례를 학습시켜 컴퓨터가 정답을 추측하도록 가르치는 것입니다. 하지만 문제가 하나 있었습니다. 컴퓨터에게 공부할 아주 좋은 교과서가 필요한데, 지금까지의 교과서들은 형편없었습니다. 너무 작고 단순했으며, 빛의 파동을 아주 좁고 얕은 상자 안에만 담아 보여주었기 때문입니다.

여기 KOREATECH-CGH 데이터셋이 등장했습니다. 이것은 3D 빛의 파동을 위한 "브리태니커 백과사전"이라고 생각하면 됩니다. 한국의 KOREATECH 연구진은 6,000쌍의 이미지로 구성된 거대한 라이브러리를 구축했습니다. 각 쌍은 표준 3D 사진(색상과 깊이 포함)과 그에 대응하는 "홀로그램 레시피"(복잡한 파동 패턴)로 이루어져 있습니다.

핵심적인 돌파구: 깊이를 더하다

기존의 교과서들(유명한 MIT-CGH-4K와 같은)은 마치 연못을 보는 것과 같았습니다. 깊이가 고작 6mm에 불나지 않았을까요. 이는 동전 몇 개 두께에 불과합니다. 만약 그 안에 방 전체를 넣으려고 한다면, 방의 뒷부분은 그저 흐릿한 덩어리로 변해버릴 것입니다.

새로운 KOREATECH-CGH 데이터셋은 마치 대양으로 뛰어드는 것과 같습니다. 이 데이터셋은 최대 80mm(자 한 자 길이에 해당)의 깊이 범위를 커버합니다. 또한 256 × 256 픽셀의 작은 크기부터 거대한 2048 × 2048 픽셀에 이르기까지 네 가지 다른 크기로 제공됩니다. 이를 통해 연구자들은 단순히 평평하고 얕은 장면이 아니라, 실제로 깊고 넓은 장면을 처리하도록 AI를 훈련할 수 있습니다.

비법: "진폭 투영(Amplitude Projection)"

어떻게 이 깊은 홀로그램들을 이토록 선명하게 만들었을까요? 보통 여러 층의 빛을 쌓아 깊이를 만들려고 하면, 앞쪽 층이 뒤쪽 층을 가로막아 흐릿하게 만듭니다. 이는 마치 안개 낀 창문을 통해 책을 읽으려는 것과 같습니다. 안개가 가까울수록 뒤에 있는 글자를 읽기가 더 어려워지는 것과 같은 원리입니다.

연구팀은 **진폭 투영(Amplitude Projection)**이라는 새로운 기술을 발명했습니다. 당신이 3D 장면을 채색하고 있다고 상상해 보십시오. 앞쪽 층의 물감이 뒤쪽 층 위로 번지게 두는 대신, 이 기술은 마법의 지우개처럼 작동합니다. 각 특정 깊이 층에서의 빛의 "밝기"(진폭)를 지우고, 빛의 "방향"(위상)은 정확하게 유지하면서 해당 지점에 딱 맞는 완벽한 밝기로 대체하는 것입니다.

그 결과는 어떨까요? 홀로그램은 배경 깊숙한 곳에서도 믿기지 않을 정도로 선명하게 보입니다. 이 새로운 방법을 기존 방식들과 비교했을 때:

• 기존의 "실루엣 마스킹(Silhouette Masking)" 방식은 21.15 dB(PSNR)의 점수를 얻었습니다.
• 새로운 "진폭 투投影" 방식은 평균 23.99 dB를 기록했으며, 최고 27.01 dB에 도달했습니다.
• 구조적 유사성(SSIM) 측면에서는 평균 0.68에서 0.75로 뛰어올랐으며, 최고치는 0.87에 달했습니다.

이 수치들은 새로운 홀로그램이 이전 방식들보다 훨씬 더 선명하고 정확하다는 것을 의미합니다.

검증된 탈락 요소들

연구진은 다른 아이디어들도 신중하게 테스트했지만, 그들의 새로운 방식만큼 효과적이지 않다는 것을 발견했습니다.

• 링잉 아티팩트 감소(Ringing Artifact Reduction): 이미지 가장자리의 "지글거리는" 노이즈(링잉 현상)를 부드럽게 만드는 기술을 시도했습니다. 이는 일부 노이즈를 줄이는 데는 도움이 되었지만, 전반적인 이미지 품질은 오히려 기존 방식보다 약간 떨어뜨렸습니다.
• 에지 패딩(Edge Padding): 블러 현상을 막기 위해 이미지 가장자리에 "패딩"을 넣는 방법도 시도했습니다. 이는 레이어가 매우 적을 때는 도움이 되었지만, 이미지 중앙에 새로운 이상한 아티팩트를 유발하고 평균 품질 점수를 낮추었습니다.

이러한 이유로 연구진은 최종 데이터셋에 이러한 추가적인 수정 사항들을 포함하지 않기로 결정했습니다. 대신 깨끗하고 고품질인 진폭 투영 방식을 고수했습니다.

AI 테스트

이 데이터셋이 실제로 유용한지 증명하기 위해, 연구진은 이 새로운 라이브러리를 사용하여 세 가지 서로 다른 AI 모델을 처음부터 학습시켰습니다.

1. TensorHolography: 홀로그램을 생성하는 데 3.3ms가 걸리는 빠른 모델입니다.
2. U-Net: 2.8ms가 걸리는 표준 모델입니다.
3. Swin-Unet: 165ms가 걸리는 더 복잡한 모델이지만, 가장 높은 품질의 이미지를 생성합니다.

또한 저해상도 홀로그램을 고해상도로 만드는 초해상도(Super-Resolution) 모델도 테스트했습니다. 결과는 이 데이터셋이 이러한 AI 두뇌를 훈련시키는 데 매우 훌륭하다는 것을 보여주었습니다. 흥-미롭게도, AI 모델들은 기존의 얕은 데이터셋에서와 다르게 동작했습니다. 저자들은 이것이 새로운 데이터셋이 훨씬 더 어렵고 현실적이기 때문에, AI가 깊은 공간에서 빛이 어떻게 행동하는지에 대한 더 낫고 견고한 규칙을 학습하도록 강제했기 때문이라고 설명합니다.

결론

이 논문은 3D 홀로그래피를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 연구자들이 마침내 깊고 현실적인 3D 장면에 대해 AI를 훈련할 수 있도록 해주는 검증된 고품질 도구 세트(데이터셋)와 검증된 방법(진폭 투영)을 제공하는 것입니다. 기존 데이터셋의 "얕은 물" 제한을 제거함으로써, 연구진은 차세대 홀로그래픽 디스플레이가 가상 현실(VR)이나 증강 현실(AR)과 같은 분야에서 실현될 수 있는 훨씬 더 나은 기회를 마련해 주었습니다. 데이터는 공개되어 있고, 방법은 검증되었으며, 결과는 측정되었습니다. 이제 다음 세대의 혁신가들이 이를 이어받아 달려 나갈 준비가 되었습니다.