Closing the loop on-sky with a vector-Zernike wavefront sensor using a convolutional neural network as phase reconstructor

우주의 흐릿함과 스마트 카메라

물결치듯 열기로 일렁이는 창문 뒤에 서서 멀리 있는 반딧불이를 아주 선명하게 찍으려고 노력하는 모습을 상상해 보세요. 그것이 바로 천문학자들이 지구에서 별과 행성을 바라볼 때 직면하는 상황입니다. 우리의 대기는 끊임없이 움직이고 빛을 굴절시키는 공기의 소용돌이치는 수프와 같아서, 날카로운 빛의 점들을 흐릿한 덩어리로 만들어 버립니다. 이를 해결하기 위해 과학자들은 "적응 제어 광학(adaptive optics)"이라는 첨단 기술을 사용합니다. 이것은 마치 스스로의 렌즈(가변형 거울)를 초당 수백 번씩 즉각적으로 변형시켜 공기의 흔들림을 상쇄하고, 이미지를 원래의 선명도로 복원하는 마법 같은 카메라와 같습니다.

하지만 렌즈를 수정하기 위해서는 카메라가 먼저 공기가 어떻게 흔들리고 있는지 알아야 합니다. 이것이 바로 빛의 왜곡을 측정하는 특수 눈인 "파면 센서(wavefront sensor)"의 역할입니다. 가장 민감한 센서 중 일부는 아주 작은 흔들림도 기가 막히게 잡아내지만, 재미있는 특징이 하나 있습니다. 공기가 너무 요동치면 이 센서들이 혼란에 빠진다는 점입니다. 이는 마치 숫자 1부터 12까지만 있는 시계와 같습니다. 시계 바늘을 너무 빨리 돌리면 숫자가 다시 처음으로 돌아가 버려서, 바늘을 앞으로 돌렸는지 뒤로 돌렸는지 알 수 없게 되는 것과 같습니다. 이러한 "래핑(wrapping, 되감기)" 문제는 대기가 매우 격렬할 때 이 초민감 센서들이 보통 작동을 멈추고 카메라가 다시 눈이 멀게 된다는 것을 의미합니다. 과학자들이 던져온 질문은 이것입니다. "우리가 컴퓨터에게 혼란에 빠진 센서를 보고, 숫자가 되감겨 있더라도 실제 상황이 어떠한지 파악하도록 가르칠 수 있을까?"

논문의 핵심 아이디어: 하늘을 펼쳐보는 법을 배우는 로봇

"벡터-제르니케 파면 센서를 사용하는 컨볼루션 신경망 기반의 위상 재구성기를 이용한 온스카이 루프 폐쇄(Closing the loop on-sky with a vector-Zernike wavefront sensor using a convolutional neural network as phase reconstructor)"라는 제목의 이 논문은 컴퓨터에게 그 래핑 퍼즐을 푸는 법을 가르치는 이야기에 관한 것입니다. F. Oyarzún과 동료들이 이끄는 연구진은 "컨볼루션 신경망(CNN)"이라 불리는 인공지능의 한 종류를 사용하기로 했습니다. CNN을 하나의 단서만 보는 것이 아니라, 전체 그림을 스캔하여 맥락을 이해하는 아주 똑똑한 탐정이라고 생각하면 됩니다.

과거에 과학자들은 센서의 신호를 거울의 보정 값으로 변환하기 위해 단순한 선형 수학을 사용했습니다. 이는 공기가 잔잔할 때는 잘 작동했지만, 난류가 강해지면 "래핑" 문제 때문에 수학적 모델이 무너졌습니다. 연구팀은 새로운 접근 방식을 제안했습니다. 단순한 수학을 사용하는 대신, 신경망이 센서의 전체 이미지를 보고 왜곡의 형태를 추측하도록 훈련시킨 것입니다. 이는 아이에게 눈과 코를 개별적으로 세는 법이 아니라, 얼굴 전체를 한꺼번에 보고 얼굴을 인식하도록 가르치는 것과 같습니다.

이를 위해 연구팀은 단순히 데이터를 컴퓨터에 던져준 것이 아닙니다. 그들은 매우 상세한 가상 망원경 및 대기 모델을 구축하여, AI를 훈련시키기 위한 수천 개의 가짜 "난류가 심한 밤" 데이터를 생성했습니다. 또한 "커리큘럼 학습(curriculum learning)"이라는 특별한 훈련 기법을 사용했는데, 이는 AI에게 쉬운 평온한 밤부터 시작하여 점차 폭풍우가 치는 혼란스러운 밤으로 난이도를 높여가는 방식입니다. 또한, 천문학에서는 아주 작은 오차도 이미지를 망칠 수 있기 때문에, 미세한 디테일을 정확히 맞추는 데 중점을 둔 새로운 방식의 AI 숙제 채점법을 고안했습니다.

하늘 테스트: 시뮬레이션에서 현실로

진정한 시험은 연구진이 프랑스의 오트 프로방스 천문대(Observatoire de Haute-Provence)에서 실제 하늘을 대상으로 실험할 때 찾아왔습니다. 그들은 희미한 별을 보기 위해 설계된 초민감한 눈인 "벡터-제르니케 파면 센서(v-ZWFS)"가 장착된 망원경에 이 새로운 시스템을 연결했습니다. 목표는 공기가 거칠 때—기존의 단순한 수학 방식이 완전히 실패했을 법한 조건에서—AI가 망원경의 거울을 안정적이고 선명하게 유지할 수 있는지 확인하는 것이었습니다.

결과는 흥격적이었습니다. 시뮬레이션에서 AI는 기존의 선형 방식이 감당할 수 있는 것보다 80배나 더 강력한 난류 수준도 처리할 수 있었습니다. 실제 하늘에서 작동시켰을 때도 AI는 그 가치를 증명했습니다. 기존의 선형 방식이 포기하고 이미지가 흐릿해졌던 여러 사례에서, AI는 루프를 계속 유지하며 선명하고 깨끗한 이미지를 만들어냈습니다.

특히 인상적인 테스트 중 하나는, 이 민감한 센서를 첫 번째 단계의 센서로부터 아무런 도움 없이 단독 가이드로 사용하여 대기의 온전한 힘을 마주하게 한 것이었습니다. 보통 난류가 너무 강하기 때문에 이는 불가능한 일입니다. 하지만 AI를 통해 그들은 46.2%의 선명도 점수(스트렐 비(Strehl ratio)라고 불림)를 얻어냈습니다. 이는 기존 방식으로 2단계 시스템을 사용했을 때와 거의 맞먹는 수준이었습니다. 실제로 많은 경우에서 AI는 기존 방식보다 뛰어난 성능을 보여주며, 두 방식 모두 작동할 때의 스트렐 비 22.0%에 비해 32.7%라는 더 선명한 이미지를 만들어냈습니다.

이것이 갖는 의미

이 논문은 컴퓨터 시뮬레이션에서 완전히 훈련된 신경망을 사용함으로써, 초민감 센서의 유효 범위를 원래 설계된 한계 훨씬 너머까지 확장할 수 있음을 보여줍니다. 저자들은 AI가 단순히 추측한 것이 아니라, 혼란스러운 신호를 성공적으로 "언래핑(unwrapped, 펼침)"하여 망원경이 이전보다 훨씬 강한 난류를 보정할 수 있게 했다는 점을 밝혀냈습니다.

연구진은 이러한 조건에서 단순한 선형 수학만으로는 충분하지 않다는 점을 명확히 규명했습니다. 논문은 큰 왜곡이 발생할 때 선형 방식은 수렴에 실패하는 반면, 비선형 AI는 성공한다는 것을 입증했습니다. 이러한 결과에 대한 신뢰도는 매우 높은데, 이는 단순히 시뮬레이션에 그치지 않고 실제 하늘의 데이터로 증명되었기 때문입니다. 연구진은 이것이 단순한 개선이 아니라, 미래의 거대 망원경들이 가장 거친 밤에도 자신들의 가장 민감한 눈을 사용할 수 있게 하여, 희미하고 먼 세계를 발견할 수 있는 새로운 가능성을 열어주는 근본적인 변화라고 제안합니다.