Astro-Hunters: Machine Learning for Exoplanet Transit Detection in TESS Photometry

우리 태양계 너머의 세계를 찾는 탐색은 인간의 눈이 더 이상 따라갈 수 없는 지점에 도달했습니다. TESS와 같은 우주 망원경은 하늘을 스캔하며 몇 분마다 수천 개의 별의 밝기를 기록하며, 어떤 천문학자도 한 줄씩 읽어낼 수 없을 만큼 방대한 데이터의 홍수를 생성합니다. 이 빛의 흐름 속에서, 행성이 별 앞을 지나갈 때 밝기가 아주 미세하고 주기적으로 떨어지는 현상이 발생합니다. 이러한 밝기 저하를 찾아내는 것이 새로운 행성을 발견하는 주요 방법이지만, 그 신호는 종종 항성의 활동이나 기기의 특이한 노이즈 속에 깊이 파묻혀 있습니다. 수년간 표준적인 접근 방식은 컴퓨터 알고-리즘을 사용하여 이러한 밝기 저하를 추적하는 것이었으며, 종종 머신러닝에 의존하여 좋은 후보와 나쁜 후보를 분류해 왔습니다. 그러나 새로운 연구는 이러한 컴퓨터 프로그램의 성공 여부가 알고리즘이 얼마나 영리한가보다는, 애초에 컴퓨터가 행성을 인식하도록 어떻게 교육되었는지에 훨씬 더 많이 달려 있다고 제안합니다.

이 연구의 배후에 있는 연구자 파티마 에마드 엘딘(Fatimah Emad Eldin)은 TESS 미션의 데이터에서 행성을 찾는 완전한 시스템을 구축했습니다. 그들은 특정 과제에 집중했습니다. 즉, 여러 궤도를 거치며 반복되는 패턴을 기다리는 대신, 별의 빛을 찍은 단 한 번의 스냅샷에서 행성 통과(transit)를 포착하는 것입니다. 이는 매우 어려운 작업인데, 단 한 번의 스냅샷은 너무 작은 밝기 저하를 보여주어 마치 무작위적인 정적(static)처럼 보일 수 있기 때문입니다. 컴퓨터를 훈련시키기 위해 연구팀은 확인된 행성을 보유한 12개의 알려진 항성계로부터 광도 곡선(light curves)을 수집했습니다. 그런 다음 그들에게 '행성 통과'가 이 데이터에서 어떻게 보이는지를 가르쳐야 했습니다. 여기서 연구는 결정적인 전환점을 맞이했습니다. 연구팀은 자신들의 훈련용 레이블(label)이 완벽하다고 가정하는 대신, 어떤 종류의 토양이 가장 좋은 작물을 키우는지 테스트하는 과학자가 토양의 종류를 테스트하는 것처럼, 레이블의 출처를 테스트해야 할 변수로 취급했습니다.

그들이 발견한 결과는 놀라웠습니다. 행성 탐색 기계의 성능은 훈련 데이터가 어떻게 레이블링되었는지에 따라 완전히 요동쳤습니다. 연구팀이 잘못된 방식으로 레이블을 생성했을 때, 즉 컴퓨터가 방금 본 패턴을 바탕으로 스스로 답을 추측하게 했을 때, 기계는 거의 완벽한 결과를 기록하며 천재처럼 보였습니다. 하지만 이것은 환상에 불과했습니다. 컴퓨터는 단순히 자신이 작성한 규칙을 암기하고 있었을 뿐이며, 이는 실제 행성과는 아무런 상관이 없는 순환 논리였습니다. 또 다른 테스트에서는 올바른 천문 데이터를 사용했지만, 시간 계산에서 단순한 실수를 범하여 예상되는 통과 창(transit window)을 수천 일만큼 이동시켰습니다. 이 경우 기계는 무작위 확률보다 나을 바가 없었으며, 행성을 전혀 찾지 못했습니다. 이 두 극단적인 사례는 훈련 데이터의 선택이 기계의 성공률을 29배까지 변화시킬 수 있음을 보여주었으며, 이는 기계 자체의 설계 변경보다 훨씬 큰 차이였습니다.

연구진이 이러한 오류들을 바로잡고, 행성이 별 앞을 지나가야 하는 정확한 순간을 표시하기 위해 검증된 정밀한 천문 기록을 사용했을 때, 기계는 마침내 제 역할을 학습했습니다. 기계는 정직하고 유용한 수준의 정확도로 통과 신호를 식별할 수 있었지만, 완벽하지는 않았습니다. 최상의 훈련을 거친 경우에도 기계는 높은 벽에 부딪혔습니다. 연구는 조사된 대부분의 별에 대해, 단 한 번의 스냅샷에서 오는 신호는 높은 신뢰도로 구분해내기에는 너무 희미하다는 것을 드러냈습니다. 데이터에 따르면 단 한 번의 별 밝기 측정값은 신호 대 잡음비(signal-to-noise ratio)가 2를 약간 상회했는데, 이는 행성에 의한 밝기 저하가 별 자체의 자연스러운 떨림보다 간신히 더 큰 수준임을 의미합니다. 아무리 똑똑한 소프트웨어도 이러한 물리적 한계를 극복할 수 없었습니다. 즉, 단 한 번의 스냅샷에는 정보 자체가 들어있지 않았던 것입니다.

그 후 연구진은 머신러닝 방식과, 숨겨진 패턴을 드러내기 위해 여러 스냅샷을 쌓아 올리는 방식인 고전적인 비머신러닝 방법인 '박 최소 제곱법(Box Least Squares)'을 비교했습니다. 알려진 궤도 주기에 따라 데이터를 접는(folding) 것에 의존하는 이 오래된 방식은, 단일 스냅샷 신호가 너무 약해 어떤 머신러닝 분류기도 감지할 수 없었던 12개 항성계 중 8개의 궤도 주기를 성공적으로 회복했습니다. 이 결과는 이러한 행성을 찾는 핵심이 더 강력한 컴퓨터가 아니라, 여러 약한 신호를 하나의 강한 신호로 결합하는 행위에 있다는 것을 확인시켜 주었습니다. 적절히 훈련된 머신러닝 모델은 잠재적 이벤트를 알리는 유용한 도구로 쓰일 수는 있지만, 데이터를 시간의 흐름에 따라 접어 신호를 가시화하는 근본적인 과정을 대체할 수는 없었습니다.

궁극적으로, 이 연구는 외계 행성을 찾는 데 있어 가장 중요한 단계는 알고리즘의 정교함이 아니라, 그것을 가르치는 데 사용되는 데이터의 무결성이라고 결론짓습니다. 연구자는 훈련용 레이블이 어떻게 생성되느냐에 따라 머신러닝 모델이 믿기 힘들 정도로 성공적이거나 혹은 완전히 쓸모없게 보일 수 있음을 입증했습니다. 또한 단일 시점의 통과를 포착하는 작업에 있어서는, 별의 빛이 얼마나 노이즈가 많은지에 의해 결정되는 물리적 한계가 존재함을 보여주었습니다. 가장 효과적인 길은 여전히 전통적인 방식입니다. 즉, 데이터를 사용하여 시간의 흐름에 따른 반복되는 패턴을 찾고, 그 과정에서 나타나는 후보들을 검증하기 위해 머신러닝을 사용하는 것입니다. 이 논문은 컴퓨터를 안내하는 레이블이 내부적인 추측이 아닌 실제 천문학적 사실에서 유도되도록 하여, 시스템을 올바르게 구축할 수 있는 명확한 로드맵을 제공하며, 신호는 데이터를 쌓아 올리는 인내 없이는 발견하기에 너무 희미할 수 있다는 점을 상기시켜 줍니다.