Evaluation of Smoothing Functions in Generalized Additive Models Applied to the Relative Abundance of Green Turtle (Chelonia mydas)

당신은 특정 해역에 얼마나 많은 물고기가 나타날지 예측하려고 한다고 상상해 보세요. 단순히 그래프 위에 직선을 그릴 수도 있을 것입니다. "물이 따뜻해지면, 더 많은 물고기가 온다"라고 말이죠. 하지만 자연은 결코 직선이 아닙니다. 자연은 무질서하고, 울퉁불퉁하며, 놀라움으로 가득 차 있습니다. 때로는 엄청난 물고기 떼를 보기도 하고, 어떤 때는 물속이 텅 비어 있기도 합니다. 바로 여기서 "일반화 가법 모델(Generalized Additive Models, 이하 GAMs)"이라는 특별한 종류의 수학이 등장합니다. GAMs를 자연의 구불구불하고 예측 불가능한 경로를 따라 휘어지고 뒤틀릴 수 있는, 매우 똑똑하고 유연한 자라고 생각해보세요. 단순히 모든 것을 직선으로 강요하는 것이 아니라 말입니다.

하지만 이 유연한 자를 올바르게 사용하려면, 당신의 데이터가 어떤 종류의 "소음(noise)"을 내고 있는지 알아야 합니다. 데이터가 차분하고 일정한 드럼 비트처럼 움직이고 있나요? 아니 아니면 갑작스럽고 큰 충돌이 발생하는 혼란스러운 재즈 세션 같은가요? 통계학에서는 이를 "분포 가족(distribution family)"을 선택하는 것이라고 부릅니다. 만약 잘못된 것을 선택한다면—예를 들어, 들쭉날쭉한 산을 평평한 자로 측정하려 한다면—곡선의 모양은 맞출 수 있을지 몰라도 그 데이터가 말하고자 하는 이야기를 완전히 오해하게 될 것입니다. 이 논문은 어린 녹색 바다거북의 수를 정확히 세기 위해 완벽한 수학적 도구를 찾아가는 탐정 이야기입니다. 단순히 숫자를 보는 것을 넘어, 거북이의 삶을 진정으로 이해하기 위한 여정입니다.

---

거북이 계수 미스터리

브라질 이타피루바 노르테(Itapirubá Norte) 해변의 암석이 많고 햇빛이 내리쬐는 바다에서, 과학자 팀은 어린 녹색 바다거북(Chelonia mydas)을 면밀히 관찰해 왔습니다. 이 어린 거북들은 마치 바다의 호기심 많은 십 대들처럼, 숨을 쉬고, 해초를 먹고, 시간을 보내기 위해 나타납니다. 2021년부터 관찰자들은 해안을 따라 네 개의 서로 다른 스테이션에서 이들을 관찰하며, 특정 시점에 정확히 몇 마리가 나타나는지를 기록해 왔습니다.

문제는 데이터가 다소 엉망이었다는 점입니다. 데이터에는 "0"(거북이가 관찰되지 않은 시간)과 "스파이크"(갑자기 거대한 무리가 나타난 시간)가 가득했습니다. 또한 데이터는 "과분산(overdispersed)"되어 있었습니다. 이는 단순한 평균보다 숫자가 훨씬 더 넓게 퍼져 있고 혼란스럽다는 것을 의미하는 전문 용어입니다. 연구진은 시간, 온도, 조석, 바람과 같은 요인들을 사용하여 거북이들이 왜 그때 나타났는지를 이해하기 위한 모델을 구축하고 싶었습니다. 하지만 이를 위해서는 두 가지 퍼즐을 풀어야 했습니다. 어떤 수학적 형태가 데이터를 가장 잘 설명하는가? 그리고 어떤 유연한 자(매끄럽게 만드는 함수, smoothing function)가 곡선을 가장 정확하게 그려내는가?

위대한 분포의 대결

먼저, 팀은 거북이의 수를 묘사하는 최선의 방법을 찾아야 했습니다. 그들은 데이터에 대해 네 가지 서로 다른 수학적 "의상"을 테스트했습니다:

1. 정규 분포(Normal Distribution): 데이터가 종 모양의 곡선처럼 완벽하게 대칭이라고 가정합니다.
2. 로그 정규 분포(Log-normal Distribution): 왜곡된 데이터를 더 잘 다루지만, 여전히 연속적인 데이터로 취급합니다.
3. 포아송 분포(Poisson Distribution): 무언가를 세는 데 흔히 쓰이는 선택이지만, 평균과 분산이 정확히 같다고 가정합니다.
4. 음이항 분포(Negative Binomial Distribution): 분산이 평균보다 훨씬 클 수 있도록 허용하는 더 유연한 옵션입니다.

결과는 명확했습니다. 정규와 포아송 의상은 형편없는 적합도를 보였습니다. 특히 포아송 모델은 거북이 데이터가 너무 "과분산"되어 있었기 때문에 처참하게 실패했습니다. 분산은 13.65였던 반면 평균은 2.93에 불과했습니다. 이 혼란스러운 데이터를 포아송 상자에 억지로 끼워 넣으려는 것은 마치 사각형 못을 둥근 구멍에 박으려는 것과 같았습니다. 이는 결과를 왜곡했고, 과학자들이 실제보다 더 확신하고 있다고 착각하게 만들었습니다. 로그 정규 분포는 더 나았지만 여전히 완벽하지는 않았습니다.

승자는 음이항 분포였습니다. 이 분포만이 "제로 팽창(zero-inflation, 빈 관찰 기록이 많은 현상)"과 "두꺼운 꼬리(heavy tails, 드물게 나타나는 거대한 무리)"를 힘들이지 않고 처리할 수 있었습니다. 이 분포를 사용함으로써 모델은 마침내 추측을 멈추고 거북이 삶의 혼란스러운 현실을 정확하게 반영할 수 있었습니다.

유연한 자의 경주

올바른 의상을 갖춘 후, 팀은 곡선을 그릴 적절한 "자"를 선택해야 했습니다. GAM의 세계에서 이 자들은 "매끄럽게 만드는 함수(smoothing functions)"라고 불립니다. 그들은 네 가지 유형을 테스트했습니다:

• 박판 회귀 스플라인(Thin Plate Regression Splines, TPS): 모든 방향으로 매끄럽게 휘어지는 유연한 금속판과 같습니다.
• 큐빅 회귀 스플라인(Cubic Regression Splines, CRS): 큐빅 수학으로 만들어진 일련의 매끄럽게 연결된 곡선과 같습니다.
• 페널티 스플라인(Penalized Splines, P-splines): 곡선이 너무 구불구불해지는 것을 방지하기 위해 "브레이크"를 거는 방식입니다.
• 적응형 스플라인(Adaptive Splines): 가장 똑똑한 자로, 데이터가 까다로운 곳에서는 딱딱하게, 다른 곳에서는 매우 유연하게 변할 수 있습니다.

연구 결과, 모든 것에 적용되는 단 하나의 "최고의 자"는 없었습니다. 대신, 최선의 선택은 거북이가 무엇에 반응하느냐에 따라 달랐습니다:

• 시간과 온도: '일수(Days)'나 '온도'와 같은 변수의 경우, 적응형 스플라인이 챔피언이었습니다. 이러한 요인들은 예측 불가능하게 급증하며, 적응형 자는 데이터가 필요한 곳에서 정확히 휘어질 수 있어 거북이 행동의 갑작스러운 변화를 포착해 냈습니다.
• 파도와 바람: '파고(Wave Height)'나 '풍속(Wind Speed)'과 같은 요소에는 큐빅 회귀 스플라인이 가장 효과적이었습니다. 이러한 요인들은 비교적 점진적으로 변하는 경향이 있으므로, 매끄럽고 꾸준한 곡선이 완벽하게 들어맞았습니다.
• 풍향: 북풍-남풍 및 동풍-서풍 성분의 바람에 대해서는 박판 스플라인이 왕좌를 차지했습니다. 풍향은 2차원 원형(어디로든 갈 수 있음)이기 때문에, 박판 자만이 혼란 없이 매끄럽게 지도를 그릴 수 있었습니다.

최종 판결

음이항 분포와 이러한 특화된 매끄러운 자들을 혼합하여, 연구진은 수학적으로 견고하면서도 생태학적으로 진실된 모델을 구축했습니다. 그들은 거북이의 존재가 단순히 무작위적인 것이 아니라, 환경과의 복잡하고 비선형적인 관계에 의해 결정된다는 것을 발견했습니다. 거북이는 단순히 "열이 많으면 = 거북이가 많아진다"는 식의 반응을 보이는 것이 아닙니다. 대신, 온도와 조석의 특정 임계값과 갑작스러운 변화에 반응하며, 파도 패턴과 바람은 보다 꾸준한 배경 영향으로 작-용합니다.

이 연구는 자연을 이해하고 싶다면 단 하나의 정답만을 사용하는 접근법을 써서는 안 된다는 것을 확인시켜 줍니다. 당신의 수학적 도구를 데이터의 고유한 특성에 맞춰야 합니다. 이 경우, "음이한 분포"라는 의상과 "믹스 앤 매치(mix-and-match)" 방식의 유연한 자들을 통해 과학자들은 거북이의 이야기를 명확하게 볼 수 있었으며, 거북이의 서식지가 자원과 기회가 역동적이고 조각난 모자이크 형태를 띠고 있음을 밝혀냈습니다. 이는 과학에서 적절한 도구를 선택하는 것이 흐릿한 잔상을 보는 것과 전체 그림을 보는 것 사이의 차이를 만든다는 사실을 상기시켜 줍니다.