DRL-Based Adaptive Routing for Energy-Efficient and Reliable Underwater Wireless Sensor Networks

햇빛이 희미해지고 인간의 발길이 드문 해양 표면 아래에서는 데이터 수집의 조용한 혁명이 일어나고 있습니다. 과학자들은 오염 수준부터 산호초의 건강 상태에 이르기까지 모든 것을 모니터링하기 위해 소형 배터리 구동 센서 네트워크를 배치합니다. 이 장치들은 물이 전파를 거의 즉각적으로 흡수하기 때문에 우리의 휴대전화 신호를 전달하는 라디오파에 의존할 수 없습니다. 대신, 이들은 어두운 바닷속으로 음향 펄스를 보내 정보를 전달하며 소리를 이용해 서로 대화해야 합니다. 이러한 통신 방식은 본질적으로 어렵습니다. 소리는 느리게 이동하고, 물속은 소음이 심하며, 센서 자체의 에너지도 매우 제한적이기 때문입니다. 일단 바다에 투입된 센서는 쉽게 충전하거나 교체할 수 없습니다. 센서의 전원이 다하면 침묵하게 되고, 데이터 경로가 차단되면 정보는 영원히 사라집니다. 엔지니어들의 핵심 과제는 이 수중 네트워크를 가능한 한 오랫동안 살아있게 하고 대화를 유지하며, 남은 몇 안 되는 노드들의 배터리를 소모하지 않고도 모든 데이터 비트가 표면에 도달하도록 하는 시스템을 만드는 것입니다.

최근 연구에서 연구원 지샨 라시드(Zeeshan Rasheed), 샤하다드 아슈라프(Shahzad Ashraf), 무함마드 주나이드 라바니(Muhammad Junaid Rabbani)는 센서들이 누가 메시지를 운반할지에 대해 더 현명한 선택을 하도록 가르침으로써 이 문제를 해결했습니다. 그들은 심층 강화 학습(deep reinforcement learning)이라는 일종의 인공지능을 기반으로 한 새로운 라우팅 방법을 개발했습니다. 간단히 말해, 이것은 경험으로부터 배우는 시스템입니다. 다음 메시지를 어떤 이웃에게 전달해야 할지 결정해야 하는 센서 노드를 상상해 보십시오. 이 새로운 시스템은 고정되고 미리 작성된 규칙을 따르는 대신, 실시간으로 이웃들을 평가합니다. 이 시스템은 각 이웃의 남은 배터리 전력, 둘 사이의 음향 연결이 얼마나 명확한지, 메시지가 표면을 향해 얼마나 진전하고 있는지, 그리고 앞길이 더 이상의 이웃이 존재하지 않는 막다른 길으로 이어질 가능성이 있는지 등을 살펴봅니다. 그런 다음 시스템은 메시지를 빠르게 이동시켜야 하는 필요성과 미래를 위해 에로지를 아껴야 하는 필요성 사이에서 균의를 맞추며, 데이터를 전달할 단 하나의 최적의 이웃을 선택합니다.

연구진은 물의 움직임, 환경 소음, 센서의 무작위 배치 등 복잡한 해양 조건을 모사한 상세한 컴퓨터 시뮬레이션에서 이 접근 방식을 테스트했습니다. 그들은 단순한 거리 기반 규칙부터 다른 고급 학습 시스템에 이르기까지 9가지의 기존 라우팅 전략과 이 새로운 방법을 비교했습니다. 결과는 새로운 접근 방식의 명확한 우위를 보여주었습니다. 100개의 센서 노드가 포함된 시뮬레이션에서, 제안된 방법은 모든 메시지의 93.26%를 표면에 성공적으로 전달했습니다. 이는 85.70%만을 전달한 차순위 학습 기반 방법보다 유의미한 개선이었습니다. 더 중요한 것은, 새로운 방법이 네트워크의 에너지를 보존하는 데 훨씬 더 뛰어났다는 점입니다. 시뮬레이션이 끝날 무렵, 이 새로운 시스템을 사용하는 센서들은 원래 배터리 전력의 87.732%가 남아 있었던 반면, 다른 방법들은 훨씬 더 많은 에너지를 소비했습니다. 이러한 효율성 덕분에 이 네트워크는 실패하기 전까지 662.6회의 데이터 전송 라운드를 수행할 수 있었으며, 이는 가장 근접했던 경쟁자의 625 라운드와 비교됩니다.

이 시스템의 성공은 수중 네트워크를 괴롭히는 흔한 함정들을 피하는 능력에서 기인합니다. 오래된 방식들은 표면에 가장 가깝거나 신호가 가장 강한 특정 센서들을 메시지 전달을 위해 자주 선택하여, 해당 노드들을 빠르게 방전시키고 네트워크에 공백을 만들곤 했습니다. 그러나 새로운 학습 기반 시스템은 특정 노드에 과도한 업무가 집중되는 것을 능동적으로 방지합니다. 또한 이 시스템은 적절한 다음 단계로 나아갈 이웃이 존재하지 않는 영역인 '보이드(voids, 공백)'를 인식하고 피하는 법을 배웁니다. 이러한 막다른 길로 이어지거나 약하고 잡음이 심한 연결에 의존하는 선택에 불이익을 줌으로써, 시스템은 데이터가 정체되거나 손실되지 않고 계속 앞으로 나아가도록 보장합니다. 연구에 따르면 이 세심한 선택 과정은 다른 학습 기반 방법들에 비해 보이드로 인한 메시지 실패 횟수를 거의 절반 가까이 줄였습니다. 나아가, 시스템은 평균 지연 시간을 단 0.982초로 유지하며 데이터를 더 빠르게 전달하여, 1.1초 이상의 지연 시간으로 고전하던 다른 방법들을 앞질렀습니다.

이 새로운 방법이 왜 그렇게 잘 작동했는지 정확히 이해하기 위해, 연구진은 시스템의 특정 부분을 하나씩 제거하며 일련의 테스트를 수행했습니다. 남은 배터리 전력을 확인하는 부분을 제거했을 때 네트워크의 수명이 크게 감소했습니다. 음향 연결의 품질을 평가하는 부분을 제거했을 때는 메시지 손실 수가 증가했습니다. 변화하는 조건에 따라 이러한 다양한 우선순위의 균형을 맞추는 법을 배우는 부분을 제거했을 때, 전체적인 성능은 최저점으로 떨어졌습니다. 이러한 테스트들은 단 하나의 요소만으로는 충분하지 않으며, 시스템의 성공이 에너지 인식, 신호 품질, 속도 및 위험 평가의 지능적인 결합에 달려 있음을 확인시켜 주었습니다. 연구진은 또한 새로운 방법이 각 센서가 결정을 내리는 데 약간 더 많은 시간(단순한 방법들의 0.35밀리초에 비해 약 0.60밀리초)을 필요로 한다는 점에 주목했지만, 이 미세한 지연은 신뢰성과 배터리 수명에서의 막대한 이득을 위한 가치 있는 절충안이라고 밝혔습니다.

연구는 또한 수온과 염도 같은 환경적 요인이 이러한 네트워크에 어떤 영향을 미치는지 탐구했습니다. 연구진은 온도 변화가 소리의 전달에 가장 큰 영향을 미치며, 염도가 그 뒤를 바짝 쫓는다는 것을 발견했습니다. 그들의 시스템은 이러한 변화에 적응하도록 설계되어, 현재의 음향 링크 신뢰성에 따라 선택을 조정합니다. 소음이 높거나 불안정한 조건 등 환경이 더 까다로워지는 시뮬레이션에서도, 새로운 방법은 높은 전달률을 유지한 반면 다른 프로토콜들은 어려움을 겪으며 더 자주 실패했습니다. 이러한 견고함은 이 시스템이 현재의 기술들보다 예측 불가능한 실제 해양 상황을 더 잘 다룰 수 있음을 시사합니다. 연구진은 결론적으로, 이러한 적응형 학습 기반 접근 방식을 사용함으로써 수중 센서 네트워크를 훨씬 더 신뢰할 수 있고 오래 지속되게 만들 수 있으며, 이를 통해 수집된 중요한 데이터가 네트워크가 에너지 고갈로 붕착하기 전에 표면의 과학자들에게 도달할 수 있도록 보장할 수 있다고 밝혔습니다. 비록 이 결과들은 시뮬레이션을 통해 달성되었으나, 저자들은 다음 단계로 실제 하드웨어에서 이러한 발견을 테스트하여 배터리 절감 효과와 전달률이 물리적 세계에서도 유지되는지 확인해야 한다고 제언했습니다.