Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

당신의 자동차가 단순히 스스로 운전하는 것을 넘어, 주변의 모든 자동차, 신호등, 도로 표지판과 대화를 나누는 세상을 상상해 보십시오. 이것이 바로 사고를 예방하고 교통을 관리하기 위해 도로 위에서 벌어지는 고속 디지털 대화인 "차량 네트워크(Vehicular Networks)"의 미래입니다. 하지만 까다로운 점이 있습니다. 이 자동차들은 매우 빠르게 움직이고, 도로는 붐비며, 그들이 대화에 사용하는 "전파(airwaves)"는 차선이 몇 개 없는 혼잡한 고속도로와 같습니다. 만약 모두가 동시에 소리를 지른다면, 아무도 아무것도 들을 수 없게 됩니다. 이를 해결하기 위해 엔지니어들은 "클러스터링(clustering)"을 사용하는데, 이는 마치 자동차들을 작은 팀으로 묶고 "팀장(Cluster Head)"을 두어 대화를 조직하는 것과 같습니다. 연구자들이 답을 찾고자 하는 핵심 질문은 이것입니다: 이 팀장은 어떻게 최선의 대화 방식을 결정할 것인가? 팀원끼리 직접 소리를 지를 것인가(단거리 "사이드링크" 또는 D2D 모드), 아니면 중앙 타워에 전화를 걸어 메시지를 전달받을 것인가(셀룰러 또는 C-V2X 모드)? 그리고 얼마나 크게 소리 질러야 할까? 너무 크게 소리 지르면 이웃의 소리를 방해하게 되고, 너무 작게 소리 지르면 메시지가 유실됩니다.

이 논문은 바로 이 문제에 깊이 파고들어, 클러스터 팀장들이 어떻게 에너지를 낭비하지 않으면서도 신뢰할 수 있는 네트워크를 유지하기 위해 스마트하고 찰나의 결정을 내릴 수 있는지 묻습니다. 저자들은 "심층 강화 학습(Deep Reinforcement Learning)"을 이용한 솔루션을 제안하는데, 이는 본질적으로 비디오 게임 캐릭터가 수천 번의 플레이를 통해 레벨을 높여가는 과정처럼, 시행착오를 통해 배우는 컴퓨터 프로그램과 같습니다. 경직된 규칙을 따르는 대신, 이 AI는 교통 체증, 간섭, 변화하는 거리 등 혼돈의 상황에 적응하는 법을 배웁니다. 연구는 이러한 AI 팀장들이 환경으로부터 배우게 함으로써, 기존의 규칙 기반 방식보다 더 나은 선택을 하여 안전 메시지를 빠르고 신뢰성 있게 전달하면서도 배터리 전력을 절약할 수 있다고 제안합니다.

도로 위의 스마트한 팀장들

연구에서 연구진은 아이디어를 테스트하기 위해 가상의 고속도로 시뮬레이션을 설정했습니다. 그들은 2km 길이의 도로를 상상했으며, 자동차들은 초당 최대 31미터(시속 약 70마일)의 속도로 질주합니다. 이 디지털 세계에서 자동차들은 단순히 운전만 하는 것이 아니라, 서로의 거리에 따라 끊임없이 그룹, 즉 "클러스터(clusters)"를 형성하고 해체합니다. 각 클러스터에는 리더인 "클러스터 헤드(Cluster Head)"가 있으며, 이들의 임무는 그룹이 어떻게 통신할지를 결정하는 것입니다.

연구진은 이 리더들에게 **근사 정책 최적화(Proximal Policy Optimization, PPO)**라는 특정 유형의 AI를 사용하여 새로운 사고방식을 가르쳤습니다. PPO를 다양한 전략을 시도하고 피드백을 받으며 배우는 매우 규율 있는 학생이라고 생각하십시오. 이 경우 "학생"은 클러스터 헤드입니다. 헤드가 결정을 내릴 때마다 점수(보상)를 받습니다. 만약 메시지를 빠르고 신뢰성 있게 전달하기 위해 적절한 통신 모드와 전력 수준을 선택하면 높은 점수를 받습니다. 만약 지연을 발생시키거나 전력을 낭비하면 낮은 점수를 받습니다. 시간이 흐름에 따라 AI는 자동차들이 끊임없이 움직이고 다른 차량으로부터 발생하는 "소음"이 계속 변한다는 사실에 적응하며 완벽한 균형을 찾아냅니다.

위대한 통신 대결

이 AI 학습 방법이 실제로 작동하는지 확인하기 위해, 연구진은 PPO "학생"을 학습하는 뇌 없이 문제를 해결하려는 다섯 가지 다른 전략, 즉 "베이스라인(baselines)"과 맞붙였습니다.

1. 거리 추측가(The Distance Guessers): 이 전략들은 오직 자동차 사이의 거리만을 고려합니다. 평균 거리가 400미터 미만이면 서로 직접 소리를 지르고, 그렇지 않으면 타워에 전화를 겁니다. 이들은 실제 연결 품질이나 간섭에 대해서는 신경 쓰지 않습니다.
2. 전력 스케줄러(The Power Schedulers): 이들은 거리 추측가와 유사하지만, 거리에 따라 얼마나 크게 소리 지를지를 조금 더 똑똑하게 결정하려고 노력합니다.
3. "항상 타워에 전화하는" 팀: 이 전략은 직접적인 통신을 완전히 무시하고 항상 셀룰러 네트워크를 통해 메시지를 전달합니다.
4. 무작위 수다쟁이(The Random Chatter): 이 전략은 무슨 일이 일어날지 보기 위해 통신 모드와 전력 수준을 완전히 무작위로 선택합니다.

이 디지털 경주의 결과는 매우 흥ende로운 것이었습니다. PPO AI는 단순히 승리한 것이 아니라, 완전히 다른 방식으로 게임을 수행했습니다.

신뢰성: 안전망
이 네트워크의 가장 중요한 임무는 안전입니다. 논문은 "신뢰성", 즉 메시지가 성공적으로 도착하는 비율을 측정했습니다. PPO AI는 이 분야의 챔피언이었습니다. 25대의 자동차가 있는 시뮬레이션에서, PPO는 **100.0%**의 신뢰성을 달 기록했습니다. 100대의 자동차가 도로 위에 있는 상황에서도 신뢰성은 **99.750%**로 매우 높게 유지되었습니다. 반면, "거리 추측가"(학습하지 않는 방식)들은 고전했습니다. 자동차가 50대일 때 신뢰도는 **87.297%**로 떨어졌고, 100대일 때는 약 **94.971%**였습니다. "항상 타워에 전화하는" 전략은 훨씬 더 좋지 않았으며, 100대일 때 **67.469%**까지 떨어졌습니다. 무작위 전략은 가장 최악이었습니다. 논문은 AI가 직접 소리 지르는 것이 실패하는 "데드 존(dead zones)"과 타워에 전화하는 것이 너무 느려지는 "혼잡 구역"을 피하는 법을 배웠으며, 단순한 규칙이 놓친 최적의 지점을 찾아냈다고 시사합니다.

전력: 배터리 절약
여기서 이야기는 정말 흥미로워집니다. 보통 신뢰성을 높이려면 더 크게 소리 질러야(더 많은 전력을 사용해야) 합니다. "거리 추측가"와 "항상 타워에 전화하는" 전략들은 메시지를 강제로 전달하기 위해 18 dBm(특정 전력 단위)이라는 고정된 높은 볼륨으로 소리 질렀습니다.
그러나 PPO AI는 속삭이는 법을 배웠습니다. PPO는 거의 완벽한 신뢰성을 달성하면서도 훨씬 적은 전력을 사용했습니다. 자동차 25대일 때 평균 10.013 dBm을 사용했습니다. 자동차 100대일 때는 9.612 dBm으로 떨어졌습니다. 이는 고정 전력 베이스라인들에 비해 최대 8.39 dB나 적은 전력을 사용하는 엄청난 절감입니다. 논문은 AI가 단순히 운이 좋았던 것이 아니라, 더 크게 소리 지르는 것이 항상 정답은 아니라는 것을 배웠음을 보여줍니다. 적절한 시기에 적절한 모드를 선택함으로써, 안전을 희생하지 않고도 에너지를 절약한 것입니다.

속도와 효율성: 트레이드오프(Trade-off)
논문은 또한 "지연 시간(latency, 메시지가 도착하는 데 걸리는 시간)"과 "스펙트럼 효율성(spectral efficiency, 공중파에 얼마나 많은 데이터를 채울 수 있는지)"도 살펴보았습니다. 여기서 단순한 규칙들이 약간의 우위를 점했습니다. 거리 기반 전략들은 때때로 AI보다 아주 약간 더 빨랐고(100대 기준 AI의 8.702 ms 대비 약 7.45 ms), 더 많은 데이터를 밀어 넣었습니다.
하지만 저자들은 이러한 속도가 끔찍한 대가를 치렀다고 지적합니다. 훨씬 낮은 신뢰성과 훨씬 높은 전력 사용량이 그 대가였습니다. 단순한 규칙들은 마치 빠르게 달리지만 자기 발에 걸려 넘어지는 단거리 선수와 같았고, AI는 꾸준하고 신뢰할 수 있는 페이스를 유지하는 마라톤 선수와 같았습니다. 논문은 안전이 중요한 애플리케이션에서는 속도를 아주 조금 줄이는 것보다, 메시지가 반드시 도착하도록 보장하는 능력(신뢰성)과 전력을 아끼는 능력이 훨씬 더 가치 있다고 결론짓습니다.

앞으로의 길에 주는 의미

이 연구는 스마트 교통의 미래가 "가까우면 소리 지르고, 멀면 타워에 전화하라"와 같은 경직된 규칙을 따르는 것이 아니라는 점을 시사합니다. 대신, 환경을 느낄 수 있는 '두뇌'를 네트워크에 부여하는 것입니다. PPO AI는 단순한 수학 공식이 할 수 없는 방식으로, 움직이는 자동차와 간섭이 존재하는 복잡한 현실 세계의 혼돈을 다루는 법을 배웠습니다.

비록 결과가 아직 실제 주행 테스트가 아닌 컴퓨터 시뮬레이션에 기반하고 있지만, 그 결과는 강력합니다. 논문은 학습 기반의 적응형 정책이 전통적인 거리 기반 방식보다 뛰어날 수 있음을 입증합니다. 네트워크에 신뢰성, 속도, 전력의 균형을 맞추도록 가르침으로써, 우리가 더 안전하고 효율적인 도로의 미래를 구축할 수 있음을 증명합니다. 저자들은 이 방법이 큰 진전이지만, 향-후 연구에서는 이 아이디어들을 다도시 네트워크나 불완전한 정보가 있는 상황에서도 테스트하여 실제 세계에 적용될 준비가 되었는지 확인해야 한다고 언급했습니다. 하지만 현재로서는 "스마트 팀장" 접근 방식이 우리의 연결된 자동차들이 안전하고 효율적으로 대화할 수 있게 만드는 승리하는 전략으로 보입니다.