📊 statistics

Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning

이 논문은 동적 클러스터 기반의 딥 강화 학습 (CR-DRL) 을 도입하여 차량용 기회 네트워크의 에너지 효율성을 극대화하고 라우팅 성능을 향상시키는 적응형 라우팅 프로토콜을 제안합니다.

원저자: Meisam Sharifi Sani, Saeid Iranmanesh, Raad Raad, Faisel Tubbal

게시일 2026-02-18

📖 3 분 읽기☕ 가벼운 읽기

원저자: Meisam Sharifi Sani, Saeid Iranmanesh, Raad Raad, Faisel Tubbal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚗 배경: "차량들이 서로 말을 안 듣는 상황"

우리가 스마트폰으로 카카오톡을 보낼 때, 인터넷이 끊기면 메시지를 보낼 수 없죠? 하지만 이 논문이 다루는 **차량 네트워크 (VANET)**는 상황이 다릅니다.

상황: 차량들이 너무 빠르게 움직이거나, 교통 체증으로 인해 차량끼리 연결이 자주 끊깁니다. (이걸 '연결이 불규칙한 네트워크'라고 합니다.)
기존 방식 (Store-Carry-Forward): 차량 A 가 B 에게 메시지를 보내려는데 B 가 없으면, A 는 그 메시지를 **자신의 차에 저장해 둔 뒤 (Store), 차를 타고 이동하다가 (Carry), B 를 만나면 전달 (Forward)**합니다.
문제점:
1. 에너지 낭비: 모든 차가 무작위로 메시지를 복사해서 보내면 배터리가 금방 닳습니다.
2. 혼란: 누가 메시지를 받아야 할지 정해진 규칙이 없어서, 같은 메시지가 여러 번 오가며 네트워크가 마비됩니다.
3. 비효율: 배터리가 거의 없는 차가 무거운 메시지를 나르다가 죽어버리면, 메시지도 함께 사라집니다.

💡 해결책: "CR-DRL" (지능적인 팀장 시스템)

저자들은 이 문제를 해결하기 위해 CR-DRL이라는 시스템을 만들었습니다. 이를 **'지능적인 팀장 시스템'**이라고 비유해 볼까요?

1. AI 팀장 (Deep Reinforcement Learning)

기존 방식은 "누가 가까우면 보내라" 같은 단순한 규칙을 따랐다면, CR-DRL 은 **AI(딥러닝)**가 실시간으로 상황을 분석합니다. 마치 스마트한 교통 지휘관이죠.

학습 과정: AI 는 과거의 경험을 통해 "어떤 차가 메시지를 전달하면 가장 잘 도착했는지", "어떤 차가 배터리를 아껴서 오래 갔는지"를 스스로 배웁니다.
결정: AI 는 세 가지 중요한 요소를 보고 '팀장 (Cluster Head)'을 뽑습니다.
1. 배터리 잔량: 배터리를 많이 남기고 있는 차.
2. 만남 빈도: 다른 차들과 자주 마주치는 차 (정보 전달이 빠름).
3. 메모리 용량: 메시지를 많이 저장할 수 있는 차.

2. 동적 팀 구성 (Dynamic Clustering)

차량들은 고정된 팀이 아니라, 상황에 따라 팀을 바꿉니다.

비유: 출근길에는 'A 팀'이 모이고, 퇴근길에는 'B 팀'이 모이는 것처럼, 차량 밀도에 따라 팀 크기를 AI 가 실시간으로 조절합니다.
중요한 기능 (ADT): 팀과 팀 사이의 경계를 유연하게 만듭니다. 차가 많으면 팀을 작게 나누고, 차가 적으면 팀을 넓게 펼쳐서 서로 연결되도록 합니다.

3. 중계역 (Common Members)

팀장들끼리 직접 대화하지 못할 때, 두 팀에 모두 속한 '중계역' 차량이 메시지를 전달해 줍니다. 이렇게 하면 메시지가 끊기지 않고 목적지까지 안전하게 도착합니다.

🏆 성과: "기존 방식보다 얼마나 잘했나?"

이 시스템을 시뮬레이션 (가상 실험) 해본 결과, 기존 방식보다 압도적으로 좋은 결과를 냈습니다.

🔋 배터리 수명: 차량들이 21% 더 오래 살아남았습니다. (불필요한 메시지 전송을 줄여서 에너지를 아꼈기 때문입니다.)
⚡ 에너지 절약: 전체 에너지 사용량이 17% 줄었습니다.
🚀 속도 (지연 시간): 메시지가 목적지에 도착하는 시간이 28.5% 빨라졌습니다.
✅ 성공률: 메시지가 제대로 전달되는 비율이 10% 증가했습니다.
🔄 경로: 메시지를 전달하는 데 필요한 '중계 횟수'가 30% 줄어 더 직관적으로 이동했습니다.

🌟 핵심 요약

이 논문은 **"차량들이 서로 연결이 끊길 때, AI 가 가장 적합한 '팀장'을 뽑고 팀을 유연하게 재구성하여, 배터리도 아끼고 메시지 전달도 빠르게 하는 방법"**을 개발했다는 것입니다.

마치 스마트한 교통 경찰이 실시간으로 차량들의 상태를 파악해, 배터리를 많이 남긴 차량에게만 무거운 짐 (메시지) 을 싣게 하고, 팀을 잘 조직해서 교통 체증 (네트워크 지연) 을 해결한 셈입니다.

이 기술이 상용화되면, 자율주행차나 스마트 시티에서 차량 간 통신이 훨씬 더 안정적이고 효율적으로 이루어질 것으로 기대됩니다.

1. 문제 제기 (Problem Statement)

배경: 스마트 시티와 지능형 교통 시스템 (ITS) 의 발전으로 차량 간 통신 (VANET) 이 중요해지고 있으나, 차량의 높은 이동성으로 인해 네트워크 토폴로지가 빈번하게 변화하고 연결이 단절되는 ' Opportunistic Networks (OppNets)' 또는 '지연 허용 네트워크 (DTN)' 환경이 형성됩니다.
핵심 과제:
- Store-Carry-Forward (SCF) 패러다임의 한계: 직접적인 통신 경로가 없을 때 데이터를 저장하고 운반하여 전달하는 SCF 방식은 연결이 끊길 때 유용하지만, 네트워크가 분산되면 패킷 손실, 높은 지연, 낮은 전달률이 발생합니다.
- 기존 클러스터링 기법의 부족: 기존 클러스터 기반 라우팅은 정적 임계값이나 고정된 구조에 의존하여, 급변하는 차량 네트워크 환경에서 클러스터 헤드 (Cluster Head, CH) 선택이 비효율적이고, 에너지 소모가 크며, 오버헤드가 높다는 문제가 있습니다.
- 자원 제약: 제한된 배터리 에너지와 버퍼 용량으로 인해 노드의 수명이 짧아지고 데이터 전달 신뢰성이 떨어집니다.

2. 제안 방법론 (Methodology: CR-DRL)

저자들은 CR-DRL (Cluster-based Routing using Deep Reinforcement Learning) 이라는 새로운 라우팅 프로토콜을 제안했습니다. 이는 딥 러닝 기반의 강화 학습 (Deep Reinforcement Learning) 과 휴리스틱 함수를 결합한 적응형 클러스터링 접근법입니다.

A. 핵심 아키텍처 및 알고리즘

액터-크리틱 (Actor-Critic, AC) 프레임워크 적용:
- 상태 (State): 각 노드의 잔여 에너지, 만남 빈도 (Encounter Rate), 버퍼 크기를 실시간으로 모니터링하여 상태 공간으로 정의합니다.
- 행동 (Action): 최적의 클러스터 헤드를 선택하는 결정 과정입니다.
- 보상 (Reward): 전달률 (Delivery Ratio), 처리량 (Throughput), 종단간 지연 (E2E Delay) 을 균형 있게 고려하여 설계된 보상 함수를 통해 학습을 유도합니다.
- 학습 안정화: 엔트로피 정규화 (Exploration-Exploitation 균형), 경험 재생 버퍼 (Experience Replay), 적응형 학습률 스케줄링, 그래디언트 클리핑 등을 적용하여 동적 환경에서의 학습 수렴을 보장합니다.
동적 클러스터 헤더 선택:
- 기존 방법과 달리, 동일한 노드를 반복적으로 선택하는 부하 불균형을 방지하기 위해 AC 알고리즘이 실시간 메트릭 (에너지, 만남 빈도, 버퍼) 을 기반으로 가장 효율적인 노드를 클러스터 헤드로 선출합니다.
- 에너지 임계값: 노드가 초기 에너지의 25% 이상을 보유해야만 클러스터 헤드 후보가 되도록 설정하여 에너지 고갈을 방지합니다.
적응형 거리 임계값 (Adaptive Distance Threshold, ADT) 휴리스틱:
- 고정된 거리 기반 클러스터링의 한계를 극복하기 위해, 노드 밀도 (Node Density) 에 따라 클러스터 간의 중첩 정도 (Overlap) 를 동적으로 조절합니다.
- 밀도 기반 조절: 노드 밀도가 낮으면 클러스터 간 거리를 넓혀 연결성을 확보하고, 밀도가 높으면 거리를 좁혀 오버헤드를 줄입니다.
- 최적화 파라미터: 시뮬레이션을 통해 스케일링 팩터 $\Delta = 1.5$ 가 클러스터 크기, 내부/외부 통신 비용, 메시지 전달 성공률 간의 최적 균형을 제공함을 확인했습니다.
TCP/IP 호환성 및 미들웨어:
- 동적 클러스터를 '가상 네트워크 세그먼트'로 변환하여 TCP/IP 프로토콜과의 호환성을 제공합니다.
- 클러스터 헤드를 게이트웨이로, 여러 클러스터에 속한 공유 노드 (Common Members) 를 릴레이로 활용하여 물리적 인프라 (RSU) 없이도 안정적인 경로를 구성합니다.

3. 주요 기여 (Key Contributions)

최적의 클러스터 헤드 선택: OppNets 환경에서 실시간 파라미터 (에너지, 만남 빈도, 버퍼) 를 기반으로 AC 알고리즘을 통해 지능적으로 클러스터 헤드를 선택하는 최초의 딥 러닝 기반 프로토콜 제안.
동적 클러스터 중첩 조절: 고정된 거리 기반이 아닌, 노드 밀도와 공간 분포에 따라 클러스터 간 중첩을 동적으로 조절하는 휴리스틱 함수 (ADT) 도입으로 확장성과 연결성 동시 개선.
TCP/IP 호환성 미들웨어: 물리적 인프라 없이 동적 클러스터를 가상 세그먼트로 매핑하여 기존 TCP/IP 프로토콜이 OppNets 에서 작동할 수 있도록 하는 아키텍처 설계.

4. 실험 결과 (Results)

ONE (Opportunistic Network Environment) 시뮬레이터와 헬싱키 지도 기반의 혼합 이동성 모델을 사용하여 기존 기법 (EEHCHR, ECRDP, Mobility Adaptive, RLProph 등) 과 비교 평가했습니다.

에너지 효율성:
- 노드 수명 (Node Lifetime) 최대 21% 연장.
- 전체 에너지 사용량 17% 감소.
- 노드가 더 오랫동안 활성 상태로 유지됨 (15% 증가).
통신 성능:
- 전달률 (Delivery Ratio): 최대 10% 향상.
- 지연 (Delay): 최대 28.5% 감소 (고밀도 환경에서 특히 두드러짐).
- 처리량 (Throughput): 7% 증가.
- 전송 단계 (Hop Count): 네트워크 전체 전송 단계가 30% 감소.
네트워크 안정성:
- 네트워크 분할 (Partitioning) 을 SCF 아키텍처 대비 85% 감소시켜 장기적인 연결성 확보.
- 클러스터 헤드의 변경률 (Change Rate) 을 낮추고 수명을 늘려 재클러스터링 오버헤드 최소화.

5. 의의 및 결론 (Significance)

이 논문은 차량 Opportunistic Networks 의 핵심 과제인 동적 토폴로지 변화와 자원 제약을 딥 강화 학습 (DRL) 을 통해 해결한 선구적인 연구입니다.

기술적 의의: 단순한 라우팅 개선을 넘어, 클러스터링과 라우팅을 통합적으로 최적화하고 TCP/IP 호환성을 확보함으로써 실제 스마트 시티 및 ITS 환경에서의 실용성을 높였습니다.
미래 전망: 제안된 CR-DRL 은 생성형 AI 를 활용한 합성 이동성 패턴 생성 및 6G 엣지 컴퓨팅 환경에서의 연방 학습 (Federated Learning) 적용 등 향후 연구의 기초를 마련했습니다.

결론적으로, CR-DRL 은 에너지 효율성, 낮은 지연, 높은 전달률을 동시에 달성하여 기존 SCF 기반 프로토콜 및 기계 학습 기반 라우팅 기법들을 압도하는 성능을 입증했습니다.