RL-Trust RPL: A Reinforcement Learning-Based Adaptive Trust Framework for Sinkhole Attack Mitigation in Multicast RPL Networks

작은 배터리로 작동하는 메시저들(IoT 노드)이 중앙 우체국(싱크 노드)에 편지를 전달하기 위해 분주하게 움직이는 작은 도시를 상상해 보세요. 그들은 다음 편지를 누가 운반할지 결정하기 위해 RPL이라는 특별한 지도 제작 시스템을 사용합니다. 보통, 그들은 가장 빠르고 직접적인 경로처럼 보이는 이웃을 선택합니다.

하지만 여기에 문제가 있습니다. 교활한 속임수를 쓰는 자(sinkhole 공격자)가 그들 사이에 숨어 있습니다. 이 속임수꾼은 단순히 편지를 훔치는 데 그치지 않고, "가장 빠른 경로!"라는 가짜 표지판을 세우며 "나를 선택해! 내가 최고의 경로야!"라고 외칩니다. 다른 메시저들이 이들을 신뢰하기 때문에, 그들은 속임수꾼에게 편지를 건네줍니다. 일단 속임수꾼이 편지를 받으면, 그들은 편지를 갈기갈리 찢거나, 주소를 바꾸거나, 그냥 쓰레기통에 던져버립니다. 그 결과, 우체국에는 우편물이 도착하지 않고, 네트워크는 막히며, 메시저들은 뱅뱅 도느라 자신들의 작은 배터리를 낭비하게 됩니다.

논문의 핵심 아이디어: 똑똑하고 학습하는 보안 요원

저자인 Deepavathi와 그녀의 팀은 단순히 속임수꾼을 막기 위해 더 큰 벽을 쌓으려 한 것이 아닙니다. 대신, 그들은 RL-Trust RPL이라고 불리는 새로운 시스템을 발명했습니다. 이것을 네트워크를 위해 고용된 아주 똑똑하고 학습하는 보안 요원이라고 생각하세요. 이 요원은 단순히 신분증을 한 번 확인하고 잊어버리는 사람이 아닙니다.

이 보안 요원은 강화 학습(구체적으로는 Q-learning) 기술을 사용합니다. 보안 요원이 비디오 게임을 배우는 학생이라고 상상해 보세요. 메시저가 편지를 성공적으로 전달할 때마다, 보안 요원은 그들에게 "잘했어"라는 점수(양의 보상)를 줍니다. 메시저가 편지를 떨어뜨리거나 이상하게 행동할 때마다, 보안 요원은 "나쁜 행동" 점수(음의 벌칙)를 줍니다.

시간이 흐름에 따라, 보안 요원은 경직된 규칙 책을 따르는 것이 아니라, 실시간으로 모두가 실제로 어떻게 행동하는지를 관찰함으로써 정확히 누가 신뢰할 수 있는 존재이고 누가 속임수꾼인지를 학습합니다.

이 시스템이 하는 것 (그리고 하지 않는 것)

이 논문은 이 시스템이 무엇이 아닌지 매우 명확하게 밝히고 있습니다. 저자들은 고정된 규칙이나 정적인 신뢰 점수를 사용하는 것에 반대합니다. 기존 방식에서는 "노드의 신뢰 점수가 50 미만이면 퇴출하라"고 말할 수 있습니다. 하지만 저자들은 조건이 끊임없이 변하는 역동적인 세상에서 이는 너무 경직되어 있다고 말합니다. 그들의 시스템은 고정된 숫자를 사용하지 않고 적응합니다.

또한, 그들은 이 시스템이 우주의 모든 종류의 공격을 해결하는 마법의 치료제가 아님을 명시적으로 밝힙니다. 이 논문은 멀티캐스트 RPL 네트워크에서의 싱크홀(sinkhole) 공격에 초점을 맞추고 있습니다. 배경 설명에서 워름홀(wormhole)이나 시빌(Sybil) 공격 같은 다른 공격들도 언급했지만, 그들의 새로운 프로토콜은 싱크홀 문제를 해결하기 위해 설계되었습니다. 또한, 그들의 결과는 실제 물리적 센서들을 수천 개 배치한 것이 아니라 시뮬레이션(Contiki-OS에서 실행되는 Cooja라는 컴퓨터 프로그램)을 통해 나온 것임을 밝히고 있습니다. 따라서 결과가 매우 좋아 보일지라도, 이는 컴퓨터가 예측하는 바이지, 실제 도시에서 일어날 일에 대한 보장은 아닙니다.

"보안 요원"의 작동 방식

시스템은 누가 착하고 나쁜지를 결정하기 위해 세 가지 주요 사항을 관찰합니다:

1. 전달 신뢰도(Forwarding Trust): 노드가 실제로 편지를 전달했는가?
2. 제어 평면 신뢰도(Control Plane Trust): 노드가 자신의 위치에 대해 거짓말을 하거나 가짜 표지판으로 네트워크를 범람시키고 있는가?
3. 추천 신뢰도(Recommendation Trust): 그 노드의 이웃들이 그에 대해 어떻게 말하는가?

보안 요원은 이 요소들을 하나의 "신뢰 점수"로 결합합니다. 만약 어떤 노드의 점수가 너무 낮아지면, 보안 요원은 즉시 그 노드를 격리하고, "블랙리스트"에 올리며, 트래픽을 안전한 이웃에게로 재라우팅합니다. 이는 마치 보안 요원이 즉시 속임수꾼을 건물 밖으로 내쫓고, 다른 사람들에게는 뒷문을 이용하라고 알리는 것과 같습니다.

수치: 얼마나 잘 작동했는가?

저자들은 100 x 100미터 구역에서 100개의 노드를 가지고 시뮬레이션을 실행했습니다. 그들은 **10%에서 30%**의 노드가 악의적인 속임수꾼인 시나리오를 테스트했습니다. 표준 RPL 시스템과 비교했을 때, 이 새로운 시스템이 보여준 결과는 다음과 같습니다:

• 패킷 전달 비율 (PDR): 이는 얼마나 많은 편지가 실제로 우체국에 도착했는지를 측정합니다. 새로운 시스템은 공격이 발생할 때 표준 RPL보다 약 40% 더 많은 편지를 전달했습니다. 공격이 진행되는 중에도 전달률을 90% 이상으로 유지했습니다.
• 에너지 소비량: 메시저들이 편지를 던져버릴 속임수꾼에게 편지를 보내느라 에너지를 낭비하지 않기 때문에, 새 시스템은 표준 RPL보다 약 35% 적은 에너지를 사용했습니다.
• 처리량 (Throughput): 이는 얼마나 많은 데이터가 통과하는지를 나타냅니다. 새 시스템은 표준 RPL보다 약 38% 더 많은 데이터를 이동시켰습니다.
• 종단 간 지연 시간 (End-to-End Delay): 이는 편지가 시작점에서 끝점까지 도달하는 데 걸리는 시간입니다. 새 시스템은 속임수꾼을 기다리느라 정체되지 않았기 때문에 표준 RPL보다 약 42% 더 빨랐습니다.
• 네트워크 수명: 배터리가 더 오래 지속되기 때문에, 전체 네트워크는 표준 RPL보다 약 37% 더 오래 생존했습니다.

결론

이 논문은 경직된 규칙 책 대신 학습하는 보안 요원(강화 학습)을 사용함으로써, 네트워크가 속임수꾼을 더 빨리 찾아내고, 그들을 쫓아내며, 편지를 계속 전달할 수 있다고 제안합니다. 시뮬레이션 결과는 현재의 표준 방식보다 속도, 배터리 수명, 그리고 우편물 전달 측면에서 더 효과적임을 보여줍니다.

하지만 저자들은 이것이 시뮬레이션이라는 점을 주의 깊게 언급합니다. 그들은 이것이 실제 물리적인 도시에서 작동한다는 것을 아직 증명하지 못했습니다. 또한, 싱크홀 문제는 해결했지만, 워름홀이나 시빌 공격 같은 다른 종류의 속임수꾼들에 대해서는 이 특정 도구로 아직 완전히 다루지 못했음을 인정합니다. 그러나 "가짜 표지판"을 이용한 싱크홀 공격이라는 특정 문제에 대해서는, 그들의 적응형 학습 접근 방식이 매우 유망한 진전임을 보여줍니다.