기술 요약: 노이즈가 있는 비정상적 IoT 환경에서의 적응형 교통 신호 제어를 위한 능동 추론(Active Inference)

1. 문제 정의

도시 교통 신호 제어는 센서 데이터가 불완전하거나 노이즈가 많고, 비정상적인 수요 패턴을 보이는 실제 배포 환경에서 상당한 어려움에 직면해 있습니다. 전통적인 규칙 기반 제어기는 예측 불가능한 조건 하에서 유연성이 부족하며, 심층 강화 학습(DRL) 접근 방식은 강력하지만 광범위한 학습 데이터가 필요하고 "블랙박스" 형태의 해석 가능성 문제로 인해 감사가 어렵습니다. 또한, 교차로에서의 실제 IoT 센싱은 차량에 의한 센서 가려짐(예: 대형 차량), 악천후에 의한 감쇠, 그리고 확률적인 인프라 중단(예: 사고) 등으로 인해 저해됩니다. 본 논문은 이러한 노이즈가 있고 부분적으로 관측 가능한 조건에서도 효과적으로 작동하면서도 추적 가능한 의사결정 과정을 제공하는 교통 신호 제어기의 필요성을 다룹니다.

2. 방법론

저자들은 4지 교차로를 위한 능동 추론(Active Inference, AIF) 제어기를 제안합니다. 관측과 행동을 분리하는 표준 제어 패러다임과 달리, AIF는 이 둘을 **기대 자유 에너지(Expected Free Energy, EFE)**를 최소화하는 단일화된 과정으로 프레임워크화합니다.

핵심 프레임워크

에이전트는 이산적인 시간 단계 $t$에서 작동하며, 관측값 $o_t$를 바탕으로 은닉 상태 $s_t$(교통 혼잡도)에 대한 근사 사후 믿음(approximate posterior beliefs) $q(s_t)$를 유지합니다. 정책 $\pi$는 EFE를 최소화하기 위해 행동(위상: 남북 방향 또는 동서 방향 녹색 신호)을 선택하며, EFE는 다음과 같이 정의됩니다:
$$G(\pi) \triangleq -[PV(\pi) + \lambda EV(\pi)]$$
여기서:

• 실용적 가치 (Pragmatic Value, $PV$): 선호도(예: 낮은 혼잡도, 낮은 배출량)와 일치하는 관측을 보상합니다.
• 인식적 가치 (Epistemic Value, $EV$): 은닉 상태에 대한 불확실성을 줄이는 관측을 보상합니다(탐색).
• $\lambda$: 두 가치의 균형을 맞추는 가중치 상수입니다.

시스템 인스턴스화

• 상태 공간 (State Space): 은닉 상태는 각 방향(NS 및 EW)에 대해 6개의 혼잡 단계("매우 낮음"에서 "정체"까지)로 이산화됩니다.
• 관측 (Observations): 노이즈가 포함된 차량 수, 누적 $CO_2$ 배출량, 버스 수를 포함하는 벡터입니다. 관측 모델은 상태 조건부 다변량 가우시안(multivariate Gaussian)입니다.
• 전이 역학 (Transition Dynamics): 두 개의 수동 지정 전이 행렬($T_{red}$와 $T_{green}$)은 녹색 위상이 혼잡을 줄이고 적색 위상이 혼잡을 높인다는 직관을 인코딩합니다.
• 노이즈 모델링: 실험 환경은 다음과 같은 현실적인 IoT 실패를 시뮬레이션합니다:
  • 센서 가려짐 (Sensor Occlusion): 대형 차량에 의한 탐지 차단.
  • 날씨 감쇠 (Weather Attenuation): 악천후 시 탐지 확률 감소.
  • 확률적 사고 (Stochastic Accidents): 교통 흐름을 멈추게 하는 무작위 차단.

비교 베이스라인

AIF 제어기는 다음 모델들과 벤치마킹됩니다:

1. 규칙 기반 휴리스틱 (Rule-Based Heuristic): 버스 가중치 및 주요 도로 편향을 위한 고정 보너스를 사용하는 우선순위 점수 시스템.
2. 심층 Q-네트워크 (Deep Q-Network, DQN): 경험 재생(experience replay)과 $\epsilon$-greedy 탐색을 사용하여 동일한 보상 함수(유휴 시간, 배출량, 버스 부하 최소화)에 최적화된 표준 DRL 에이전트.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 시뮬레이션 환경: 센서 가려짐, 날씨 감쇠, 확률적 사고를 포함하여 노이즈가 있고 비정상적인 IoT 센싱 조건을 모델링한 SUMO 기반 시뮬레이션 환경 설계.
2. AIF 제어기 개발: 혼잡, 배출량 및 대중교통 존재에 관한 가우시안 믿음에 대한 EFE를 최소화함으로써 동적으로 신호 위상을 선택하는 AIF 제어기 구현.
3. 종합적 평가: 네 가지 단계의 환경 교란 시나리오(깨끗한 데이터부터 완전한 노이즈/사고까지)와 100개의 독립적인 랜덤 시드에 걸쳐 효율성, 배출량 및 정책 안정성 간의 트레이드오프를 분석하는 엄격한 비교 수행.

4. 실험 결과

실험은 시나리오당 3,600초의 시뮬레이션 시간 동안 진행되었습니다. 주요 결과는 다음과 같습니다:

• 고교란 상황에서의 성능 (시나리오 4):

  • 유휴 시간 (Idle Time): AIF는 DQN(71,741초) 및 규칙 기반 베이스라인(72,247초)보다 낮은 누적 유휴 시간(56,977초)을 달로 성했습니다.
  • 배출량: AIF는 DQN(30.56 kg) 및 규칙 기반 방식(31.53 kg)보다 낮은 총 $CO_2$ 배출량(29.12 kg)을 기록했습니다.
  • 강건성: AIF는 가장 노이즈가 심한 시나리오에서도 DQN보다 낮은 평균 유휴 시간을 유지했으나, DQN의 성능은 심한 교란 하에서 크게 저하되었습니다.

• 저교란 상황에서의 성능 (시나리오 1–3):

  • DQN은 시나리오 1과 3에서 일반적으로 AIF보다 우수한 성능을 보였습니다 (예: 시나리오 3에서 유휴 시간 5,305초 vs 7,287초). 이는 시나리오별 사전 학습 때문인 것으로 보입니다.
  • AIF는 시나리오 2에서 DQN(7,341초 vs 8,385초)보다 우수했습니다.
  • 모든 시나리오에서 AIF와 DQN 모두 규칙 기반 베이스라인(유휴 시간을 약 절반으로 줄임)보다 훨씬 뛰어난 성능을 보였습니다.

• 트레이드오프 (Trade-offs):

  • 버스 우선순위: AIF는 DQN(84.6–89.7%) 및 규칙 기반 시스템에 비해 낮은 버스 우선순위 서비스율(80.5–82.0%)을 보였습니다. 이는 AIF의 실용적 가치 함수가 특정 차량 유형보다는 전체적인 혼잡 감소를 우선시하기 때문이며, 버스가 전체 교통량에서 차지하는 비중이 작기 때문입니다.
  • 위상 전환 (Phase Switching): AIF는 DQN(177–266회)이나 규칙 기반 시스템보다 더 빈번하게 위상을 전환(261–278회)했으며, 이는 불확실성에 대한 더 역동적인 반응을 나타냅니다.

• 안정성: AIF는 시나리오 1과 2에서 유휴 시간에 대해 더 낮은 분산(표준 편차)을 보였으나, DQN은 시나리오 3과 4에서 더 좁은 분포를 보였습니다.

5. 의의 및 주장

본 논문은 능동 추론이 특히 부분 관측성과 비정상성이 특징인 환경에서 적응형 교통 제어를 위한 원칙적인 대안을 제공한다고 주장합니다.

• 제로샷 일반화 (Zero-Shot Generalization): 특정 시나리오를 위한 광범위한 사전 학습이 필요한 DQN과 달리, AIF 제어기는 사전 학습 단계 없이 작동합니다. 노이즈가 있는 환경에서 DQN의 성능에 필적하거나 이를 능가하면서도 시나리오별 학습 없이 작동하는 능력은, EFE 목적 함수 내의 인식적 가치 항이 불확실성을 처리하는 데 구조적 이점을 제공함을 시사합니다.
• 감사 가능성 (Auditability): 강조된 중요한 장점은 AIF 파이프라인의 추적 가능성입니다. 사후 믿음부터 EFE의 구체적인 구성 요소(실용적 가치 vs 인식적 가치)에 이르기까지 모든 단계가 명시적이며 검사 가능합니다. 이는 DRL과 관련된 "블랙박스" 검증 문제를 해결하여, 운영자가 특정 위상이 왜 선택되었는지 이해할 수 있게 합니다.
• 실행 가능성: 결과는 AIF가 여러 목적(지연, 배출량, 대중교통)을 균형 있게 달성하면서 센서 저하 및 확률적 중단에 강건하게 대응할 수 있는, 강화 학습의 실행 가능한 대안임을 보여줍니다.

저자들은 AIF가 버스 우선순위를 일부 희생하고 위상 전환 빈도를 높이긴 하지만, 노이즈가 있는 비정상적 IoT 환경에서의 강건성과 해석 가능성 덕분에 차세대 지능형 교통 시스템을 위한 매력적인 접근 방식이라고 결론짓습니다. 향후 연구로는 다중 교차로 네트워크 및 하드웨어-인-더-루프(hardware-in-the-loop) 배포로의 확장이 제안되었습니다.