Optimizing Chlorination in Water Distribution Systems via Surrogate-assisted Neuroevolution

이 논문은 EPANET 시뮬레이터의 계산 비용 문제를 해결하기 위해 대리 모델을 활용한 신경 진화 기법을 도입하여, 염소 주입량 최소화 및 안전성 보장 등 다목적 최적화를 수행함으로써 기존 강화학습 방법보다 우수한 수질 관리 정책을 도출하는 새로운 접근법을 제시합니다.

핵심

🏙️ 비유: 거대한 수도관 도시와 '물 관리 요원'

상상해 보세요. 우리 도시는 거대한 수도관 네트워크로 연결된 하나의 거대한 몸과 같습니다. 이 몸속을 흐르는 물은 항상 깨끗해야 하지만, 시간이 지나면 세균이 생길 수 있습니다. 그래서 우리는 **염소 (소독약)**를 넣어서 물을 깨끗하게 유지합니다.

하지만 여기서 문제가 생깁니다.

1. 너무 적으면: 세균이 살아남아 사람들이 병에 걸립니다.
2. 너무 많이 넣으면: 물맛이 나빠지고, 장기적으로 암을 유발할 수 있는 유해 물질이 생깁니다.
3. 어디에 넣을지: 수도관 네트워크는 너무 복잡하고, 물이 흐르는 속도와 방향은 매일 변합니다.

예전에는 사람이 직접 계산하거나 간단한 규칙만 써서 염소를 넣었는데, 이 복잡한 도시의 흐름을 완벽하게 제어하기는 너무 어렵습니다.

🤖 이 논문이 제안한 해결책: "가상 도시 시뮬레이터"와 "진화하는 AI"

이 연구팀은 두 가지 핵심 기술을 섞어서 새로운 해결책을 만들었습니다.

1. "가상 도시 시뮬레이터" (Surrogate Model)

실제 수도관 네트워크에서 실험을 하려면 너무 위험하고 비용이 많이 듭니다. 그래서 연구팀은 EPANET이라는 정교한 시뮬레이션 프로그램을 사용했습니다. 하지만 이 프로그램은 너무 느려서 AI 가 학습하는 데는 적합하지 않았습니다.

그래서 연구팀은 **"가상 도시 시뮬레이터 (대리 모델)"**를 만들었습니다.

• 비유: 마치 실제 비행기를 조종하는 훈련 대신, 비행 시뮬레이션 게임을 통해 조종사를 훈련시키는 것과 같습니다.
• 이 '가상 도시'는 실제 수도관 흐름을 아주 빠르게 흉내 내는 AI 입니다. AI 는 이 가상 도시에서 수만 번의 실험을 해보며 "어떻게 염소를 넣어야 가장 좋은가?"를 배우게 됩니다.

2. "진화하는 물 관리 요원" (Neuroevolution)

이제 AI 가 어떻게 배울까요? 일반적인 AI 는 한 번에 정답을 찾으려 하지만, 이 연구팀은 진화 (Evolution) 방식을 썼습니다.

• 비유: 수만 명의 **'물 관리 요원 (AI 에이전트)'**을 만들어서, 그들이 서로 경쟁하게 합니다.
  • 어떤 요원은 염소를 너무 많이 뿌려서 물이 나빠지고, 어떤 요원은 너무 적게 뿌려서 세균이 생깁니다.
  • 자연선택: 가장 잘하는 요원들만 살아남고, 그들의 '두뇌 (네트워크 구조)'를 섞어서 더 똑똑한 다음 세대를 만듭니다.
  • 이 과정을 반복하면, 결국 최고의 물 관리 요원이 탄생합니다.

🎯 네 가지 목표: "모두 잡는" 균형 찾기

이 AI 는 단순히 "염소를 적게 쓰는 것"만 목표로 하지 않습니다. 네 가지 목표를 동시에 잡으려고 노력합니다.

1. 비용 절감: 염소 사용량을 줄여야 합니다. (돈 아끼기)
2. 균일함: 도시의 모든 구역에서 물의 염소 농도가 비슷해야 합니다. (공정성)
3. 안전: 너무 많은 염소가 들어가지 않도록 해야 합니다. (상한선 지키기)
4. 부드러움: 염소를 갑자기 쏘아 넣지 않고, 꾸준히 조절해야 합니다. (부드러운 운전)

이 네 가지 목표는 서로 충돌합니다 (예: 염소를 아끼려면 안전성이 떨어질 수 있음). 그래서 AI 는 이 네 가지를 **최적의 비율로 섞은 다양한 해결책 (파레토 최적 해)**을 만들어냅니다. 마치 요리사가 "단맛, 짠맛, 신맛"을 모두 만족시키는 완벽한 레시피를 여러 가지 찾아내는 것과 같습니다.

🚀 핵심 기술: "점진적인 학습" (Curriculum Learning)

가장 재미있는 부분은 AI 가 어떻게 배웠는지입니다.

• 기존 방식: 처음부터 네 가지 목표 (비용, 안전, 균일, 부드러움) 를 모두 동시에 주면 AI 는 혼란스러워하고 엉뚱한 답을 냅니다.
• 이 연구의 방식: 학교 커리큘럼처럼 단계별로 가르쳤습니다.
  1. 먼저 '안전 (상한선)'과 '균일함'만 지키는 법을 배웁니다.
  2. 그다음 '부드러움'을 추가합니다.
  3. 마지막으로 '비용 절감'을 추가합니다.
• 결과: 이렇게 단계별로 가르치니, AI 는 훨씬 더 똑똑하고 안정적인 정책을 찾아냈습니다.

🏆 결과: 왜 이 방법이 좋은가요?

연구팀은 이 방법을 기존 방식 (규칙 기반, 다른 강화학습 방법인 PPO 등) 과 비교했습니다.

• 기존 방식: 염소를 너무 적게 넣어서 물이 오염될 위험이 있거나, 너무 많이 넣어서 비용이 폭탄이었습니다.
• 이 연구의 AI: 가장 균형 잡힌 해결책을 찾았습니다. 염소 사용량은 줄이면서도 물의 안전성은 유지하고, 도시 전체의 물맛도 일정하게 유지했습니다.

💡 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"복잡한 현실 문제 (수도관 관리) 를 해결할 때, AI 가 가상 세계에서 진화하며 배우고, 단계별로 가르치면 놀라운 성과를 낼 수 있다"**는 것을 보여줍니다.

이는 단순히 수도관뿐만 아니라, 교통 체증 해결, 전력망 관리, 심지어는 기후 변화 대응 같은 거대하고 복잡한 시스템을 최적화하는 데도 적용할 수 있는 새로운 길을 제시합니다.

한 줄 요약:

"AI 가 가상 도시에서 수만 번의 실험을 통해 '진화'하고, 학교처럼 단계별로 가르쳐서, 가장 저렴하면서도 안전한 물 관리 비법을 찾아냈습니다."

기술 요약

1. 문제 정의 (Problem)

• 배경: 도시의 급수 관망 (WDS) 은 비선형적이고 노이즈가 많은 복잡한 유체 상호작용을 포함합니다. 미생물 안전성을 확보하기 위해 염소를 주입해야 하지만, 과다 주입은 발암성 부산물을 생성하고, 과소 주입은 수질 오염을 초래합니다.
• 도전 과제:
  • 비선형성 및 동적 변화: 수질, 유량, 압력, 반응 역학이 시간과 공간에 따라 복잡하게 변합니다.
  • 계산 비용: 산업 표준인 EPANET 시뮬레이터는 정확하지만 계산 비용이 매우 커서 머신러닝 (특히 강화학습) 을 위한 반복적인 학습에 사용하기 어렵습니다.
  • 제어의 어려움: 기존 제어 알고리즘이나 표준 강화학습 (RL) 은 이러한 복잡한 환경에서 최적의 균형을 찾기 어렵습니다.
• 목표: 염소 주입량을 최소화하면서도 (비용), 관망 전반에 걸쳐 균일한 농도를 유지하고 (공정성), 안전 기준을 준수하며 (경계 위반 최소화), 주입이 매끄럽게 이루어지도록 (부드러움) 하는 다목적 최적화 문제를 해결하는 것입니다.

2. 방법론 (Methodology)

논문은 ESP (Evolutionary Surrogate-Assisted Prescription) 프레임워크를 기반으로 한 신경 진화 접근법을 사용합니다.

A. 대리 모델 (Surrogate Modeling) 및 지식 증류

• EPANET 에뮬레이션: 실제 EPANET 시뮬레이터 대신, 그 행동을 모방하는 신경망 (대리 모델) 을 학습하여 평가 비용을 획기적으로 줄입니다.
• 지식 증류 (Knowledge Distillation):
  • Teacher 모델: 비인과적 (non-causal) 인 맥락을 가진 양방향 LSTM 으로, 미래 상태를 예측하는 정밀한 타겟을 생성합니다.
  • Student 모델: 인과적 (causal) 인 단방향 LSTM 으로, Teacher 의 예측을 학습하여 실시간 제어에 사용 가능한 모델을 만듭니다.
  • 롤아웃 손실 (Rollout Loss): 장기 예측 오차를 줄이기 위해 다단계 예측 (Horizon) 을 손실 함수에 포함시켜 모델의 정확도를 높였습니다.

B. 신경 진화 (Neuroevolution) 및 NEAT

• NEAT (Neuroevolution of Augmenting Topologies): 신경망의 가중치뿐만 아니라 구조 (토폴로지) 자체도 진화시킵니다. 이는 그래디언트가 필요 없으며, 복잡한 제어 정책을 탐색하는 데 유리합니다.
• Prescriptor (행동 결정자): 관망의 관측치 (수질, 유량) 를 입력받아 염소 주입량을 결정하는 신경망을 진화시킵니다.

C. 다목적 최적화 및 커리큘럼 학습

• NSGA-II: 네 가지 목적 함수 (경계 위반, 공정성, 비용, 부드러움) 를 동시에 최적화하기 위해 NSGA-II 알고리즘을 사용하여 파레토 최적 해 (Pareto-optimal solutions) 집합을 찾습니다.
• 커리큘럼 학습 (Curriculum Learning): 모든 목표를 한 번에 학습하면 비직관적인 트레이드오프가 발생하므로, 난이도가 낮은 목표 (경계 위반, 공정성) 에서 시작하여 점차 어려운 목표 (부드러움, 비용) 를 추가하는 방식으로 학습 순서를 설계했습니다.

D. ESP 루프 (Iterative Process)

1. 초기 데이터로 대리 모델 학습.
2. 대리 모델을 기반으로 NEAT/NSGA-II 를 통해 에이전트 진화.
3. 진화된 에이전트를 실제 EPANET 시뮬레이터에서 평가하여 새로운 데이터 생성.
4. 생성된 데이터로 대리 모델 미세 조정 (Fine-tuning) 후 2 단계로 반복.
   • 이 과정에서 대리 모델은 에이전트의 탐색을 돕고, 에이전트는 대리 모델을 정규화 (Regularization) 하는 상호작용이 발생합니다.

3. 주요 기여 (Key Contributions)

1. 지식 증류를 통한 정확한 상태 예측: 단방향 LSTM 기반의 Student 모델이 Teacher 모델의 지식을 효과적으로 습득하여, 장기적인 시뮬레이션 오차를 줄이고 실시간 제어에 적합한 대리 모델을 구축했습니다.
2. 커리큘럼 기반 다목적 신경 진화: NSGA-II 와 커리큘럼 학습을 결합하여, 기존 무작위 주입이나 상수 주입 방식, 그리고 PPO(Proximal Policy Optimization) 와 같은 표준 강화학습보다 우수한 트레이드오프를 달성했습니다.
3. 대리 모델 미세 조정의 효과 입증: 진화 과정에서 생성된 데이터를 통해 대리 모델을 지속적으로 업데이트함으로써, 에이전트가 이전에는 도달하지 못했던 목적 함수 공간 (Objective Landscape) 을 탐색할 수 있게 되었고, 이는 자동 정규화 효과를 통해 더 매끄러운 제어 정책을 생성했습니다.

4. 실험 결과 (Results)

• 비교 대상: EPANET 시뮬레이터에서 고정된 주입량 (0.3, 10, 250 mg/L), 무작위 주입, 그리고 PPO 에이전트와 비교했습니다.
• 성능:
  • PPO 및 단순 NEAT: 노이즈가 많은 단일 보상 함수로 인해 학습이 붕괴되어 매우 작은 주입량만 수행하거나, PPO 는 기존 베이스라인과 유사한 성능에 그쳤습니다.
  • NSGA-II (커리큘럼 적용): 모든 목적 함수에서 우수한 균형을 보였습니다.
    • 경계 위반: 250 mg/L 고정 주입 대비 약 40% 감소.
    • 부드러움 (Smoothness): 무작위 주입 대비 12~13 배 개선.
    • 감염 위험 (Infection Risk): 무작위 주입 대비 18% 감소 (동일한 경계 위반 수준 유지).
    • 커리큘럼의 효과: 커리큘럼을 적용하지 않은 NSGA-II 대비 감염 위험이 약 30% 감소하고, 공정성 및 부드러움 지표가 4~5 배 개선되었습니다.
• 파레토 프론트: 커리큘럼 학습을 통해 다양한 목적 간의 트레이드오프를 명확하게 보여주는 파레토 프론트가 형성되었으며, 의사결정자가 상황에 맞는 정책을 선택할 수 있게 되었습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 프레임워크는 실제 수송관망의 디지털 트윈 (Digital Twin) 에서 검증되었으며, 향후 실제 인프라에 적용되어 전 세계 식수의 미생물 안전성을 보장하고 도시 성장을 지원할 수 있는 잠재력을 가집니다.
• 방법론적 확장: 복잡한 물리 기반 시뮬레이터가 필요한 다른 시공간 최적화 문제 (교통, 통신, 건설 등) 에도 이 '대리 모델 + 신경 진화 + 커리큘럼 학습' 접근법을 적용할 수 있음을 시사합니다.
• 핵심 통찰: 진화 알고리즘과 대리 모델의 공진화 (Co-evolution) 는 에이전트의 창의적인 탐색을 가능하게 하고, 동시에 대리 모델의 일반화 능력을 향상시키는 선순환 구조를 만듭니다.

요약하자면, 이 논문은 계산 비용이 큰 물리 시뮬레이터를 우회하면서도 높은 정확도를 유지하는 대리 모델 기반의 신경 진화 프레임워크를 통해, 수송관망의 염소 주입을 다목적적으로 최적화하는 새로운 패러다임을 제시했습니다.