Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

[기술 요약] 다목적 다중 에이전트 강화학습을 이용한 하중 제약 조건 기반 풍력 단지 유동 제어

1. 문제 정의 (Problem Statement)

풍력 단지 운영의 핵심 목표는 웨이크 스티어링(Wake Steering, 상류 터빈의 요 각도를 조절하여 후류를 제어하는 기술)을 통해 전체 발전량을 극대화하는 것입니다. 그러나 웨이크 스티어링은 하류(downstream)에 위치한 터빈에 **구조적 하중(Structural Loads)**을 증가시켜 터빈의 수명을 단축시킬 수 있는 트레이드오프(Trade-off) 관계를 가집니다.

기존의 제어 방식은 개별 터빈의 발전량만을 고려하는 '탐욕적(Greedy) 전략'에 치중되어 있어, 풍력 단지 전체의 에너지 생산량과 터빈의 구조적 건전성(Damage Equivalent Loads, DEL) 사이의 복잡한 상호작용을 최적화하지 못한다는 한계가 있습니다.

2. 연구 방법론 (Methodology)

본 연구는 발전량 극대화와 하중 제약 준수라는 두 가지 상충하는 목표를 동시에 달성하기 위해 다음과 같은 프레임워크를 제안합니다.

• MARL 프레임워크 (Multi-Agent Reinforcement Learning):
  • I-SAC (Independent Soft Actor-Critic) 알고리즘: 각 터빈을 개별 에이전트로 설정하되, 공유된 전역 보상(Global Reward)을 통해 에이전트 간의 협력적 정책(Collaborative Policy)을 유도합니다. SAC의 최대 엔트로피(Maximum Entropy) 프레임워크를 사용하여 탐색 능력을 높이고 학습의 안정성을 확보했습니다.
  • POMDP (Partially Observable Markov Decision Process) 모델링: 난류와 웨이크의 불확실성으로 인해 전체 상태를 관찰할 수 없는 환경을 고려하여, 부분 관측 가능한 마르코프 결정 과정을 통해 학습을 진행했습니다.
• 데이터 기반 DEL 대리 모델 (Data-driven DEL Surrogate Model):
  • 실시간으로 복잡한 구조 하중을 계산하는 것은 비용이 많이 들기 때문에, HAWC2 시뮬레이션 데이터를 기반으로 학습된 3층 신경망 대리 모델을 사용했습니다. 이 모델은 국부적인 유입 조건(풍속, 난류 강도 등)을 입력받아 10분 단위의 **손상 등가 하중(DEL)**을 실시간으로 추정합니다.
• 보상 함수 설계 (Reward Shaping):
  • 발전량 보상 ($r_{power}$): 베이스라인 대비 발전량 증가분을 보상으로 제공합니다.
  • 제약 조건 보상 ($r_{constraint}$): 설정된 하중 증가 임계값($\Delta_{max}$: 10%, 20%, 30%)을 초과할 경우 페널티를 부여하여, 에이전트가 하중 한계 내에서 동작하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 다목적 최적화 통합: 단순 발전량 증대를 넘어, 구조적 하중(Blade root flapwise moment) 제약 조건을 강화학습의 보상 체계에 직접 통합했습니다.
2. 동적 환경 대응: DYNAMIKS 및 DWM(Dynamic Wake Meandering) 모델을 사용하여 비정상(Non-stationary) 웨이크 물리 현상을 반영한 고충실도 시뮬레이션 환경을 구축했습니다.
3. 대리 모델을 통한 실시간 제어 가능성 제시: 고비용의 구조 해석 대신 데이터 기반 대리 모델을 학습 루프에 결합하여, 실시간 제어에 적합한 효율적인 학습 방식을 제안했습니다.

4. 연구 결과 (Results)

• 발전량 및 하중의 트레이드오프 확인: 제약 조건($\Delta_{max}$)이 완화될수록(30% $\rightarrow$ 10%) 발전량은 증가하지만, 하중 제어 능력은 감소하는 경향을 보였습니다.
• 협력적 정책 학습: MARL 에이전트들은 단일 터빈의 이익이 아닌, 단지 전체의 발전량을 높이면서도 하류 터빈의 하중 급증을 피하는 협력적인 요(Yaw) 제어 전략을 성공적으로 학습했습니다.
• 제약 조건 준수 능력: 20% 및 30% 제약 조건 하에서는 에이전트가 학습된 하중 경계 내에서 안정적으로 동작함을 확인했습니다. 다만, 10%와 같이 매우 엄격한 제약 조건에서는 미학습된 난류 상황(Unseen turbulence)을 만날 경우 제약을 일시적으로 위반할 수 있는 취약성이 관찰되었습니다.
• 비대칭적 하중 반응: 요 각도 조절에 따라 하중이 감소하거나 증가하는 비대칭적 특성을 에이전트가 인지하고 이를 제어에 활용함을 입증했습니다.

5. 연구의 의의 (Significance)

본 연구는 "에너지 생산 극대화"와 "자산 수명 연장(하중 저감)"이라는 풍력 발전 운영의 핵심 난제를 AI 기술로 해결할 수 있는 경로를 제시했습니다. 특히, 다중 에이전트 강화학습과 데이터 기반 대리 모델을 결합한 접근 방식은 향후 대규모 풍력 단지의 지능형 운영 시스템(Intelligent Wind Farm Control) 구축을 위한 중요한 기술적 토대가 될 것으로 평가됩니다.