기술 요약: 대규모 유동 제어를 위한 강화 학습 알고리즘의 플러그앤플레이 벤치마킹

문제 제기

능동 유동 제어 (AFC) 는 공기역학, 에너지 수확, 난류 감소와 같은 실세계 시스템을 최적화하는 데 필수적입니다. 강화 학습 (RL) 은 이 분야에서 유망한 성과를 보였으나, 연구 환경이 파편화되어 있어 진전이 지연되고 있습니다. 기존 연구들은 이질적인 관측 및 작동 체계, 다양한 수치 설정, 일관성 없는 평가 프로토콜에 의존하여 직접적인 비교를 어렵게 만듭니다. 또한, 현재 벤치마크는 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 외부 솔버 의존성: 대부분의 벤치마크는 외부 전산유체역학 (CFD) 솔버 (예: OpenFOAM, Fluent) 와의 결합을 요구하여, 전문 지식을 필요로 하는 취약한 소프트웨어 스택을 생성하고 표준 Python RL 라이브러리와의 통합을 방해합니다.
2. 미분 가능성 부재: 기존 환경은 대부분 미분 불가능하여, 미분 가능 예측 제어 (DPC) 와 같은 경계 기반 제어 방법의 사용을 방지하고 현대적 미분 가능 RL 기법의 적용을 제한합니다.
3. 제한된 범위: 현재 벤치마크는 공간적으로 분산된 작동에 자연스러운 다중 에이전트 RL(MARL) 을 지원하지 않는 경우가 많으며, 주로 2 차원 시나리오로 제한되어 필수적인 3 차원 유동 물리를 포착하지 못합니다.

방법론: FluidGym

이러한 한계를 해결하기 위해 저자들은 AFC 에서 RL 을 위한 첫 번째 독립형 완전 미분 가능 벤치마크 스위트인 FluidGym을 소개합니다.

아키텍처 및 설계

• 단일 스택 구현: GPU 가속 PICT 솔버(미분 가능한 멀티블록 PISO 솔버) 위에 완전히 PyTorch 로 구축된 FluidGym 은 외부 CFD 소프트웨어의 필요성을 제거합니다. 모든 시뮬레이션 및 제어 인터페이스는 단일 Python 패키지에 포함되어 pip 를 통한 설치와 표준 RL 라이브러리 (예: Gymnasium, PettingZoo, Stable-Baselines3, TorchRL) 와의 즉각적인 호환성을 제공합니다.
• 미분 가능성: 이 프레임워크는 본질적으로 엔드투엔드 미분 가능합니다. 이는 환경 수정 없이 정책 매개변수에 대한 시뮬레이션의 역전파를 가능하게 하여 경계 기반 제어 방법 (DPC 등) 을 지원하며, 동시에 고전적 RL 도 지원합니다.
• 상호작용 모드: FluidGym 은 세 가지 상호작용 모드를 지원합니다:
  1. 단일 에이전트 RL(SARL): 단일 에이전트가 전역 행동 벡터를 출력합니다.
  2. 다중 에이전트 RL(MARL): 여러 에이전트가 서로 다른 공간 위치에서 동시에 행동하며, 지역 관측치와 보상을 받아 분산 제어 전략을 가능하게 합니다.
  3. 경계 기반 제어: 미분 가능한 시뮬레이션을 통해 전파된 보상 경계를 통한 정책의 직접 최적화.

벤치마크 환경

FluidGym 은 난류 강도와 유동 복잡도를 변화시키기 위해 각 시나리오를 세 가지 난이도 수준 (Easy, Medium, Hard) 으로 제공하는 네 가지 주요 유동 시나리오에 걸친 13 가지 고유한 환경 구성을 제공합니다:

1. 원통 주위의 유동: 합성 제트 또는 원통 회전을 통한 항력 감소를 중점적으로 다룹니다. 2 차원 및 3 차원 변형을 포함합니다.
2. 레이리 - 베나르 대류 (RBC): 하단 경계 가열을 통해 너셀 수를 최소화함으로써 열전달 향상을 중점적으로 다룹니다. 2 차원, 3 차원 및 광역 변형을 포함합니다.
3. 익형 주위의 유동: 표면 장착 합성 제트를 통해 공기역학적 효율 (양력 - 항력 비율) 향상을 목표로 합니다. 2 차원 및 3 차원 변형을 포함합니다.
4. 난류 채널 유동 (TCF): 공간적으로 분산된 분출 및 흡입을 통해 벽 전단 응력을 감소를 목표로 합니다. 단일 또는 이중 벽 작동이 있는 소규모 및 대규모 영역 변형을 포함합니다.

실험 프로토콜

저자들은 재현성을 보장하기 위해 통일된 훈련 및 평가 프로토콜을 수립했습니다:

• 데이터 분할: 각각 10 개의 무작위 생성 초기 도메인을 포함하는 세 가지 사전 정의된 분할 (훈련, 검증, 테스트).
• 시드 설정: 실험은 구성당 5 개의 무작위 시드와 10 개의 테스트 에피소드를 사용합니다.
• 평가 알고리즘: 본 연구는 Proximal Policy Optimization(PPO), Soft Actor-Critic(SAC), Differentiable Predictive Control(DPC), 및 Temporal Difference Learning for Model Predictive Control(TD-MPC) 을 벤치마크합니다.

주요 결과

알고리즘 성능

• SAC 대 PPO: 모든 난이도 수준과 환경에서 SAC 는 PPO 에 비해 기본 유동에 대한 정규화된 테스트 세트 상대 개선율이 일관되게 높았습니다. 그러나 다중 에이전트 설정에서는 PPO 와 SAC 의 성능이 더 비슷해졌는데, 이는 병렬화된 MARL 설정에서 PPO 가 증가된 샘플 수의 혜택을 받았기 때문일 가능성이 있습니다.
• 경계 기반 방법: DPC 는 샘플 효율성에서 상당한 우위를 보였습니다. CylinderJet2D-easy 환경에서 DPC 는 훈련 속도 측면에서 PPO 와 SAC 를 각각 약 1 개와 2 개의 차수만큼 능가했습니다. 더 난류가 심한 설정 (RBC2D-hard) 에서 DPC 는 TD-MPC 및 SAC 와 경쟁력을 유지하며 PPO 를 능가했습니다.
• 다중 에이전트 학습: RBC3D 환경에서 MARL 에이전트는 안정적인 대류 롤을 형성하기 위해 하단 벽 가열을 조정하는 방법을 성공적으로 학습하여, 프레임워크가 분산 협력을 지원할 수 있음을 입증했습니다.

전이 학습

• 차원성 전이: 2 차원에서 훈련된 정책은 3 차원 원통 환경으로 성공적으로 전이되었습니다. 쉬운 및 어려운 작업에서 전이된 2 차원 정책은 직접 3 차원에서 훈련된 베이스라인을 능가하거나与之 일치하여, 차원 간 전이에서의 견고성을 시사했습니다.
• 영역 크기 전이: 소규모 난류 채널 유동 영역에서 훈련된 정책은 더 큰 영역으로 효과적으로 일반화되어, 직접 대규모 영역에서 훈련된 정책을 능가했습니다. 이는 MARL 이 번역 등변 제어 전략을 학습할 수 있는 잠재력을 강조합니다.

런타임 및 효율성

• 훈련 시간: DPC 는 미분 가능 환경을 통한 역전파의 계산 비용으로 인해 표준 RL 에 비해 1.5~2 배 더 많은 월클락 훈련 시간을 소요했습니다.
• 확장성: 이 프레임워크는 연구 전체에 걸쳐 총 25,000 시간 이상의 GPU 시간을 포함하는 대규모 실험 작업 부하에 성공적으로 확장되었습니다.

중요성 및 주장

이 논문은 FluidGym 을 RL 연구와 유체 역학 간의 격차를 해소하는 기초 도구로 위치시킵니다. 그 주요 중요성은 다음과 같습니다:

1. 표준화: 외부 CFD 솔버 의존성의 장벽을 제거하는 첫 번째 독립형 플러그앤플레이 벤치마크를 제공하여 연구자의 진입 장벽을 낮춥니다.
2. 미분 가능성: AFC 벤치마크에서 이전에 부재했던 고전적 RL 과 경계 기반 제어 방법 간의 체계적 비교를 가능하게 하는 완전 미분 가능 환경을 확립합니다.
3. 포괄적 범위: 다양한 2 차원 및 3 차원 유동 영역에서 단일 에이전트 및 다중 에이전트 제어를 위한 통합 플랫폼을 제공하여 공간적으로 분산된 제어 전략 연구를 용이하게 합니다.
4. 재현성: 필드 내 재현성과 엄격한 통계적 비교를 장려하기 위해 모든 환경, 데이터셋, 훈련된 모델 및 실험 결과를 공개적으로 배포합니다.

저자들은 벤치마크가 중요한 진전이지만, 현재 CUDA 지원 GPU 에 대한 의존성과 알고리즘 특정 튜닝보다는 표준 하이퍼파라미터에 초점을 맞춘다는 한계가 있음을 지적합니다. 향후 작업은 마그네토하이드로다이나믹 (MHD) 유동으로 스위트를 확장하고 통계적 견고성을 더욱 강화하기 위해 무작위 시드 수를 늘리는 것을 목표로 합니다.