High-lift Wing Separation Control via Bayesian Optimization and Deep Reinforcement Learning

본 연구는 30P30N 고양력 날개에서 정상 제트 제어를 통해 개방형 베이지안 최적화가 10.9%의 공기역학적 효율 향상을 성공적으로 달성한 반면, 탐색을 제한하는 벌점 중심의 보상 함수로 인해 폐쇄형 심층 강화 학습은 미미한 개선만 보였음을 입증한다.

핵심

무거운 비행기를 조종하려 한다고 상상해 보세요. 안전하게 이착륙하려면 날개가 많은 양력을 발생시켜야 합니다. 이를 위해 엔지니어들은 날개의 모양을 바꾸기 위해 튀어나오는 추가 플랩과 슬랫 (작은 이동식 부품) 이 달린 '고양력 (high-lift)' 날개를 사용합니다.

그러나 급경사 각도 (비행기가 급격히 상승하거나 착륙할 때와 같은 상황) 에서는 이러한 추가 부품 위를 흐르는 공기가 혼란스러워지고 표면에서 분리되어 비행기가 양력을 잃는 '실속 (stall)' 현상을 일으킵니다. 이는 마치 두꺼운 군중 속을 달리는 것과 같습니다. 너무 빠르게 움직이거나 잘못된 각도로 움직이면 사람들이 부딪혀 효율적으로 전진할 수 없게 됩니다.

본 논문은 이 '혼란스러운 공기' 문제를 해결하기 위해 두 가지 다른 지능적 전략을 사용하고자 한 연구팀의 연구입니다. 연구팀은 '30P30N'이라는 특정 날개 설계에 대한 아이디어를 테스트하기 위해 초고급 컴퓨터 시뮬레이션 (가상 풍동과 유사) 을 사용했습니다.

문제를 해결하려는 그들의 시도를 간단히 설명하면 다음과 같습니다:

도구: '합성 제트 (Synthetic Jets)'

큰 기계식 플랩 대신 연구팀은 보이지 않는 미세한 '숨' 같은 공기 흐름을 사용했습니다. 날개 표면의 작은 구멍들을 통해 일정한 공기 흐름을 불어넣는다고 상상해 보세요. 이를 합성 제트라고 합니다. 이는 시스템에 추가 공기를 공급하는 것이 아니라 (단순히 공기를 이동시킬 뿐) 혼란스러운 공기 흐름을 매끄럽게 만들어 공기가 날개에 달라붙게 함으로써 비행기가 실속하는 것을 방지합니다.

전략 1: '지능적 탐색자' (베이지안 최적화)

첫 번째 방법은 매우 조직적인 보물 사냥꾼과 같습니다.

• 작동 원리: 컴퓨터는 날개의 앞쪽, 중간, 뒤쪽에서 공기를 불어내는 다양한 조합을 시도합니다. 단순히 무작위로 추측하는 것이 아니라, 각 시도에서 학습하기 위해 수학적 지도를 사용합니다. 특정 설정이 잘 작동하면 그 근처에서 더 나은 설정을 찾아봅니다.
• 결과: 이 방법은 매우 성공적이었습니다. 날개를 11% 더 효율적으로 만든 특정하고 일정한 '호흡' 패턴을 찾아냈습니다.
• 발생한 일: 이는 주로 날개의 앞부분 (슬랫) 에서 공기를 빨아들이는 방식으로 작동하여 흐름을 매끄럽게 하고 항력 (공기 저항) 을 줄였습니다. 이는 군중 속에서 누구와도 부딪히지 않고 걸어가는 완벽한 리듬을 찾은 것과 같습니다.

전략 2: '비디오 게임 플레이어' (심층 강화 학습)

두 번째 방법은 비디오 게임 캐릭터 (AI 에이전트) 를 비행 시뮬레이터에서 플레이하도록 훈련시키는 것과 같습니다.

• 작동 원리: 이 AI 는 날개의 센서들로부터 실시간 업데이트를 받습니다 (플레이어가 화면을 보는 것과 유사). 이는 현재 공기가 무엇을 하고 있는지에 따라 즉시 공기 '호흡'을 조정하려고 시도합니다. 목표는 인간이 알아차릴 수 없는 복잡하고 변화하는 공기 제어 춤을 배우는 것입니다.
• 결과: 이 방법은 어려움을 겪었습니다. AI 가 실시간 데이터에 접근할 수 있었음에도 불구하고 날개의 성능을 크게 향상시키지 못했습니다.
• 실패 원인: 연구자들은 AI 에게 부여한 '점수'가 너무 엄격했다는 것을 깨달았습니다. AI 는 양력을 아주 조금 잃는 것과 같은 실수를 두려워하여 새로운 것을 시도하는 것을 두려워하게 되었습니다. 거의 아무것도 개선하지 않는 안전하고 지루한 고리에 갇히게 된 것입니다. 이는 문제를 틀릴까 봐 너무 두려워하여 더 어려운 답을 시도하기 위해 손을 들지 않는 학생과 같습니다.

큰 교훈

이 연구는 다음과 같은 사실을 발견했습니다:

1. **'지능적 탐색자' (베이지안 최적화)**는 훌륭하게 작동했습니다. 매우 적은 컴퓨터 테스트로 날개를 훨씬 더 잘 날게 하는 단순하고 일정한 해결책을 찾았습니다.
2. **'비디오 게임 플레이어' (심층 강화 학습)**는 이 특정 사례에서는 잘 작동하지 않았습니다. 컴퓨터 실행 비용이 너무 비쌌습니다 (한 번의 훈련 세션에 슈퍼컴퓨터 시간이 두 주가 소요됨) 그리고 AI 의 '규칙'이 너무 엄격하여 최선의 움직임을 배우는 것을 방해했습니다.

요약하자면: 이 특정 날개 문제의 경우, 최상의 설정을 찾기 위한 체계적이고 꾸준한 탐색이 즉각적으로 반응하려는 첨단 AI 보다 더 잘 작동했습니다. 연구자들은 향후 이러한 '비디오 게임' AI 방법을 사용하려면 더 나은 규칙 (보상) 과 더 빠른 컴퓨터를 제공하여 실제로 더 잘 날 수 있도록 학습시켜야 한다고 결론지었습니다.

기술 요약

기술 요약: 베이지안 최적화 및 심층 강화학습을 통한 고양력 날개 분리 제어

문제 제기
본 연구는 이착륙 시 다중 요소 날개에 사용되는 벤치마크 형상인 30P30N 고양력 날개 구성에서 유동 분리를 제어하는 과제를 다룹니다. 구체적으로, 연구는 $\alpha = 23^\circ$의 높은 받음각과 $Re_c = 450,000$의 레이놀즈 수에서 실속을 완화하는 것을 목표로 합니다. 이러한 조건에서 유동은 주날개와 플랩 요소 사이의 전단층 분리에 의해 지배되며, 이는 공기역학적 성능을 저하시킵니다. 목표는 슬랫, 주날개, 플랩 요소에 합성 제트를 이용한 능동 유동 제어 (AFC) 를 적용하여 분리를 지연시키고 공기역학적 효율 ($E = C_l/C_d$) 을 향상시키는 것입니다. 본 연구는 오픈루프 베이지안 최적화 (BO) 와 클로즈드루프 심층 강화학습 (DRL) 의 두 가지 서로 다른 최적화 전략을 비교합니다.

방법론
본 연구는 필터링된 비압축성 나비에 - 스토크스 방정식을 스펙트럴 요소법으로 푸는 자체 개발 GPU 가속 CFD 솔버 SOD2D 를 사용하여 벽면 해상 Large-Eddy 시뮬레이션 (LES) 을 수행합니다. 계산 영역은 각각 흐름 방향, 횡방향, 스팬 방향으로 $20c \times 20c \times 0.1c$에 걸쳐 있습니다.

• 구동: 합성 제트는 슬랫 ($x/c = -0.050$), 주요소 ($x/c = 0.725$), 플랩 ($x/c = 1.0$) 에 배치됩니다. 제트는 순 질량 유속이 0 으로 작동하며, 플랩 제트 속도는 슬랫과 주 제트의 질량 유량을 균형 있게 맞추도록 제한됩니다.
• 베이지안 최적화 (BO): 이 오픈루프 접근법은 제트 속도를 고정된 매개변수로 간주합니다. 가우시안 프로세스 (GP) 대리 모델이 제어 입력과 공기역학적 출력 간의 관계를 근사화합니다. 목적 함수는 기준선 대비 양력 감소나 항력 증가에 대해 엄격한 패널티를 부과하면서 효율성을 최대화합니다. 최적화는 매개변수 공간을 반복적으로 샘플링하여 정상 상태 최적 구성을 찾습니다.
• 심층 강화학습 (DRL): 이 클로즈드루프 접근법은 다중 에이전트 강화학습 (MARL) 프레임워크를 활용합니다. 신경망으로 구현된 에이전트는 3 개 3D 영역에 걸친 78 개 센서로부터의 순간 압력 데이터를 입력으로 받아 시간 의존적 제트 속도를 출력합니다. 에이전트는 Proximal Policy Optimization (PPO) 알고리즘을 사용하여 훈련됩니다. 보상 함수는 BO 목적 함수와 유사하지만 각 의사 환경 (pseudo-environment) 에 대해 국소적으로 계산된 후 집계됩니다. 훈련 환경은 데이터 수집을 가속화하기 위해 10 개의 동시 CFD 시뮬레이션을 실행합니다.

주요 기여 및 결과

1. 기준선 검증: 제어되지 않은 LES 설정은 약간 더 높은 레이놀즈 수 ($750,000$) 에서 얻어진 문헌 데이터 (Montalà 등) 와 비교하여 검증되었습니다. 두 가지 메쉬 해상도가 사용되었습니다: 최적화 훈련을 위한 거친 메쉬 ($p=2$) 와 최종 평가를 위한 정밀 메쉬 ($p=4$) 입니다. 정밀 메쉬는 벽면 해상 통계 ($\Delta y^+ < 2$) 를 정확하게 포착한 반면, 거친 메쉬는 낮은 해상도로 인해 항력을 과소평가했음에도 불구하고 양력 계수와 유동 위상 추세를 성공적으로 포착하여 최적화 루프에서의 사용을 검증했습니다.

2. 베이지안 최적화의 성공: BO 프레임워크는 정밀 메쉬에서 기준선 대비 공기역학적 효율을 +10.9% 향상시킨 정상 제트 구성을 성공적으로 식별했습니다. 이 향상은 주로 양력을 유지하면서 ($+0.15\%$) 항력을 9.7% 감소시킴으로써 달성되었습니다. 유동 분석 결과, 슬랫에서의 흡입이 경계층을 얇게 만들고 슬랫 후미를 제거하여 항력 감소를 유도한 것으로 나타났습니다. 주날개와 플랩 요소에서의 항력은 더 큰 재순환 영역으로 인해 약간 증가했으나, 순 효과는 긍정적이었습니다. BO 방법은 수렴하는 데 19 회의 CFD 평가만 필요했습니다.

3. DRL 성능 및 한계: 반면, DRL 에이전트는 순간 유동 정보와 3 차원 구동을 위한 MARL 프레임워크를 활용했음에도 불구하고 미미한 향상만 달성했습니다. 에이전트는 항력을 약간 감소시키고 양력을 유지했으나, 공기역학적 효율 향상은 미미했습니다. 훈련 과정 분석 결과, 보상 함수가 패널티 항 (특히 양력 패널티) 에 의해 지배된 것으로 나타났습니다. 에이전트가 양력 패널티를 완전히 제거할 수 없었기 (양력이 결코 기준선을 초과하지 않음) 에 효율성 항은 정체되었습니다. 저자들은 보상 함수의 "경직된" 제약 조건이 에이전트의 제어 공간 탐색을 제한하여 지역 최적점에 갇히게 했을 가능성이 있다고 지적합니다.

4. 계산적 과제: 본 연구는 고레이놀즈 수 DRL 의 상당한 계산 비용을 강조합니다. 990 개의 MARL 에피소드를 훈련하는 데 MN5 슈퍼컴퓨터의 30 개 노드에서 약 2 주 (약 48,000 GPU 시간) 가 소요되었습니다. $Re_c = 450,000$에서의 LES 에 필요한 작은 시간 단계로 인해 유발된 이 비용은 초매개변수 조정이나 대안적 보상 형식 테스트 능력을 심각하게 제한했습니다.

의의 및 주장
본 논문은 BO 가 few evaluations 로 해석 가능한 정상 AFC 전략을 식별하는 데 강력하고 효율적인 도구인 반면, DRL 은 고레이놀즈 수 유동 제어에서 상당한 장애물에 직면한다고 주장합니다. 본 작업의 주요 의의는 다음을 입증하는 데 있습니다:

• BO 는 복잡한 3 차원 고양력 날개에서 실속을 완화하고 효율성을 향상시키기 위해 정상 합성 제트 구동을 효과적으로 최적화할 수 있습니다.
• DRL 의 경우, 보상 함수 설계가 결정적입니다; 패널티가 지배적인 보상은 탐색을 제한하고 성능 향상 정책의 발견을 방해할 수 있습니다.
• 계산 비용은 고레이놀즈 수에서의 DRL 기반 유동 제어에 대한 주요 병목 현상입니다. 저자들은 향후 진전이 단순히 현재 훈련 프로토콜을 확장하는 것이 아니라 대리 모델링, 낮은 레이놀즈 수에서의 전이 학습, 또는 병렬화 증가와 같은 가속화 전략에 달려 있다고 제안합니다.

본 연구는 특정 응용 분야에서 DRL 이 BO 보다 우월하다고 주장하지 않습니다. 대신, 현재의 계산 및 보상 제약 하에서 효율성 향상 측면에서 BO 가 클로즈드루프 DRL 접근법보다 더 우수했음을 보여주는 비교 분석을 제시합니다.