🔬 physics

Heuristic Learning for Active Flow Control Using Coding Agents

이 논문은 코딩 에이전트를 사용하여 능동 유동 제어를 위한 명시적이고 해석 가능한 피드백 법칙을 직접 탐색하는 휴리스틱 학습 프레임워크를 소개하며, 이 접근 방식이 13개의 벤치마크에서 최첨단 심층 강화 학습과 대등하거나 이를 능가하는 성능을 보이면서도 더 높은 투명성과 물리적 통찰력을 제공함을 입증한다.

원저자: Paul Garnier, Jonathan Viquerat, Elie Hachem

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Garnier, Jonathan Viquerat, Elie Hachem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 까다롭고 보이지 않는 배를 폭풍우가 치는 강에서 조종하는 법을 로봇에게 가르치려 한다고 상상해 보세요. 강에는 숨겨진 소용돌이와 갑작스러운 파도가 가득하며, 당신은 오직 눈앞의 아주 작은 물줄기만을 볼 수 있습니다. 당신의 목표는 배가 충돌하거나 연료를 낭비하지 않고 부드럽게 움직이도록 유지하는 것입니다.

오랫동안 과학자들은 이 문제를 해결하기 위해 **심층 강화 학습(Deep Reinforcement Learning, DRL)**을 사용해 왔습니다. DRL을 아주 똑똑하지만 신비로운 견습생이라고 생각해 보세요. 당신은 컴퓨터 시뮬레이션 속에서 이 견습생이 배를 수천 번쯤 충돌하게 내버려 두며, 모든 실수로부터 배우게 합니다. 결국 견습생은 조종에 매우 능숙해집니다. 하지만 여기 함정이 있습니다. 견습생의 뇌는 거대하고 엉킨 숫자들의 그물망(신경망)입니다. 심지어 과학자들조차 그 내부를 들여다보며 "아, 알겠군! 물이 빠르게 흐르고 있어서 키를 왼쪽으로 돌리는구나"라고 쉽게 말할 수 없습니다. 이것은 작동은 하지만 아무도 어떻게 생각하는지 알 수 없는 '블랙박스'입니다. 게 plus, 이 견습생을 훈련시키는 데는 엄청난 양의 컴퓨터 연산 능력과 시간이 소요됩니다.

이 논문에서 저자들인 폴 가니에(Paul Garnier)와 그의 팀은 완전히 다른 접근 방식을 시도했습니다. 대신 그들은 신비로운 견습생을 고용하는 대신, **코딩 에이전트(Coding Agent)**를 고용했습니다. 이는 지치지 않는 유능한 로봇 프로그래머라고 생각하면 됩니다.

새로운 전략: 느낌을 배우는 것이 아니라 규칙을 작성하기
연구진은 코딩 에이전트에게 보이지 않는 수백만 개의 숫자를 미세하게 조정하게 하는 대신, 실제 읽을 수 있는 컴퓨터 코드를 작성하여 조종 규칙으로 삼으라고 요청했습니다. 이는 마치 에이전트에게 간단한 레시피를 쓰라고 요청하는 것과 같습니다. "만약 왼쪽의 물결이 출렁거린다면, 11초를 기다렸다가 키를 약간 오른쪽으로 밀어라."

에이전트는 레시피를 시도해 보고, 배가 충돌하는지 확인하기 위해 시뮬레이션을 실행하며, 만약 충돌한다면 에이전트는 레시피를 다시 작성합니다. 에이전트는 무엇이 성공했고 무엇이 실패했는지 기록한 자신의 '일기'를 계속 읽으며 완벽하게 작동하는 일련의 지침을 찾을 때까지 이 과정을 반복합니다.

그들이 발견한 것 (좋은 소식)
팀은 이 새로운 "로봇 프로그래머" 방법을 단순한 2D 흐름부터 복잡한 3D 난류 채널에 이르기까지 13가지의 서로 다른 유체 역학 과제에 테스트했습니다. 그들은 코딩 에이전트에게 최고의 DRL 견습생과 동일한 양의 컴퓨터 시간과 동일한 규칙을 부여했습니다.

결과는 놀라웠습니다:

13가지 과제 중 10가지에서 로봇 프로그래머는 최고의 DRL 견습생만큼 좋거나 심지어 더 나은 조종 규칙을 찾아냈습니다.
특히 한 가지 3D 난류 채널 테스트에서는, 이 새로운 방법이 항력(공기/물 저항)을 거의 40% 줄였는데, 이는 DRL 방식이 약 30%를 줄였던 것보다 뛰어난 성과입니다.
가장 뛰어난 로봇 프로그래머(이름을 "Codex"라 함)는 압축적이고, 읽기 쉬우며, 인간이 이해하기 쉬운 솔루션을 찾아냈습니다. 당신은 실제로 코드를 보고 논리를 이해할 수 있습니다: "아, 파도가 지나가기를 기다리기 위해 지연 시간을 사용하는구나!"

그들이 제외한 것 ("안 되는 영역")
이 논문은 이 방법이 무엇이 아닌지에 대해 매우 엄격합니다.

이것은 제한 없이 작동하는 마법의 기술이 아닙니다. 연구진은 AI가 시뮬레이션의 "숨겨진" 부분을 훔쳐보거나 게임의 규칙을 바꾸는 등의 부정행위를 하는 것을 명시적으로 차단했습니다. 로봇 프로그래머는 DRL 견습생과 똑같이 엄격한 규칙을 따라야 했습니다.
이것은 항상 더 나은 것은 아닙니다. 13가지 중 3가지 사례에서는 로봇 프로그래머가 DRL 견습생을 따라잡지 못했습니다. 논문은 이 새로운 방법이 강력한 경쟁자이긴 하지만, 아직 모든 문제를 완전히 해결한 것은 아니라고 시사합니다.
이것은 더 많은 정보를 갖는 것에 관한 것이 아닙니다. 팀은 로봇 프로그래머에게 몇 개의 센서 대신 전체 강의 모습(전체 메쉬 필드)을 보여주는 초강력한 시야를 제공해 보았습니다. 놀랍게도 이는 도움이 되지 않았으며, 오히려 탐색을 더 어렵게 만들기도 했습니다. 논문은 너무 많은 데이터가 있으면 단순하고 명확한 규칙을 찾는 과정을 방해할 수 있다고 제안합니다.

얼마나 확신하는가?
저자들은 통제된 시뮬레이션 환경에서 실험을 수행했기 때문에 자신들의 수치를 신뢰합니다. 그들은 단순히 추측한 것이 아니라 측정했습니다.

그들은 로봇 프로그래머가 대부분의 경우에서 최고의 DRL 방식과 일치하거나 능가하는 규칙을 찾을 수 있음을 증명했습니다.
그들은 이 규칙들이 **잘 전이된다(transfer well)**는 것을 보여주었습니다. 예를 들어, 5개의 분사구(actuator)가 있는 강을 위해 작성된 규칙은 처음부터 다시 시작할 필요 없이 약간만 수정하면 10개의 분사구가 있는 강에서도 완벽하게 작동할 수 있었습니다.
그들은 이 규칙들이 **강건하다(robust)**는 것을 발견했습니다. 심지어 센서의 수를 줄여 시야가 매우 흐릿해졌을 때도, 로봇 프로그래머는 여전히 좋은 솔루션을 찾아낸 반면 DRL 견습생은 크게 고전했습니다.

큰 그림
이 논문은 유체의 흐름을 제어하기 위해 반드시 그 거대하고 신비로운 신경망에만 의존할 필요는 없을지도 모른다는 점을 시사합니다. 현대적인 코딩 에이전트를 사용하여 단순하고 인간이 읽을 수 있는 규칙을 탐색함으로써, 우리는 왜 컨트롤러가 그런 결정을 내리는지 마침내 이해하면서도 동일하거나 더 나은 성능을 얻을 수 있습니다. 이는 마치 마법 지팡이를 사용하는 대신, 누구나 읽고, 수정하고, 신뢰할 수 있는 명확한 단계별 지침서를 사용하는 것과 같습니다.

저자들은 이러한 "휴리스틱 학습(heuristic learning)"이 전통적인 방법의 신뢰할 수 있고 흥미로운 대안이라고 결론짓습니다. 이는 AI의 힘과 인간 논리의 명확성을 결합한 것입니다. 그들은 또한 자신들의 코드와 프롬프트를 다른 이들도 시도해 볼 수 있도록 공개함으로써, 이것이 단순한 비밀 기술이 아니라 자연의 보이지 않는 힘을 제어하는 방법에 대한 새로운 사고방식임을 증명했습니다.

기술 요약: 코딩 에이전트를 이용한 휴리스틱 학습 기반 능동 유동 제어

문제 정의

능동 유동 제어(Active Flow Control)는 비선형 역학, 부분 관측 가능성, 그리고 수치 시뮬레이션의 높은 계산 비용으로 인해 전산 유체 역학(CFD) 분야에서 중요한 과제를 안겨줍니다. 심층 강화 학습(DRL)이 이 문제에 대한 지배적인 프레임워크로 자리 잡았으나, 다음과 같은 두 가지 주요 한계점을 가집니다:

샘플 비효율성: 훈련 과정에서 방대한 양의 시뮬레이터 상호작용(rollout)이 필요하며, 각 상호작용은 비용이 많이 드는 CFD 솔루션을 포함합니다.
해석 가능성 부족: 결과물인 컨트롤러는 불투명한 의사 결정 과정을 가진 신경망이므로, 이를 분석하거나 수정하거나 관련 구성으로 전이하기가 어렵습니다.

저자들은 보완적인 과학적 질문을 던집니다: 명시적이고 인간이 읽을 수 있는 제어 법칙을 자동으로 발견할 수 있는가? 이 법칙이 최첨단 DRL과 경쟁 가능한 수준이면서도 해석 가능성과 직접적인 검사 가능성을 제공할 수 있는가?

방법론: 코딩 에이전트를 통한 휴리스틱 학습

본 논문은 신경망 파라미터를 최적화하는 것에서 벗어나, 명시적인 실행 가능한 프로그램의 공간을 직접 탐색하는 패러다임의 전환을 제안합니다. 이는 현대적인 코딩 에이전트(코드 생성 능력을 갖춘 대규모 언어 모델)를 제한된 휴리스틱 학습 프로토콜 내에서 활용함으로써 달성됩니다.

핵심 프레임워크

이 프로세스는 컨트롤러를 명시적인 내부 메모리 $m_t$ 를 가진 실행 가능한 프로그램 $c$ 로 취급합니다. 에이전트는 숨겨진 시뮬레이터 상태에 접근하지 않고, 오직 관찰된 성능에만 기반하여 이러한 프로그램을 반복적으로 제안, 평가 및 수정합니다.

최적화 루프:

인터페이스 검사: 에이전트는 공개 벤치마크 인터페이스(관측 구조, 액션 범위, 보상 정의)를 분석합니다.
정책 제안: 에이전트는 압축적이고 실행 가능한 컨트롤러(예: 피드백 법칙, 지연 필터, 유한 상태 머신, 공간 투영 등)를 작성합니다.
평가: 컨트롤러는 시뮬레이터 내의 결정론적 롤아웃(deterministic rollouts)을 통해 테스트됩니다. 점수, 진단 데이터 및 액션 트레이스가 기록됩니다.
수정: "검색 레저(search ledger)"(성공, 실패 및 물리적 지표에 대한 축적된 증거)를 바탕으로, 에이전트는 컨트롤러의 구조, 이득(gain), 지연(delay) 또는 로직을 정교화합니다.
검증 및 단순화: 생존한 컨트롤러는 보지 못한 시드(seed)나 더 긴 호라이즌에 대한 절제 연구(ablation studies) 및 검증을 거칩니다.

엄격한 제약 조건

DRL과의 공정한 비교를 위해, 프레임워크는 세 가지 명시적 제약 조건을 강제합니다:

동일한 예산: 휴리스틱 탐색은 대응하는 DRL 베이스라인과 정확히 동일한 총 시뮬레이션 예산(환경 상호작용)을 할당받습니다. 효과적이지 않은 후보의 조기 종료 또한 예산에 포함됩니다.
공개 인터페이스만 사용: 에이전트는 시뮬레이터를 수정하거나, 숨겨진 변수에 접근하거나, 공식 제어 인터페이스를 우회하는 것이 금지됩니다.
명시적 유효성: 컨트롤러는 오직 공개된 관측값에만 의존해야 하며, 불투명한 사전 학습된 신경망을 로드해서는 안 됩니다. 이들은 완전히 검사 가능해야 하며 훈련 없이 실행 가능해야 합니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

재현 가능한 프로토콜: 엄격한 공개 인터페이스 제약 조건 하에서 코딩 에이전트가 명시적 피드백 컨트롤러를 자율적으로 탐색하는 휴리스틱 학습 프로토콜을 도입했습니다.
포괄적 평가: 여러 코딩 에이전트(Codex, Claude, Fable, Gemini)와 강력한 DRL 베이스라인(PPO, SAC, TD3)을 사용하여 13개의 유체 역학 제어 벤치마크(1D, 2D, 3D 문제 포함)에 걸쳐 이 프로토콜을 평가했습니다.
성능 및 해석 가능성: 자동으로 발견된 휴리스틱 컨트롤러가 13개 환경 중 10개에서 최상의 DRL 정책과 대등하거나 이를 능가함을 입증하였으며, 동시에 압축적이고 물리적으로 해석 가능한 형태를 유지함을 보여주었습니다.
강건성 분석: 전이 학습, 가변 차원 액션 공간, 희소 관측 설정을 통한 접근 방식의 일반화 능력을 조사했습니다.

주요 결과

성능 비교

벤치마크 성공: 휴리스틱 접근 방식은 13개 환경 중 10개에서 최상의 DRL 성능에 도달하거나 이를 초과했습니다.
구체적 개선 사항:
- 3D 난류 채널 유동(Turbulent Channel Flow) 벤치마크에서, 발견된 휴리스틱은 최상의 DRL 베이스라인 대비 정규화된 점수를 약 50% 향상시켰으며, 이는 항력 감소 측면에서 DRL(~30%) 대비 약 40%에 달하는 수치입니다.
- 2D 실린더 제트(Cylinder Jet) 벤치마크에서는, 원래의 훈련 호라이즌 동안에는 휴리스틱이 최상의 DRL 점수보다 약간 낮았으나, 장기 호라이즌 안정성(long-horizon stability) 측면에서 우월함을 보였습니다. 400 타임 스텝(원래 80 스텝) 동안 평가했을 때, DRL 정책(PPO)은 안정성을 잃었으나, 휴리스틱과 SAC는 안정성을 유지했습니다. 이는 휴리스틱이 더 일반화 가능한 피드백 전략을 포착했음을 시사합니다.

에이전트 비교

모델 성능: 테스트된 에이전트 중 Codex(GPT-5.5)가 가장 우수한 성능을 보였고, 그 뒤를 Fable 5, Claude Opus 4.7, Gemini 3 Pro가 이었습니다. Codex는 테스트된 7개 BEACON 환경 중 5개에서 가장 높은 점수를 기록했습니다.
비용 효율성: Codex는 가장 높은 절대적 토큰 비용을 가졌으나, 벤치마크 점수로 정규화했을 때 Fable 5가 가장 유리한 성능 대비 비용 비율을 제공했습니다.

강건성 및 전이

전이 학습: 더 단순한 구성에서 복잡한 구성으로(예: 레이놀즈 수 변화, 액추에이터 수 증가) 전이된 컨트롤러는 원래의 성능을 회복하거나 초과하기 위해 미세한 파라미터 조정(예: 지연 또는 이득 값 변경)만을 필요로 했습니다. 이는 완전한 재학습이 필요한 DRL과 대조적입니다.
희소 관측: 휴리스틱 탐색은 센서 수가 192개에서 12개로 줄어든 상황에서도 강건함을 유지했으며, 희소 영역에서 TD3를 능가하고 더 빠르게 수렴했습니다.
관측 차원: 흥로하게도, 전체 필드 메쉬 관측을 제공하는 것이 반드시 성능 향상으로 이어지지는 않았습니다. 일부 경우, 관측 공간의 확장이 제한적이고 물리적으로 의미 있는 프로브를 사용하는 것보다 최적의 명시적 컨트롤러 발견을 저해하는 것으로 나타났습니다

정책 구조 및 물리적 통찰

본 논문은 발견된 컨트롤러의 구조를 분석하여 물리적 해석 가능성을 입증합니다:

Shkadov (Falling Film): 에이전트는 지연된 형상 피드백(delayed shape feedback) 메커니즘을 발견했습니다. 성공적인 제어를 위해서는 국부적인 파형 기하학 특징(평균, 기울기, 곡률)을 추출하고, 상류 감지와 하류 파동 전파를 동기화하기 위해 특정 전달 지연 후 액추에이션을 적용해야 함을 식별했습니다.
난류 채널 유동(Turbulent Channel Flow): 컨트롤러는 **정규화된 국부 벽면 피드백(normalized local wall feedback)**을 활용했습니다. 에이전트는 평균 및 표준 편차에 대해 벽면 속도 변동을 정규화한 후 분산된 피드백 신호를 적용하는 법을 학습했습니다. 절제 연구를 통해 상대적 변동이 절대값이 아닌 핵심 제어 변수임을 확인했습니다.
PPO와의 비교: 실린더 제트 벤치마크에서 휴리틱과 PPO 정책은 준정상(quasi-stationary) 영역 동안 순시 제어 결정에서 높은 일치성(평균 절대 차이 0.2852)을 보였으며, 이는 두 모델이 서로 다른 표현 공간을 사용함에도 불구하고 호환 가능한 피드백 메커니즘을 학습했음을 시사합니다.

의의 및 주장

저자들은 코딩 에이전트를 통한 휴리스틱 학습이 기존 강화 학습에 대한 신뢰할 수 있고 보완적인 대안이 된다고 주장합니다.

해석 가능성: 신경망과 달리, 결과물인 컨트롤러는 유체 역학자들이 검사, 수정 및 전이할 수 있는 명시적인 프로그램입니다.
경쟁력 있는 성능: 이 방법은 해석 가능성을 위해 성능을 희생하지 않으며, 대부분의 시나리오에서 DRL과 대등하거나 이를 능가합니다.
물리적 통찰: 탐색 과정은 인간의 사전 규정 없이도 물리적으로 의미 있는 메커니즘(예: 전달 지연, 국부 피드백 정규화)을 자연스럽게 회복합니다.
프로토콜의 중요성: 본 논문은 에이전트를 공개 인터페이스에 제한하고 동일한 예산을 부여하는 엄격한 실험 프로토콜이 필수적임을 강조합니다. 이는 에이전트가 유효한 제어 전략을 발견하는 대신 시뮬레이터의 허점을 악용하는 것을 방지하기 위함입니다.

이 연구는 현대 AI의 최적화 능력과 전통적인 계산 유체 역학에서 추구하는 물리적 통찰력이 결합된 미래의 컨트롤러 설계 방향을 제시합니다.