⚡ electrical engineering

Privileged observations enable rapid and reliable policy discovery directly in the physical world

이 논문은 카오스적인 물리 시스템에 대한 특권적 관측(privileged observations)이 강화 학습 에이전트가 실제 세계에서 직접 고성능 정책을 빠르게 발견할 수 있게 하는 데 결정적임을 입증하며, 그러한 유동 데이터를 결여한 에이전트들은 항력을 줄이는 전략은 성공적으로 학습했음에도 불구하고 항력을 증가시키는 전략은 학습하는 데 실패했다.

원저자: Antonio Terpin, Raffaello D'Andrea

게시일 2026-09-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Antonio Terpin, Raffaello D'Andrea

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

물속을 헤엄치는 수영객을 상상해 보십시오. 만약 그들이 자신 주변에서 소용돌이치는 조류를 볼 수 있다면, 저항을 가로지르는 방식으로 몸을 틀거나, 혹은 자신을 앞으로 밀어내기 위해 물을 붙잡는 방식으로 몸을 움직이는 법을 배울 수도 있을 것입니다. 이것이 바로 능동적 유동 제어(active flow control)의 본질입니다. 이는 엔지니어들이 물체의 이동을 개선하거나 정지 상태를 유지하기 위해, 보이지 않는 혼돈스러운 유체의 움직임을 조작하려고 노력하는 분야입니다. 수십 년 동안 과학자들은 흐름 속에서 실린더를 회전시키는 것이 물이 물체에 가하는 압력에 변화를 줄 수 있다는 사실을 알고 있었습니다. 때로는 일정한 회전이 항력을 줄여 물체가 더 쉽게 미끄러져 나가게 합니다. 반대로, 어떤 경우에는 특정한 리듬의 회전이 실제로 항력을 높여 물체를 뒤로 잡아두기도 합니다. 문제는 특히 물의 흐름이 예측하기 어렵고 무질서하기 때문에, 최선의 결과를 얻기 위해 그 회전의 정확한 타이밍과 속도를 찾아내는 일이었습니다.

보통 엔지니어들이 컴퓨터에게 이러한 시스템을 제어하는 법을 가르치고자 할 때, 그들은 물의 가상 모델을 구축하고 컴퓨터가 그 안에서 연습하게 합니다. 하지만 가상 모델은 결코 완벽할 수 없습니다. 실제 물이 가진 작고 무질서한 세부 사항들을 놓치기 때문입니다. 그래서 ETH 취리히의 연구진은 시뮬레이션을 완전히 건너뛰기로 했습니다. 그들은 물리적인 수로를 구축하고, 컴퓨터 에이전트가 실제의 요동치는 물로부터 직접 학습하도록 만들었습니다. 그들이 던진 질문은 단순하지만 심오했습니다. 물을 제어하는 최선의 방법을 배우기 위해서, 컴퓨터는 학습하는 동안 물이 물체 주변에서 소용돌이치는 모습을 반드시 보아야 하는가? 아니면 단지 물체가 받는 밀고 당기는 힘만을 느껴서도 그것을 알아낼 수 있는가?

연구진은 물이 루프를 그리며 순환하는 투명한 탱크인 탁상형 수로를 설치했습니다. 그 안에는 유동 속에 놓인 실린더가 있으며, 모터는 실린더를 어떤 속도나 방향으로든 회전시킬 수 있습니다. 실린더에 물이 얼마나 강하게 밀어붙이는지를 측정하기 위해, 그들은 민감한 토크 센서를 사용했습니다. 물을 관찰하기 위해 그들은 입자 영상 유속계(particle image velocimetry)라고 불리는 기술을 사용했습니다. 이는 미세한 입자가 포함된 물에 레이저 시트를 투사하고 빠르게 사진을 찍는 방식입니다. 사진 사이에서 이 입자들이 어떻게 움직이는지 추적함으로써, 컴퓨터는 실린더 바로 뒤편의 물의 속도와 방향에 대한 상세하고 실시간적인 지도를 구축할 수 있습니다. 이 지도는 '특권적 관측(privileged observation)'이며, 즉 학습 중에는 컴퓨터가 볼 수 있지만 나중에는 굳이 필요하지 않을 수도 있는 추가 정보입니다.

그들은 실린더를 제어하기 위해 범용 학습 에이전트(인공지능의 일종)를 훈련시켰습니다. 한 실험 세트에서 에이전트는 항력의 느낌과 물의 상세한 지도를 모두 제공받았습니다. 또 다른 실험 세트에서는 물의 지도를 숨긴 채 항력의 느낌만을 제공받았습니다. 목표는 두 가지였습니다. 첫째, 항력을 최대한 줄일 수 있는 회전 방식을 찾는 것, 둘 second, 항력을 최대한 높일 수 있는 회전 방식을 찾는 것이었습니다.

결과는 놀라웠으며 예상치 못한 비대칭성을 드러냈습니다. 에이전트가 물의 상세한 지도를 가졌을 때, 학습 속도는 믿기 힘들 정도로 빨랐습니다. 실제 물과 상호작용한 지 불과 몇 분 만에, 에이전트는 항력을 약 32% 감소시키는 전략을 발견했습니다. 또한 항력을 약 25% 증가시키는 전략도 빠르게 찾아냈습니다. 이 수치들은 수십 년간의 연구를 통해 개발된 기존의 가장 뛰어난 인간 설계 전략들과 일치하거나 오히려 이를 약간 상회하는 수준이었습니다.

그러나 연구진이 물의 지도를 숨기고 오직 항력 측정값만을 사용하여 학습하도록 강제했을 때, 이야기는 완전히 달라졌습니다. 에이절트는 항력을 줄이는 방법은 여전히 배울 수 있었으며, 결국 약 31%의 감소를 달-성했습니다. 다만 시간이 조금 더 걸렸고 변동성이 컸습니다. 하지만 항력을 높이는 것이 목표가 되었을 때, 에이전트는 실패했습니다. 물의 흐로를 보지 못하면, 아무도 항력을 유의미하게 높이는 전략을 학습하지 못했습니다. 최선의 전략이 존재하고 물리적으로도 가능한 상태였음에도 불구하고, 에이전트는 물이 더 강하게 밀어붙이도록 만드는 방법을 알아내지 못했습니다.

왜 이런 일이 발생했는지 이해하기 위해, 연구진은 물이 어떻게 움직이는지 면밀히 살펴보았습니다. 그들은 실린더가 회전을 시작할 때마다, 목표가 항력을 높이든 줄이든 상관없이 물이 일단 실린더를 덜 밀어내는 반응을 보인다는 것을 발견했습니다. 이 초기 항력 감소는 자연스러운 물리적 반응입니다. 항력을 줄이려는 에이전트에게 이 초기 감소는 자신이 올바른 방향으로 가고 있다는 도움이 되는 신호였습니다. 하지만 항력을 높이려는 에이전트에게 이 초기 감소는 혼란스러웠습니다. 그것은 자신이 달성하고자 하는 목표와 정반대의 느낌이었기 때문입니다. 물의 전체적인 그림을 파악하여 항력이 결국 상승할 것이라는 점을 이해할 수 있게 해주는 상세한 지도가 없었기에, 에이전트는 이 초기 하락 구간에 갇혀버려 올바른 전략을 배우지 못했습니다.

이어 연구진은 물의 지도를 가지고 학습한 전략을 지도 없이 사용할 수 있는지 테스트했습니다. 그들은 물의 지도를 가졌을 때 에이전트가 사용했던 정확한 회전 패턴을 기록한 뒤, 새로운 관찰 없이 그 패턴들을 고정된 순서로 다시 재생했습니다. 놀랍게도, 이 고정된 시퀀스들은 실시간으로 생각하는 에이전트만큼이나 잘 작동했습니다. 에이전트는 매우 효과적으로 작동하는 특정 움직임 세트를 학습했으며, 이를 실행하는 데는 계속해서 물을 관찰할 필요가 없었던 것입니다. 이는 물의 지도가 과업을 '수행'하는 데는 필요하지 않았지만, 과업을 '발견'하는 데는 절대적으로 필요했다는 것을 증명합니다.

이 발견은 학습에 있어 중요한 구분을 강조합니다. 해결책을 '찾는 데' 필요한 것과 그것을 '사용하는 데' 필요한 것은 종종 다릅니다. 이 경우, 물의 흐름에 대한 풍부하고 상세한 시야는 에이전트를 안내하며 유체의 혼란스러운 초기 반응을 헤쳐나가도록 돕는 스승 역할을 했습니다. 일단 에이전트가 올바른 길을 찾으면, 눈을 가리고도 그 길을 걸을 수 있었습니다. 이 연구는 복잡한 물리적 시스템에서 학습 단계 동안 추가적인 정보에 접근하는 것이, 비록 그 정보가 실제로 시스템이 작동할 때는 가용하지 않더라도 성공과 실패를 가르는 결정적인 요인이 될 수 있음을 시사합니다. 인공지능이 무질서하고 혼돈스러운 현실 세계를 마스터하기 위해서는, 실제로 사용하게 될 것보다 더 많은 것을 볼 수 있도록 허용되어야 할지도 모른다는 것을 보여줍니다.

기술 요약: 물리적 정책 발견을 위한 특권적 관측(Privileged Observations)

문제 정의
본 연구는 물리적 시스템에서 직접 강화 학습(RL) 에이전트를 훈련할 때, "특권 정보(privileged information)"—학습 중에는 사용 가능하지만 배포 시에는 사용 불가능할 수 있는 정보—가 고성능 정책의 발견에 어떤 영향을 미치는지 조사한다. 저자들은 모델링이나 시뮬레이션이 정확하기 어렵고, 무한 차원의 카오스적 비선형 역학(나비에-스토크스 방정식에 의해 지배됨)을 특징으로 하는 도메인인 **능동 유동 제어(active flow control)**에 초점을 맞춘다. 구체적인 과제는 물 채널 내 실린더의 회전을 제어하여 작용하는 유체 역학적 항력(drag)을 최소화하거나 최대화하는 것이다. 수십 년 된 실험 연구들을 통해 단순하고 주기적인 개루프(open-loop) 정책(예: 사인파 형태의 회전)이 항력을 크게 변화시킬 수 있음이 입증되었으나, 사전 지식 없이 이러한 효과적인 시퀀스를 자율적으로 발견하는 것은 여전히 어려운 과제이다.

방법론
저자들은 실시간 하드웨어 가속 입자 영상 유속계(PIV) 시스템이 장착된 저비용 탁상형 순환 수로(CWC)를 설계 및 배치하였다. 이 설정은 밀도가 높고 전체 영역을 아우르는 유동 관측(속도 벡터 및 와도)을 계산하여 학습 중에 에이전트에게 제공할 수 있게 한다.

시스템: 반지름 $R=0.021$ m인 실린더가 제한된 수로 내에서 브러시리스 모터에 의해 회전한다. 유동은 프로펠러에 의해 구동되며 허니콤 구조와 가이드 베인에 의해 안정화된다. 레이놀즈 수는 약 $5.0 \times 10^3$ 이다.
에이전트: 저자들은 특정 작업에 대한 귀납적 편향(inductive bias) 없이 기본 하이퍼파라미터를 사용하는 범용 모델 기반 RL 알고리즘인 DreamerV3를 활용한다.
관측 세트: 본 연구는 두 가지 관측 구성을 비교한다:
1. 확장 세트(Augmented Set): 표준 스칼라 항력 측정값, 이전 명령 회전율, 모터 피드백, 그리고 PIV 시스템으로부터 얻은 조밀한 유동장 추정치를 포함한다.
2. 축소 세트(Reduced Set): 스칼라 항력 측정값, 이전 명령, 모터 피드백만을 포함하며 유동 관측치는 제외한다.
보상: 보상은 에피소드 시작 시점 대비 항력의 변화량( $r_t = s(d_t - d_0)$ )으로 정의된다. 여기서 극대화를 위해서는 $s=+1$ , 최소화를 위해서는 $s=-1$ 이다.
프로토콜: 학습은 60분 예산(60 에피소드) 동안 물리적 시스템에서 직접 수행된다. 저자들은 관측 세트, 모델 크기, 학습 알고리즘을 변화시키며 광범위한 절제 실험(ablation)을 수행한다. 또한 성공적인 온라인 실행 중의 액션 궤적을 기록한 뒤, 이를 고정된 개루프 시퀀스로 재생하여 온라인 피드백이 실행에 필수적인지 테스트한다.

주요 결과
실험 결과, 작업 목표에 따라 특권적 관측이 정책 발견에 미치는 영향에 현저한 비대칭성이 있음이 드러났다.

항력 극대화:
- 유동 관측 포함 시: 에이전트는 수십 분 이내에 항력을 25.5% ± 0.9% 증가시키며 고성능 정책을 빠르게 발견한다.
- 유동 관측 미포함 시: 에이전트는 10번의 모든 학습 실행에서 고성능 정책을 발견하는 데 실패하며, 단 **1.8% ± 4.3%**의 미미한 증가만을 달성했다.
- 재생(Replay): 온라인 실행(유동 관측 포함) 중에 기록된 액션 궤적을 관측 없이 개루프 방식으로 재생해도 **23.2% ± 2.2%**의 항력 증가를 달 수 있었다. 이는 이러한 액션들을 실행하는 데 연속적인 유동 피드백이 필요하지는 않지만, 그 액션들을 발견하는 데는 피드백이 필요함을 입증한다.
항력 최소화:
- 유동 관측 포함 시: 에이전트는 항력을 32.4% ± 1.6% 감소시키는 법을 배운다.
- 유동 관측 미포함 시: 에이전트는 여전히 성공하여 항력을 31.4% ± 2.1% 감소시키지만, 학습 속도가 느리고 변동성이 크다.
- 재생: 기록된 궤적의 개루프 재생은 **32.1% ± 3.0%**의 감소를 달성하여 온라인 실행과 유사한 결과를 보였다.
비대칭성의 메커니즘:
저자들은 "궤적 수준의 역반응(trajectory-level inverse response)"을 이 비대칭성의 원인으로 지목했다. **94.4%**의 온라인 궤적에서, 에이전트의 초기 액션은 최종 목표와 상관없이 즉각적인 항력 감소를 일으킨다.
- 최소화의 경우, 이 초기 감소는 긍정적인 학습 신호를 제공하여 유동 데이터 없이도 에이전트가 정책을 개선할 수 있게 한다.
- 극대화의 경우, 이 초기 감소는 목표에 반하는 부정적인 학습 신호로 작용하여 에이전트를 오도한다. 특권 유동 관측은 에이전트가 기저의 유동 역학을 "볼 수" 있게 하여 이러한 초기 실수(non-minimum phase 동작)를 교정하고, 직관에 반하는 고항력 전략을 발견할 수 있게 한다.
절제 실험(Ablations):
- 유동 관측 없이 항력을 극대화하는 데 발생하는 실패는 다양한 모델 크기(1M vs. 25M 파라미터)와 학습 알고리즘(PPO, SAC) 전반에 걸쳐 지속되었으며, 이는 결과가 특정 아키텍처의 산물이 아님을 확인시켜 준다.
- 비대칭성은 서로 다른 관측 세트 구성에서도 견고하게 나타난다.

의의 및 주장
본 논문은 결과적인 최적 액션이 해당 관측 없이도 개루프 실행이 가능한 상황에서도, 특권적 관측이 정책 발견에 결정적일 수 있음을 보여주는 첫 번째 물리적 시연이라고 주장한다.

발견과 실행의 분리: 본 연구는 고성능 정책을 찾는 것의 난이도와, 그 정책을 실행할 때 풍부한 관측치를 사용해야 하는 필요성을 구분한다. 기록된 궤적의 개루프 재생을 통해, 고항력 전략을 실행하는 데는 조밀한 유동장이 엄격히 필요하지 않더라도, 초기 역반응(non-minimum phase behavior)이 존재하는 상황에서 RL 에이전트가 그 전략을 발견하기 위해서는 풍부한 유동 데이터가 필수적임을 보여준다.
물리적 RL의 타당성: 이 작업은 고충실도 시뮬레이션에 의존하지 않고도 풍부한 특권 학습 데이터를 제공받는다면, 범용 RL 에이전트가 복잡하고 카오스적인 실제 유체 시스템에서 복잡한 제어 정책을 빠르고 안정적으로 발견할 수 있음을 입증한다.
실질적 시사점: 이러한 결과는 실험실 훈련 단계에서 풍부하고 비용이 많이 들거나 계산 집약적인 센싱(예: 전체 영역 PIV)이 정책 발견을 "부트스트래핑(bootstrap)"하는 데 매우 가치 있을 수 있음을 시사한다. 훈련된 정책은 이후 축소된 관측 세트로도 효과적으로 작동할 수 있다.

저자들은 결과가 테스트된 보상 규격, 학습 예산, 그리고 실험 장치의 강한 벽 폐쇄형 유동 조건에 국한된다는 점을 언급하며 일반화에 대해 신중한 태도를 유지했다. 그들은 이 연구를 관측 가능성이 물리적 역학과 어떻게 상호작용하여 학습 결과의 형태를 결정하는지 매핑하기 위한 출발점으로 제시한다.

유사한 논문