The Reward Function and the Least Cost Principle for Gravitation and other Laws of Physics

이 논문은 중력과 쿨롱 힘과 같은 물리 법칙을 역최적 제어 관점에서 해석하여, 가속도 비용과 상태 의존적 보상 함수의 차이를 최소화하는 '최소 비용 원리'를 도출하고, 이를 통해 상대적 속도가 높고 거리 벡터에 수직인 운동이 자연의 중심력에 의해 최적화되는 역동적 및 정적 특징임을 규명했습니다.

핵심

1. 핵심 아이디어: "우주는 가장 아끼는 길을 간다" (최소 비용 원칙)

우리가 어떤 일을 할 때, 보통 최대한 적은 노력으로 가장 좋은 결과를 얻으려 합니다. 예를 들어, 산을 오를 때 가장 가파른 길보다는 완만한 길을 선택하거나, 길을 찾을 때 가장 짧은 거리를 택하는 것처럼 말이죠.

이 논문은 우주 전체가 마치 그런 '현명한 여행자'처럼 행동한다고 말합니다.

• 비용 (Cost): 물체가 너무 급하게 가속하거나 방향을 급격히 바꾸는 것 (힘을 세게 쓰는 것) 은 '비용'이 많이 듭니다. 우주는 힘을 아끼려 합니다.
• 보상 (Reward): 하지만 단순히 힘만 아끼면 물체는 그냥 직선으로 멈추거나 느리게 움직일 뿐입니다. 우주는 재미있고 복잡한 움직임을 원합니다. 그래서 '보상'을 줍니다.

비유:

우주는 가난하지만 예술가인 여행객입니다.

• 지갑 (에너지/힘): 매우 얇아서 큰 지출 (강한 가속도) 을 피하려 합니다.
• 목표 (보상): 하지만 단순히 누워있는 것보다 춤을 추거나 원을 그리며 이동하는 것을 더 좋아합니다.

결국 우주는 **"힘을 거의 쓰지 않으면서도, 가장 화려하게 움직이는 방법"**을 찾아낸 것입니다. 이것이 바로 중력이나 전기력이 작동하는 방식입니다.

2. 우주에서 '보상'을 주는 두 가지 조건

논문의 가장 큰 발견은, 자연의 힘이 물체들에게 **"어떤 상황에서 보상을 주는가?"**를 수학적으로 찾아냈다는 점입니다. 이 보상은 두 가지 상황에서 가장 많이 주어집니다.

① "서로 빠르게 움직여라!" (상대적 운동)

두 물체가 서로를 향해 빠르게 다가오거나, 멀어지거나, 옆으로 빠르게 지나갈 때 보상이 큽니다.

• 비유: 친구와 함께 놀이터에서 서로 마주 보며 빠르게 달리는 것이나 서로 뒤쫓으며 달리는 것이 가장 재미있다는 뜻입니다. 서로 가만히 있는 것보다, 서로에 대해 활발하게 움직일 때 우주는 "잘했어!"라고 칭찬 (보상) 을 줍니다.

② "원형으로 돌면서 춤춰라!" (원 궤도 운동)

두 물체가 서로를 향해 직선으로 쏜살같이 날아가는 것보다는, 서로를 중심으로 원형 (또는 타원) 으로 빙글빙글 도는 것을 더 좋아합니다.

• 비유: 두 사람이 손을 잡고 원형으로 춤을 추는 것이, 서로를 향해 부딪히거나 뒤로 미는 것보다 훨씬 더 '우아하고 효율적'이라는 뜻입니다. 중력이 행성들을 태양 주위로 원형 궤도에 묶어두는 이유가 바로 이 '원형 춤'이 우주에서 가장 높은 보상을 받기 때문입니다.

3. 왜 이것이 중요한가? (복잡성의 탄생)

만약 우주가 단순히 "힘을 아끼는 것"만 중요시했다면, 모든 물체는 정지해 있거나 일직선으로 미끄러졌을 것입니다. 하지만 이 논문이 발견한 '보상 규칙' 덕분에 우주는 다음과 같은 멋진 현상을 만들어냈습니다.

• 행성들이 태양 주위를 도는 것.
• 전자가 원자핵 주위를 도는 것.
• 은하들이 나선형으로 회전하는 것.

이 모든 것이 **"적은 힘으로 최대한의 움직임을 만들어내는 최적의 전략"**입니다. 저자는 이 복잡한 움직임이 우주의 **복잡성 (Complexity)**과 생명이 탄생할 수 있는 토대가 되었다고 말합니다. 즉, 우리가 사는 우주가 이렇게 '재미있고' '구조화된' 모습을 가진 이유는, 자연 법칙이 가장 효율적인 '춤'을 추도록 설계되었기 때문입니다.

4. 요약: 우주 설계자의 메모

이 논문을 한 문장으로 요약하면 다음과 같습니다.

"우주의 힘 (중력, 전기력) 은 물체들이 힘을 거의 쓰지 않으면서도, 서로 빠르게 움직이고 원형으로 춤추도록 유도하는 '최적의 보상 시스템'을 통해 작동한다."

우리는 이제 중력이 물체를 '끌어당긴다'는 단순한 설명을 넘어, 우주가 왜 이렇게 움직이게 만들었는지에 대한 더 깊은, 마치 게임의 규칙을 설계한 듯한 통찰을 얻게 되었습니다. 자연은 단순한 기계가 아니라, 가장 효율적이고 아름다운 움직임을 추구하는 예술가일지도 모릅니다.

기술 요약

논문 요약: 중력과 기타 물리 법칙을 위한 보상 함수 및 최소 비용 원리

저자: Rubén Moreno-Bote (Universitat Pompeu Fabra)
핵심 주제: 역 최적 제어 (Inverse Optimal Control, IOC) 를 활용하여 뉴턴 중력과 쿨롱 힘과 같은 자연계의 힘이 어떤 '보상 함수 (Reward Function)'를 최적화하는지 규명하고, 이를 통해 새로운 '최소 비용 원리 (Least Cost Principle)'를 제시함.

---

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 우주가 특정 설계를 따른다면, 관측된 힘들이 최적화하는 비용 함수 (Cost Function) 또는 보상 함수가 무엇인지에 대한 질문이 제기됩니다. 이는 역 최적 제어 (IOC) 또는 역 강화 학습 (Inverse Reinforcement Learning) 의 문제로, 관측된 시스템의 동역학으로부터 보상 함수를 추론하는 것입니다.
• 문제: 고전 역학 (뉴턴 중력, 쿨롱 힘 등) 에서 힘의 형태는 알려져 있지만, 이러한 힘들이 어떤 목적 함수 (보상) 를 달성하기 위해 존재하는지에 대한 수학적 근거는 확립되지 않았습니다. 기존 물리 법칙은 주로 '최소 작용 원리 (Least Action Principle)'로 설명되지만, 이는 경로 최적화 문제이며, 제어 비용 (가속도) 과 상태 보상 간의 균형을 다루는 최적 제어 문제와는 차이가 있습니다.
• 목표: 자연계의 힘들이 최소화하는 비용 함수와 최대화하는 보상 함수의 형태를 유도하여, 우주의 운동이 왜 특정 패턴 (예: 궤도 운동) 을 따르는지 설명하는 것입니다.

2. 방법론 (Methodology)

가. 최소 비용 원리 (The Least Cost Principle) 수립

저자는 시스템의 동역학이 다음과 같은 시간 할인 누적 비용 (Cost-to-go) 을 최소화하는 최적 제어 문제의 해로 나타난다고 가정합니다.

$$C = \int_{t_0}^{\infty} dt \, e^{-\gamma(t-t_0)} \left[ \sum_{i} \frac{1}{2}m_i \|\ddot{\mathbf{x}}_i(t)\|^2 - R(\mathbf{x}(t), \dot{\mathbf{x}}(t)) \right]$$

• 가속도 비용 (Acceleration Cost): $\sum \frac{1}{2}m_i \|\ddot{\mathbf{x}}_i\|^2$. 이는 큰 가속도 (강한 힘) 를 억제하는 패널티입니다. 저자는 대칭성과 불변성 원리 (시간/회전 불변성, 질량 가법성, 균일 가속 좌표계에서의 불변성) 를 통해 이 비용 함수가 반드시 2 차 형식 (제곱합) 이어야 함을 증명했습니다.
• 보상 함수 (Reward Function): $R(\mathbf{x}, \dot{\mathbf{x}})$. 시스템의 상태 (위치, 속도) 에 의존하며, 가속도에는 명시적으로 의존하지 않습니다.
• 최적화: 초기 조건이 고정된 상태에서 위 비용 함수 $C$를 최소화하는 가속도 궤적 $\ddot{\mathbf{x}}^*$를 찾는 문제입니다.

나. 역 최적 제어 (IOC) 를 통한 보상 함수 유도

• 알려진 힘의 법칙 ($F_{ik}$) 을 사용하여 벨만 방정식 (Bellman Equation) 과 해밀턴 - 자코비 - 벨만 (HJB) 방정식을 적용합니다.
• 최적 비용 함수 $C^*$와 힘 $F$의 관계를 도출하여, 주어진 운동 법칙을 따르도록 만드는 보상 함수 $R(\mathbf{x}, \dot{\mathbf{x}})$의 일반식을 유도합니다 (식 7).
• 유도된 보상 함수는 힘의 기울기 (velocity gradient) 와 힘의 제곱 항으로 구성됩니다.

다. 구체적 적용: 중력과 쿨롱 힘

• 유도된 일반식을 뉴턴 중력과 쿨롱 힘에 적용하여 구체적인 보상 함수의 형태를 계산했습니다.
• 수치 시뮬레이션 (N=5, N=10 입자 시스템) 을 통해 유도된 이론적 결과가 실제 궤적과 일치하는지, 그리고 섭동된 힘 (예: $1/r^{2+\epsilon}$) 이 적용될 때 비용이 증가하는지 검증했습니다.

3. 주요 결과 (Key Results)

가. 유도된 보상 함수의 구조 (식 9)

뉴턴 중력에 대해 유도된 보상 함수는 크게 두 가지 핵심 항 (Term I, II) 으로 구성되며, 이는 입자 간의 상대 운동과 궤도 형태를 최적화함을 의미합니다.

1. Term I (상대 속도 장려):

   • 형태: $\propto \|\dot{\mathbf{x}}_i - \dot{\mathbf{x}}_j\|^2$
   • 의미: 입자 쌍 간의 상대 속도가 클수록 보상이 증가합니다. 즉, 자연계는 입자들이 서로에 대해 활발하게 움직이는 것을 선호합니다.
   • 거리 의존성: 입자 간 거리가 가까울수록 이 효과가 강하게 작용합니다.

2. Term II (원형 궤도 장려):

   • 형태: $\propto -[(\mathbf{x}_i - \mathbf{x}_j) \cdot (\dot{\mathbf{x}}_i - \dot{\mathbf{x}}_j)]^2$
   • 의미: 거리 벡터와 상대 속도 벡터의 내적이 0 일 때 (즉, 운동이 거리 벡터에 수직일 때) 보상이 최대가 됩니다. 이는 원형 또는 준원형 궤도 (Circular-like orbits) 운동을 장려하고, 반경 방향의 운동 (충돌 또는 멀어짐) 을 억제함을 의미합니다.
   • 거리 의존성: 거리가 가까울수록 비원형 운동에 대한 패널티가 커집니다.

3. Term III: 유도된 2 차 제어 비용에서 기인하는 항으로, 3 체 이상의 상호작용에서 발생합니다.

나. 쿨롱 힘의 경우

• 중력 공식에서 $G$를 $-C_{Coulomb}$로, 질량을 전하로 대체하면 동일한 형태를 가집니다.
• 동일 전하 (반발력): 상대 운동은 최소화되고, 운동 방향이 거리 벡터와 평행해지도록 유도됩니다.
• 상반 전하 (인력): 중력과 동일한 규칙 (상대 운동 장려, 원형 궤도 장려) 을 따릅니다.

다. 수치 시뮬레이션 결과

• 최소 비용: 뉴턴 중력 ($1/r^2$) 을 따르는 궤적은 유도된 보상 함수 하에서 최소 비용 (Cost-to-go) 을 가집니다.
• 섭동 검증: 힘을 $1/r^{2+\epsilon}$로 약간 변형하면 ( $\epsilon \neq 0$), 비용 함수 값이 증가하여 뉴턴 역학이 최적의 해임을 확인했습니다.
• 궤적 특성: 입자들은 서로 가까워질 때 원형 궤도를 형성하는 경향을 보이며, 이는 유도된 보상 함수의 예측과 일치합니다.

4. 의의 및 결론 (Significance)

• 운동의 최적화: 자연계의 힘은 단순히 입자를 끌어당기거나 밀어내는 것이 아니라, **상대 운동 (Relative Motion)**과 **구조화된 궤도 (Circular-like Orbits)**를 적극적으로 생성하고 최적화하는 것으로 해석됩니다.
• 복잡성의 기원: 이러한 운동 패턴 (다양한 운동과 구조화된 궤도) 은 우주에서 복잡성이 출현하기 위한 필수적인 요소로 작용할 수 있습니다. 이는 '최대 점유 원리 (Maximum Occupancy Principle)'나 '권한 부여 (Empowerment)'와 같은 다른 복잡성 원리들과도 연결됩니다.
• 물리 법칙의 새로운 해석: 중력과 쿨롱 힘을 '인력/반발력'이라는 정성적 설명을 넘어, 동역학적 및 정적 특성을 최적화하는 보상 함수로 정량적으로 설명할 수 있음을 보였습니다.
• 일반화 가능성: 유도된 보상 함수는 힘의 합에 대해 선형적으로 결합되므로, 새로운 힘이 추가되더라도 유도된 운동 및 궤도 특성이 유효함을 시사합니다.

5. 요약

이 논문은 최소 비용 원리를 기반으로 뉴턴 중력과 쿨롱 힘이 상대 운동의 극대화와 원형 궤도 형성을 보상하는 함수를 최적화한다는 것을 수학적으로 증명했습니다. 이는 우주의 물리 법칙이 무작위성이 아닌, 복잡성과 구조화된 운동을 생성하기 위한 최적 제어 전략의 결과일 수 있음을 시사하는 중요한 통찰을 제공합니다.