From Data to Laws: Neural Discovery of Conservation Laws Without False Positives

이 논문은 파라미터 변화, 비다항식 불변량, 국소 최소값, 그리고 혼돈 시스템에서의 위양성 문제를 해결하여 다양한 동적 시스템에서 100%의 정확도로 보존 법칙을 발견하고 위양성을 완전히 제거하는 신경-상징적 파이프라인인 NGCG 를 제안합니다.

핵심

이 논문은 **"데이터 속에서 숨겨진 자연의 법칙을 찾아내는 새로운 AI"**에 대한 이야기입니다.

기존의 과학자들은 복잡한 수식을 풀어서 물리 법칙 (예: 에너지 보존 법칙) 을 찾아냈지만, 요즘은 방대한 데이터만 주어졌을 때 그 법칙을 찾아내는 것이 큰 난제였습니다. 특히 데이터가 조금만 달라져도 (예: 용수철의 강도가 변하면) 법칙을 못 찾거나, 엉뚱한 것을 법칙인 것처럼 착각하는 (거짓 양성) 문제가 있었죠.

이 논문은 NGCG라는 새로운 방법을 제안하며, "데이터를 보고 법칙을 찾아내되, 틀린 법칙은 절대 내놓지 않는" 시스템을 만들었습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ NGCG: 자연의 법칙을 찾는 탐정단

NGCG 는 단순히 데이터를 보고 "아, 이게 법칙이겠지!"라고 추측하는 것이 아니라, 4 단계에 걸친 철저한 수사 과정을 거칩니다.

1 단계: 예습을 하는 학생 (Neural Dynamics Model)

먼저, AI 는 "이 시스템이 어떻게 움직일까?"를 공부합니다. 마치 물리 문제를 풀기 전에 문제의 흐름을 먼저 파악하는 것처럼요. 하지만 이 단계에서는 정답을 바로 찾으려 하지 않습니다. 단순히 시스템의 움직임을 잘 예측할 수 있도록 훈련만 시켜두고, 그 모델을 '냉장고에 넣어둡니다' (동결시킵니다).

2 단계: 10 명의 탐정들이 밤을 새우는 작업 (Multi-Restart Variance Minimiser)

이제 진짜 법칙을 찾아야 할 때입니다.

• 문제: AI 가 법칙을 찾으려 하면, 엉뚱한 곳에 갇혀서 (국소 최적해) "아, 이거 법칙이야!"라고 착각하기 쉽습니다. 특히 카오스 (혼돈) 시스템에서는 더 심하죠.
• 해결책: NGCG 는 **10 명의 다른 탐정 (AI)**을 동시에 파견합니다. 각 탐정은 서로 다른 출발점에서 시작해서 "어떤 값이 시간이 지나도 변하지 않는지"를 찾습니다.
• 결과: 10 명 중 가장 잘 찾은 탐정 한 명만 선발합니다. 이렇게 하면 "아, 내가 방금 찾은 게 진짜 법칙이야!"라고 착각하는 실수를 막을 수 있습니다.

3 단계: 법칙을 수식으로 번역하기 (Symbolic Extraction)

AI 가 찾은 '변하지 않는 값'은 아직 컴퓨터가 이해하는 숫자일 뿐, 사람이 읽을 수 있는 수학 공식은 아닙니다.

• 상황별 맞춤 번역:
  • 보통의 시스템 (용수철 등) 은 **다항식 (x², xy 등)**으로 된 법칙이 많으니, 이를 찾아내는 '다항식 Lasso'라는 도구를 씁니다.
  • 여우와 토끼 (Lotka-Volterra) 시스템처럼 로그 (ln) 가 들어간 복잡한 법칙은, 이를专门으로 찾아내는 '로그 Lasso'를 씁니다.
  • 그래도 못 찾으면, **유전 알고리즘 (PySR)**이라는 강력한 도구를 써서 모든 가능한 수식을 조합해 봅니다.
• 비유: 마치 요리사가 재료가 다르면 (재료: 데이터) 다른 조리법 (도구) 을 써서 최고의 요리를 (수식) 만들어내는 것과 같습니다.

4 단계: 엄격한 심문관 (Strict Verification Gate & Diversity Filter)

이 단계가 이 논문의 가장 큰 특징입니다. 찾아낸 수식이 진짜 법칙인지, 아니면 우연히 비슷하게 변하지 않는 가짜인지 확인합니다.

• 심문 1 (일관성 검사): "이 수식이 정말로 변하지 않나요?" (오류가 1% 미만이어야 통과)
• 심문 2 (다양성 검사): "이 수식이 조건이 바뀌어도 여전히 의미 있는가요?"
  • 비유: 만약 어떤 탐정이 "모든 상황에서 '1'이라는 값이 변하지 않아요!"라고 보고하면, 그건 법칙이 아니라 **상수 (고정된 숫자)**일 뿐입니다. NGCG 는 "아, 이건 법칙이 아니야. 조건이 바뀌면 값이 달라져야 진짜 법칙이지"라고 가짜 법칙을 걸러냅니다.
  • 이 필터 덕분에, 기존 방법들이 혼돈 시스템 (카오스) 에서 엉뚱한 법칙을 찾아내서 실수하던 것을 완벽하게 막았습니다.

---

🏆 NGCG 가 이룬 놀라운 성과

이 논문은 9 가지 다른 종류의 시스템 (용수철, 혼돈 시스템, 유체 흐름 등) 으로 실험을 했습니다.

1. 완벽한 정답: 진짜 법칙이 있는 4 가지 시스템에서는 100% 성공했습니다. 기존 방법들보다 훨씬 정확한 수식을 찾아냈습니다.
2. 가짜 법칙 제로: 진짜 법칙이 없는 5 가지 시스템 (카오스 등) 에서는 단 한 개의 가짜 법칙도 내놓지 않았습니다. (기존 방법들은 여기서 자주 실수했습니다.)
3. 난공불락의 여우와 토끼: 로그가 포함된 복잡한 'Lotka-Volterra' 시스템은 기존 AI 들이 모두 실패했지만, NGCG 는 유일하게 성공했습니다.
4. 소음에도 강함: 데이터에 노이즈 (오류) 가 섞여 있어도 여전히 잘 작동했습니다.

---

💡 핵심 교훈: "빠른 것보다 정확한 것이 중요하다"

NGCG 는 단순히 "빨리" 법칙을 찾는 것이 아니라, "틀리지 않고" 찾는 것에 집중했습니다.

• 10 번의 시도 (Multi-restart): 한 번에 실패하면 포기하지 않고 여러 번 시도합니다.
• 맞춤형 도구 (System-specific): 시스템에 따라 다른 도구를 씁니다.
• 엄격한 심문 (Verification): "아마도 맞을 것 같아"가 아니라 "100% 확실해야 인정한다"는 원칙을 세웠습니다.

결론적으로, NGCG 는 데이터 과학자들이 "자연의 법칙"을 찾을 때, 실수 없이, 그리고 복잡한 상황에서도 신뢰할 수 있는 도구가 되어준다는 것을 증명했습니다. 마치 "가짜 뉴스는 걸러내고, 진짜 뉴스만 보도하는 최고의 편집장" 같은 역할을 하는 셈입니다.

기술 요약

1. 문제 정의 (Problem Statement)

동역학 시스템의 거동을 이해하는 데 필수적인 보존 법칙 (Conservation Laws) 은 에너지, 운동량, 질량 보존 등 물리적 현상의 핵심을 설명합니다. 그러나 복잡한 실제 시스템에서는 governing equations(지배 방정식) 이 알려지지 않거나 부분적으로만 알려진 경우가 많아, 데이터로부터 보존 법칙을 발견하는 것이 큰 도전 과제로 남아있습니다. 기존 방법론들은 다음과 같은 주요 한계점을 가지고 있습니다:

• 매개변수 변화 (Parameter Variation): 실제 관측 데이터는 시스템 매개변수가 변하는 경우가 많으나, 기존 방법들은 고정된 매개변수를 가정하여 일반화에 실패합니다.
• 비다항식 불변량 (Non-polynomial Invariants): 로트카 - 볼테라 (Lotka-Volterra) 모델과 같은 시스템의 로그 (logarithmic) 형태의 불변량은 기존 희소 회귀 (Sparse Regression) 기법이나 기저 라이브러리 (Basis Library) 에 포함되지 않아 발견하기 어렵습니다.
• 국소 최소값 및 위양성 (False Positives): 분산 기반 손실 함수를 사용하는 신경망은 종종 나쁜 국소 최소값에 수렴하거나, 카오스 시스템에서 우연히 거의 일정한 값을 갖는 '위양성 (Spurious)' 법칙을 발견하여 이를 실제 법칙으로 잘못 식별합니다.
• 제한된 벤치마크: 기존 평가는 소수의 시스템에 국한되어 있어 방법론의 일반성과 견고성을 충분히 검증하지 못했습니다.

2. 제안 방법론: NGCG (Neural-Guided Conservation-law Generator)

저자들은 위 한계점을 해결하기 위해 NGCG라는 새로운 신경 - 심볼릭 (Neural-Symbolic) 파이프라인을 제안합니다. 이 파이프라인은 동역학 학습과 불변량 발견을 분리 (Decoupling) 하고, 다단계 전략을 통해 위양성을 제거합니다.

4 단계 아키텍처

1. Stage 1: 신경 동역학 모델 (Neural Dynamics Model)

   • 다층 퍼셉트론 (MLP) 을 사용하여 시스템의 이산 시간 동역학을 학습합니다.
   • 중요: 이 모델은 예측을 위한 베이스라인으로만 사용되며, 보존 법칙 발견 과정에는 직접 관여하지 않아 'catastrophic forgetting'을 방지합니다.

2. Stage 2: 다중 재시작 분산 최소화기 (Multi-Restart Variance Minimiser)

   • 궤적 따라 거의 일정한 스칼라 값을 출력하는 작은 신경망 $\phi$ 를 학습합니다.
   • 손실 함수: 궤적 내 분산 (Intra-trajectory variance) 을 최소화하고, 궤적 간 평균 값의 분산 (Inter-trajectory variance) 을 최대화하도록 설계되어 자명한 상수 해 (Trivial constant solution) 를 방지합니다.
   • 다중 재시작: 비볼록 (Non-convex) 손실 지형으로 인한 국소 최소값 문제를 해결하기 위해 10 회 독립적인 재시작을 수행하고 검증集 (Validation set) 에서 가장 일정한 (Constancy가 낮은) 모델을 선택합니다.

3. Stage 3: 시스템별 심볼릭 추출 (System-Specific Symbolic Extraction)

   • 학습된 $\phi$ 네트워크의 출력을 기반으로 폐형식 (Closed-form) 수식을 추출합니다. 시스템 특성에 따라 다른 전략을 사용합니다:
     • 다항식 Lasso: 질량 - 스프링, coupled springs 등 다항식 불변량 시스템의 경우, 평균 궤적 공분산 행렬의 가장 작은 고유벡터를 사용하여 다항식 기저의 선형 결합을 찾습니다.
     • 로그 기저 Lasso: 로트카 - 볼테라 시스템의 경우, $x, y, \ln(x), \ln(y)$ 기저를 사용하여 로그 항을 포함한 불변량을 찾습니다.
     • PDE 명시적 후보: PDE 의 경우 공간 평균 (Spatial mean) 등을 명시적 후보로 추가합니다.
     • PySR 백업 (Fallback): 위 방법들이 실패하거나 추가 정제가 필요한 경우, 유전 프로그래밍 기반 심볼릭 회귀 도구인 PySR 을 사용하여 후보 식을 생성합니다.

4. Stage 4: 엄격한 검증 게이트 및 다양성 필터 (Strict Verification Gate & Diversity Filter)

   • 엄격한 일정한 게이트 (Constancy Gate): 테스트 집합에서의 일정한 정도 (Constancy) 가 임계값 ($\tau = 0.01$) 보다 낮아야만 후보로 인정합니다.
   • 다양성 필터 (Diversity Filter): 발견된 식이 서로 다른 궤적 (초기 조건 또는 매개변수 변화) 에서 유의미하게 다른 값을 가져야 합니다. 궤적 간 변동이 거의 없는 식 (위양성) 은 기각합니다. 이는 카오스 시스템에서 우연히 일정한 값을 갖는 식을 걸러내는 핵심 장치입니다.

3. 주요 기여 (Key Contributions)

1. 분리된 신경 - 심볼릭 파이프라인: 동역학 학습과 불변량 발견을 분리하여 안정성을 확보하고, 다중 재시작 전략을 통해 국소 최소값 문제를 해결했습니다.
2. 시스템 특화 심볼릭 추출: 다항식 Lasso, 로그 기저 Lasso, 명시적 PDE 후보, PySR 백업 등을 결합하여 다항식 및 비다항식 (로그 등) 불변량을 모두 포착합니다.
3. 위양성 제거 메커니즘: 엄격한 일정한 게이트와 다양성 필터를 도입하여, 카오스 시스템에서도 **위양성 (False Positives) 을 0%**으로 줄였습니다.
4. 포괄적인 벤치마크: 9 가지 다양한 동역학 시스템 (선형/비선형 ODE, 해밀토니안/소산 시스템, 카오스, PDE) 을 포함하는 새로운 벤치마크를 구축하고, 매개변수 변화가 있는 조건에서 일반화 능력을 검증했습니다.

4. 실험 결과 (Results)

9 가지 시스템에 대한 평가 결과, NGCG 는 기존 최첨단 방법론 (HNN, SINDy, IRAS, MLP+PySR 등) 을 압도하는 성능을 보였습니다.

• 정확한 발견 (True Laws): 보존 법칙이 존재하는 4 개 시스템 (Mass-spring, Lotka-Volterra, Coupled springs, Hénon-Heiles) 에서 발견율 (DR) = 1.0, 위양성율 (FDR) = 0.0, F1 점수 = 1.0을 달성했습니다.
  • 특히 Lotka-Volterra 시스템 (로그 불변량 포함) 은 NGCG 가 유일하게 성공한 방법론입니다.
  • 발견된 식의 일정한 정도 (Constancy) 는 기존 최선 방법론보다 2~3 차수 (orders of magnitude) 더 낮았습니다.
• 위양성 제거 (No Laws): 보존 법칙이 없는 5 개 시스템 (Double pendulum, Lorenz, Three-body, Burgers, KS) 에서 모든 위양성을 성공적으로 거절하여 FDR = 0.0 을 기록했습니다. 반면, HNN 은 카오스 시스템에서 위양성을 자주 생성했습니다.
• 견고성 (Robustness):
  • 노이즈: 가우시안 노이즈 ($\sigma = 0.1$) 가 추가된 조건에서도 일관된 성능을 유지했습니다.
  • 샘플 효율성: 대부분의 시스템에서 50~100 개의 궤적만으로도 성공적인 발견이 가능했습니다.
  • 실행 시간: 단일 GPU 에서 시스템당 1 분 미만 (약 45~50 초) 으로 실행 가능합니다.
• 파레토 분석: 복잡성과 일정한 정도 사이의 트레이드오프를 보여주는 다양한 후보 식을 제공하여, 사용자가 해석 가능성과 정확도 사이에서 선택할 수 있게 합니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터 기반 보존 법칙 발견 분야에서 새로운 기준 (New State-of-the-Art) 을 제시합니다.

• 과학적 발견의 신뢰성 향상: 기존 방법론들이 카오스 시스템에서 자주 저지르던 '위양성 발견' 문제를 체계적으로 해결하여, 발견된 법칙의 신뢰도를 크게 높였습니다.
• 복잡한 물리 현상 포착: 로그 함수와 같은 비다항식 형태나 매개변수가 변하는 조건에서도 정확한 법칙을 찾아내어, 실제 과학 및 공학 문제에 적용 가능한 범위를 넓혔습니다.
• 해석 가능성과 정확도의 균형: 신경망의 학습 능력과 심볼릭 회귀의 해석 가능성을 결합하여, 단순히 예측만 잘하는 것이 아니라 물리적으로 의미 있는 수식을 도출합니다.

결론적으로, NGCG 는 신경망 학습, 볼록 최적화, 심볼릭 회귀를 정교하게 통합하여 데이터로부터 신뢰할 수 있는 물리 법칙을 발견하는 강력한 프레임워크를 제시합니다.