Experimental Design for Missing Physics

이 논문은 보편적 미분방정식과 기호 회귀를 결합하여 누락된 물리 법칙을 학습할 때 고품질 데이터를 확보하기 위해 제안된 모델 구조 간 최적 변별 기반의 순차적 실험 설계 기법을 생물 반응기에 적용한 내용을 다룹니다.

핵심

🕵️‍♂️ 1. 문제 상황: "누군가 레시피를 훔쳐갔어요!"

생각해 보세요. 여러분이 아주 맛있는 케이크를 굽고 싶지만, 어떤 재료가 들어가는지, 얼마나 섞어야 하는지에 대한 레시피의 일부가 사라졌다고 가정해 봅시다.

• 알고 있는 것: 밀가루, 달걀, 설탕의 양 (이건 물리 법칙이나 화학 반응처럼 알려진 사실입니다).
• 모르는 것 (Missing Physics): "어떤 온도에서 반죽이 가장 잘 부풀어 오르는지"를 설명하는 비밀 레시피.

과학자들은 이 '비밀 레시피'를 찾기 위해 실험을 합니다. 하지만 실험을 할 때마다 재료를 무작위로 섞으면, 정답에 가까운 레시피를 찾아내는 데 시간이 너무 오래 걸립니다.

🤖 2. 해결책: "AI 요리사"와 "해석기"

이 논문은 두 가지 강력한 도구를 조합해서 이 문제를 해결합니다.

1. 범용 미분 방정식 (UDE) = "만능 AI 요리사"

   • 이 AI 는 레시피의 missing part(비밀 레시피) 를 **신경망 (Neural Network)**이라는 두꺼운 장벽으로 만들어 학습합니다.
   • AI 는 데이터를 많이 보면 "아, 이 정도 온도에서 반죽이 잘 부풀네!"라고 추측합니다. 하지만 AI 는 **"왜?"**라고 설명해주지 못합니다. (블랙박스 문제)

2. 기호 회귀 (Symbolic Regression) = "해석기"

   • AI 가 추측한 복잡한 패턴을 다시 사람이 읽을 수 있는 간단한 공식으로 바꿔줍니다.
   • 예를 들어, AI 가 "어떤 복잡한 계산"을 했다면, 해석기는 "아, 이건 $A \times B$구나!"라고 알려줍니다.

🎯 3. 핵심 전략: "가장 궁금한 점을 물어보는 실험"

여기서 이 논문의 가장 창의적인 아이디어가 나옵니다. 보통 실험은 "무작위로" 하거나, "이미 알고 있는 것"을 더 정확히 측정하는 데 집중합니다. 하지만 이 논문은 **"어떤 실험을 하면 가장 많은 정보를 얻을 수 있을까?"**를 계산합니다.

비유: "진짜 레시피 찾기 게임"

1. 1 단계 (초기 실험): AI 요리사가 처음에 무작위 레시피를 몇 개 만들어 봅니다. (예: "온도가 높을수록 잘 부풀어", "온도가 낮을수록 잘 부풀어" 등 서로 다른 가설들)
2. 2 단계 (차별화 실험): 이제 과학자는 이 가설들 중 어떤 실험을 하면 서로 가장 확연히 다른 결과가 나올지 계산합니다.
   • 예시: "A 가설은 100 도에서 실패하고, B 가설은 100 도에서 성공할 거야. 그럼 100 도에서 실험하자!"
   • 이렇게 하면 한 번의 실험으로 많은 가설을 탈락시킬 수 있습니다.
3. 3 단계 (반복): 새로운 데이터를 얻으면 AI 를 다시 훈련시키고, 다시 해석기를 돌려 새로운 가설들을 만듭니다. 이 과정을 반복하면 점점 더 정답에 가까워집니다.

🧪 4. 실제 사례: "생물 반응기 (Bioreactor)"

이론을 실제 실험에 적용해 보았습니다.

• 상황: 미생물을 키우는 탱크에서 미생물이 자라는 속도를 예측해야 합니다. 하지만 정확한 성장 공식 (모노드 식) 을 모릅니다.
• 과정:
  1. 처음에는 아무것도 조절하지 않고 데이터를 모았습니다.
  2. AI 와 해석기를 통해 "성장 속도가 계속 증가할까, 아니면 일정하게 유지될까?"라는 두 가지 가설이 나왔습니다.
  3. 지능적인 실험 설계: "두 가설이 가장 크게 갈라지는 조건 (중간 농도)"을 찾아내어, 그 조건에서 미생물을 키우는 실험을 했습니다.
  4. 그 결과, 두 가설 중 하나가 확실히 틀렸다는 것이 증명되었고, 결국 **정답인 '모노드 식' (Monod equation)**을 찾아냈습니다.

🏆 5. 결론: "무작위 실험 vs 지능적 실험"

연구진은 이 방법을 5 번의 무작위 실험과 비교했습니다.

• 무작위 실험: 정답을 찾지 못했습니다. (운이 없었거나, 중요한 단서를 놓쳤기 때문)
• 이 논문의 방법 (최적 실험 설계): 3 번의 실험만으로 정답을 찾아냈습니다.

💡 요약

이 논문은 **"알 수 없는 과학 법칙을 찾을 때, 무작위로 실험하는 대신 AI 와 수학을 이용해 '가장 궁금한 점'을 집중적으로 파고드는 실험을 설계하자"**고 제안합니다.

이는 마치 미스터리 소설에서 범인을 잡을 때, 무작위로 모든 사람을 심문하는 대신, 범인의 행동 패턴을 분석해 가장 결정적인 단서가 나올 만한 시간과 장소를 찾아 심문하는 것과 같은 원리입니다. 덕분에 시간과 비용을 아끼면서도 정확한 과학적 진리를 발견할 수 있습니다.

기술 요약

논문 요약: 누락된 물리 현상을 위한 실험 설계 (Experimental Design for Missing Physics)

1. 문제 정의 (Problem)

대부분의 공정 시스템 (Process Systems) 에서는 물리, 화학, 생물학적 법칙에 대한 지식이 불완전하여 모델 구조가 완전히 알려져 있지 않습니다. 이러한 지식의 공백을 **"누락된 물리 현상 (Missing Physics)"**이라고 부릅니다.

• 기존 접근법: 실험 데이터를 통해 이러한 누락된 부분을 학습하려 하지만, 신경망 (Neural Networks) 기반의 방법론은 방대한 양의 고품질 데이터가 필요합니다.
• 기존 실험 설계 (MbDoE) 의 한계: 기존 모델 기반 실험 설계는 주로 매개변수 정밀도 향상이나 유한한 수의 모델 구조 간 구분에 초점을 맞추고 있습니다. 그러나 모델 구조 자체가 완전히 알려지지 않은 경우, 기존 기법을 직접 적용하기 어렵습니다.
• 핵심 문제: 누락된 물리 현상을 학습하기 위해 가장 정보량이 많은 (Informative) 데이터를 효율적으로 수집하는 방법이 필요합니다.

2. 방법론 (Methodology)

이 논문은 **보편적 미분 방정식 (Universal Differential Equations, UDE)**과 **기호 회귀 (Symbolic Regression)**를 결합하고, 이를 위한 순차적 실험 설계 (Sequential Experimental Design) 기법을 개발했습니다.

• UDE (Universal Differential Equations):
  • 모델 구조 중 알려지지 않은 부분 (예: 생장률 함수 $\mu$) 을 신경망 (Neural Network) 으로 대체하여 표현합니다.
  • 시스템 방정식: $\frac{dx}{dt} = f(t, x, NN(g(x), \theta), u(t))$
• 기호 회귀 (Symbolic Regression):
  • 학습된 신경망의 "블랙박스" 특성을 해결하기 위해, 신경망을 인간이 해석 가능한 수학적 식 (Symbolic Expression) 으로 변환합니다.
  • 유전 알고리즘을 사용하여 정확도와 복잡도 사이의 균형을 맞춘 수식 공간을 탐색합니다.
• 순차적 실험 설계 (Sequential Experimental Design):
  • 목표: 기호 회귀를 통해 도출된 여러 개의 유력한 모델 구조 (Plausible Model Structures) 사이를 구별 (Discrimination) 하는 실험을 설계합니다.
  • 전략: T-optimal 설계의 변형을 사용하여, 서로 다른 모델 구조 간의 예측 출력 차이를 최대화하는 제어 입력 $u(t)$를 찾습니다.
  • 순차적 프로세스:
    1. 초기 실험 수행 및 데이터 수집.
    2. UDE 학습 및 기호 회귀를 통한 유력 모델 구조 후보군 생성 (Top M).
    3. 후보군 간의 예측 차이가 가장 큰 지점을 찾아 새로운 실험 제어 입력 최적화.
    4. 새로운 데이터 수집 및 UDE 재학습 (2~3 단계 반복).

3. 주요 기여 (Key Contributions)

• 누락된 물리 현상 발견을 위한 새로운 프레임워크: UDE 와 기호 회귀를 결합하여 모델 구조를 자동으로 발견하고 해석 가능한 형태로 도출하는 통합 방법론을 제시했습니다.
• 모델 구분을 위한 최적 실험 설계 (Model Discrimination OED): 매개변수 추정이 아닌, 모델 구조 자체의 불확실성을 줄이기 위한 순차적 실험 설계 알고리즘을 개발했습니다. 이는 기존 OED 방법론이 다루지 못했던 영역을 확장합니다.
• 효율적인 데이터 수집 전략: 무작위 실험에 비해 훨씬 적은 데이터로 정확한 물리 법칙 (Monod 방정식 등) 을 복원할 수 있음을 입증했습니다.

4. 결과 (Results)

연구는 잘 혼합된 회분식 발효조 (Fed-batch Bioreactor) 시뮬레이션을 통해 검증되었습니다.

• 시나리오: 기질 농도 ($C_s$), 바이오매스 농도 ($C_x$), 부피 ($V$) 의 동역학을 모델링하며, 미지의 함수인 비성장률 $\mu(C_s)$를 Monod 방정식 ($\mu_{max} C_s / (K_s + C_s)$) 으로 복원하는 것이 목표였습니다.
• 실험 과정:
  1. 1 차 실험: 0 제어 신호로 초기 데이터 수집. UDE 는 데이터가 있는 구간에서는 잘 학습했으나, 외삽 영역에서는 실패. 기호 회귀를 통해 여러 유력 모델 (상수 함수, 증가 함수 등) 이 도출됨.
  2. 2 차 실험 (최적 제어): 유력 모델들 간의 예측 차이가 큰 구간 (높은 기질 농도) 을 타겟팅하여 제어 입력 최적화. 이를 통해 모델 그룹을 명확히 구분.
  3. 3 차 실험 (최적 제어): 중간 농도 영역의 불확실성을 해소하기 위해 계단형 (Staircase) 제어 입력을 적용.
• 성능 비교:
  • 최적 실험 설계 (3 회): 3 번의 실험 후, 기호 회귀 결과에서 Monod 방정식이 가장 높은 점수를 받으며 정답으로 복원됨.
  • 무작위 실험 (5 회): 무작위 제어 입력을 사용한 5 번의 실험 (각각 3 개의 시계열) 에서 Monod 방정식이 단 한 번도 복원되지 않음.
• 결론: 최적 실험 설계는 무작위 실험 대비 정보 획득 효율이 월등히 높으며, 누락된 물리 법칙을 정확하게 식별할 수 있음을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 과학적 해석 가능성 확보: 신경망의 블랙박스 문제를 해결하고, 실제 물리 법칙을 인간이 이해할 수 있는 수학적 식으로 변환하여 과학적 통찰력을 제공합니다.
• 데이터 효율성: 고비용이 드는 실험 (예: 생물 반응기, 화학 공정) 에서 최소한의 실험 횟수로 가장 중요한 물리 법칙을 발견할 수 있어 비용과 시간을 절감합니다.
• 확장성: 이 방법론은 단일 입력/출력뿐만 아니라 다변수 시스템, 그리고 매개변수 추정과 모델 구조 발견을 동시에 수행해야 하는 복잡한 실제 공정에 적용 가능합니다.
• 미래 연구 방향: 하이퍼파라미터 (신경망 구조, 기호 회귀 설정 등) 를 실험 과정에서 자동으로 튜닝하는 '온라인 실험 설계'로의 발전 가능성을 제시했습니다.

이 논문은 데이터 기반 모델링과 전통적인 물리 기반 모델링의 간극을 메우며, **지능형 실험 설계 (Intelligent Experimental Design)**를 통해 불완전한 과학적 지식을 체계적으로 완성해 나가는 새로운 패러다임을 제시합니다.