What Should a Large Language Model See? Physical Invariants as a Data Representation for PDE Discovery

기술 요약: PDE 발견을 위한 데이터 표현으로서의 물리적 불변량

문제 정의
복잡한 화학 시스템에 대한 이론적 모델을 발견하는 과정은 결정적인 병목 현상에 직면해 있다. 현대의 실험 기술은 분자 상호작용에 관한 방대한 데이터를 생성할 수 있지만, 기존의 이론 구축 방식은 전문적인 인간의 전문 지식에 의존하며 이러한 데이터의 양을 따라잡을 만큼 확장될 수 없다. 편미분 방정식(PDE) 기반의 장(field) 이론을 복구하기 위한 기존의 자동화된 접근 방식은 일반적으로 하향식(bottom-up) 조립(coarse-graining) 또는 상향식(top-down) 기호 회귀(symbolic regression)의 두 가지 범주로 나뉜다. 특히 대규모 언어 모델(LLM)을 활용하는 상향식 방법들은 근본적인 데이터 표현 문제로 인해 어려움을 겪는다. 시공간 장 데이터는 LLM 프롬프트에 직접 넣을 수 없기 때문에, 이러한 모델들은 일반적으로 수치적 평가자의 점수(예: 손실 함수)에만 의존하여 탐색을 유도한다. 이러한 간접적인 피드백 루프는 LLM이 물리적 구조를 '읽는' 방식, 즉 인간 이론가처럼 두드러진 패턴과 물리적 불변량을 식별하는 방식이 아니라, 단순히 물리적 구조를 추론하게 만든다.

방법론
저자들은 원시 장 데이터와 LLM 사이에 데이터 해석(data interpretation) 단계를 삽입하는 파이프라인을 제안한다. 이 파이의 라인은 [데이터 해석 $\rightarrow$ LLM 방정식 제안 $\rightarrow$ 파싱/정형화 $\rightarrow$ 평가]로 구성된 루프로 작동한다.

1. 데이터 해석: 시스템은 원시 장 슬라이스를 모델에 입력하는 대신, 스펙트럼 분석을 통해 도출된 압축된 물리적 진단 세트(약 300개 토큰)를 계산한다. 이 진단들은 이론가가 던질 법한 네 가지 구체적인 질문에 답한다:
   • 시간적 순서(Temporal Order): 푸리에 모드 진폭($|\hat{u}_k(t)|$)의 시간 진화 분석을 통해, 시스템은 1차(단조 감소/성장)와 2차(진동) 시간 미분을 구분한다.
   • 선형 계수(Linear Coefficients): 모드의 감쇠율과 진동 주파수에 대한 회귀 분석을 통해 선형 계수(예: 확산 $\nu$, 반응 $\sigma$, 파동 속도 $c$)를 복구한다.
   • 비선형성(Nonlinearity): 시스템은 고파수(high wavenumbers)로의 스펙트럼 에너지 전이와 선형 회귀 적합도($R^2$)의 저하를 측정함으로써 비선형성을 감지한다.
   • 이류(Advection): 평행 이동에 따른 공간적 상관관계를 측정하여 방향성 수송(이류)과 등방성 진화(확산/성장)를 구분하고, 이류 속도를 추정한다.
2. LLM 제안: 계산된 진단값들은 사전에 정의된 후보 항의 라이브러리 없이, 정해진 기호 집합(장 $u$ 및 그 미분항)을 사용하여 PDE 구조를 제안하도록 지시하는 프롬프트에 첨부된다(QwQ-32B 사용). LLM은 산문 형태로 추론하며 명시적인 계수를 포함한 방정식을 출력한다.
3. 파싱 및 정형화(Parsing and Canonicalization): 제안된 방정식은 표기법의 차이가 점수에 영향을 미치지 않도록 단일한 정형 형태로 재작성된다.
4. 평가: 수치적 평가자는 정규화된 최소제곱법을 사용하여 제안된 구조의 계수를 맞추고, 약형 잔차(weak-form residual)와 희소성 페널티(sparsity penalty)를 기준으로 방정식을 평가한다.

주요 기여

• 데이터 해석 단계: 본 연구의 주요 기여는 원시 시공간 장을 이론가가 참고할 물리량으로 변환하는 전처리 단계를 도입한 것이다. 이를 통해 LLM이 단순한 스칼라 점수에만 의ло되는 것이 아니라, 인간 전문가처럼 데이터를 '읽을' 수 있게 한다.
• 라이브러리 없는 발견: 물리적 맥락을 제공함으로써, 이 방법은 사전 정의된 PDE 항 후보 라이브러리의 필요성을 제거하여 LLM이 임의의 기호 구조를 제안할 수 있게 한다.
• 제로샷 효율성: 이 파이프라인은 LLM이나 해석 모듈을 학습시킬 필요가 없다. 진단 과정은 계산 비용이 매우 저렴하며(필드당 1초 미만), 원시 데이터에 비해 토큰 효율적이다.

결과
저자들은 8개의 표준 수송 및 반응 항 라이브러리에서 생성된 44개의 시뮬레이션 스칼라 장을 대상으로 벤치마크 평가를 수행했다. 결과는 세 가지 입력 조건에 대해 비교되었다:

1. 데이터 해석: 제안된 방법.
2. 순열 해석(Permuted Interpretation): LLM이 다른 샘플의 진단값을 받도록 하여, 모델이 입력을 실제로 활용하는지 테스트하는 대조군.
3. 원시 장 슬라이스: 원시 장의 1D 슬라이스 10개.

• 정확도: 데이터 해석 방식은 F1 점수 0.720을 달성하여, 원시 장 슬라이스(0.225) 및 "최적 고정 항 집합(best fixed term set)" 베이스라인(0.391)보다 월등히 높은 성능을 보였다.
• 정확한 복구: 해석 방식은 44개 샘플 중 14개에서 방정식을 정확히 복구한 반면, 원시 데이터로는 2개에 그쳤다.
• 입력 의존성: 해석값이 실제 데이터와 일치하지 않도록 순열 처리했을 때(mismatched), 정확도는 0.244로 급락하였다. 이는 LLM이 사전 지식이나 일반적인 항에 의존하는 것이 아니라 제공된 물리적 측정값을 능동적으로 활용하고 있음을 확인시켜 준다.
• 계층별 성능: 이 방법은 선형 전용 시스템에서 완벽한 복구(F1=1.0)를 달성했다. 비선형 시스템에서는 성능이 다소 하락했는데, 이는 해석 단계에서 비선형성의 존재는 성공적으로 식별했으나, 비선형 항의 구체적인 함수 형태까지는 항상 결정하지 못했음을 의미한다.

의의 및 주장
본 논문은 데이터 해석이 자동화된 장 이론 구축을 위한 실질적인 경로를 제공한다고 주장한다. LLM이 이론가처럼 장 데이터를 읽을 수 있게 함으로써, 이 방법은 고처리량 실험 데이터와 인간 수준의 이론 구축 사이의 간극을 메운다.

저자들은 이 접근 방식이 규모 면에서는 겸손하지만 원칙적으로는 중요하다는 점을 강조한다:

• 적은 양의 물리적 측정값이 원시 데이터나 수치적 점수보다 LLM에 훨씬 효과적인 입력이 될 수 있음을 입증했다.
• 인간의 전문 지식 없이도 탐색 공간(라이브러리)을 정의하거나 데이터를 수동으로 분석할 필요 없이, PDE의 "상향식" 발견을 자동화한다.
• 이 파이프라인은 실험과 함께 진화할 수 있도록 설계되어, 수천 개의 분자 시스템으로부터 얻은 새로운 데이터셋이 스스로 검증된 후보 이론을 자동으로 산출할 수 있게 한다.

저자들은 현재의 특성화 도구가 비선형 항의 형태를 완전히 결정하기에는 부족하며, 진단 도구가 노이즈에 취약하여 실제 실험 데이터 적용을 위한 강건한 미분이 필요하다는 한계점을 인정한다. 그러나 관찰된 정확도 향상이 상당하며 통계적으로 유의미하다는 점을 들어, 물리적 불변량이 PDE 발견을 위한 우월한 데이터 표현이라는 핵심 개념을 입증한다고 주장한다.