기술 요약: 물리 정보 기반 토큰 정규화 정책 최적화를 통한 LLM 기반 과학 방정식 발견

1. 문제 정의

기호 회귀(Symbolic Regression, SR)는 관측 데이터로부터 해석 가능한 수학 방정식을 추출하는 것을 목표로 하며, 이는 물리 법칙을 밝혀내는 데 있어 초석 역할을 한다. 최근의 접근 방식들은 사전 학습된 과학적 지식(priors)을 활용하기 위해 대규모 언어 모델(LLM)을 활용하여 방정식 가설을 생성하지만, 기존 프레임워크는 두 가지 결정적인 한계점을 갖는다:

1. 정적 생성(Static Generation): 기존 방식은 LLM을 정적인 생성기로 취급하며, 진화적 탐색을 유도하기 위해 프롬프트 수준의 가이드(인컨텍스트 러닝)에 의존한다. 이러한 패러다임은 모델이 검색 피드백을 바탕으로 내부 표현을 업데이트하지 못하게 하여, 모델이 평가 신호를 내재화하거나 특정 문제 구조에 맞춰 생성 전략을 조정하는 것을 방해한다.
2. 물리 무관 탐색(Physics-Agnostic Search): 기존 프레임워크는 종종 물리적 타당성보다 구문론적 정확성을 우선시한다. 엄격한 제약 조건이 없다면, LLM은 수치적으로는 데이터를 잘 맞추더라도 근본적인 물리 원칙(예: 차원 균질성)을 위반하거나 수학적으로 중복된 구조를 포함하는 방정식을 생성할 수 있으며, 이는 과적합과 실용적 사용 불가능성으로 이어진다.

핵적 과제는 LLM을 정적인 제안자에서, 대상 시스템의 구조적 및 물리적 특성에 따라 생성 분포를 동적으로 정렬할 수 있는 적응형 생성기로 변모시키는 것이다.

2. 방법론: PiT-PO

저자들은 LLM 기반의 진화적 탐색과 엄격한 검증을 결합한 통합 프레임워크인 **PiT-PO (Physics-informed Token-Regularized Policy Optimization)**를 제안한다. 이 프레임워크는 두 가지 시너지 효과를 내는 메커니즘을 통해 폐쇄 루프 진화 프로세스를 통해 작동한다.

2.1 탐색 중 LLM 진화 (In-Search LLM Evolution)

LLM을 고정된 상태로 유지하는 표준 방식과 달리, PiT-PO는 진화적 탐색 동안 LLM의 파라미터를 업데이트하기 위해 **그룹 상대적 정책 최적화(GRPO)**를 사용한다.

• 메커니즘: LLM을 토큰 시퀀스를 생성하는 정책 $\pi_\theta$로 취급한다. GRPO는 출력 그룹을 샘플링하고, 이를 평가하며, 대리 손실(surrogate loss)을 최대화하도록 정책 파라미터를 업데이트한다.
• 장점: 이러한 "탐색 중" 미세 조정은 모델이 효과적인 기호 패턴을 공고히 하고 후속 탐색을 더 효율적으로 안내할 수 있게 하여, 일반적인 과학적 지식을 도메인 특화된 전문 지식으로 즉각적으로 전환시킨다.

2.2 이중 제약 학습 신호 (Dual-Constraint Learning Signals)

생성된 방정식이 과학적으로 타당하면서도 구조적으로 간결하도록 보장하기 위해, PiT-PO는 세밀한 토큰 수준의 피드백을 생성하는 이중 제약 메커니즘을 도입한다.

A. 계층적 물리 제약 (Hierarchical Physical Constraints)

물리적으로 불가능한 구조(예: 단위 불일치)를 제거하기 위해 다음과 같은 계층적 필터를 통해 과학적 타당성을 강제하는 보상 시스템을 적용한다:

• 일반 수준 제약: 차원 균질성($P_{dim}$) 및 미분 가능성($P_{diff}$)에 대한 페널티를 부과한다.
• 도메인 특화 제약: 전문가 지식을 귀납적 편향(inductive biases)으로 주입한다. 난류 모델링의 경우, 여기에는 실현 가능성(Reynolds 응력의 양의 고유값), 경계 조건 일관성(벽에서의 응력 감소), 점근적 스케일링(점성 하층에서의 3차 스케일링), 그리고 에너지 일관성에 대한 제약이 포함된다.
• 게이트 활성화: 물리적 페널티는 후보 방정식이 기초적인 적합 정확도 임계값에 도달한 후에만 활성화되어, 엄격한 준수를 강요하기 전 초기 단계에서의 "자유로운" 탐색을 허용한다.

B. 정리 가이드 수학적 제약 (Theorem-Guided Mathematical Constraints)

수학적 중복 문제를 해결하기 위해 저자들은 **지지 배제 정리(Support Exclusion Theorem)**를 도입한다.

• 이론: 이 정리는 다른 기저 함수들의 내부 및 외부 간섭에 대한 적합 계수의 크기를 바탕으로 거짓 발견(중복 항)을 식별할 수 있는 이론적 보증을 제공한다.
• 토큰 수준 페널티: 특정 항이 중복된 것으로 식별되면(그 계수의 크기가 유도된 임계값 미만인 경우), 해당 항을 구성하는 특정 토큰에 토큰 수준 페널티($P_{tok}$)가 적용된다. 이 페널티는 로그 형태이며, 계수가 작은 항에 더 강한 페널티를 부과한다.

2.3 토큰 인식 정책 업데이트 (Token-Aware Policy Update)

표준 GRPO는 시퀀스의 모든 토큰에 균일한 어드밴티지를 할당한다. PiT-PO는 글로벌 보상과 토큰 수준 페널티를 합성하여 이를 정교화한다.

• 토큰 인식 어드밴티지 ($\hat{A}_{i,k}$): $k$번째 토큰에 대한 어드밴티지는 글로벌 보상을 표준화하고, 해당 토큰이 중복된 항에 속하는 경우 로컬 토큰 페널티를 차감하여 계산된다.
• 효과: 이는 글로벌 보상이 물리적으로 일관된 방정식을 향해 정책을 유도하는 동시에, 로컬 페널티가 중복된 항을 외과적으로 절제하는 "이중 압력" 경관을 생성하여, 정책이 이론적으로 중복된 구조를 명시적으로 억제하는 법을 배우도록 보장한다.

2.4 훈련 파이프라인

프레임워크는 조기 수렴을 방방지하기 위해 멀티 아일랜드 토폴로지를 활용한다:

1. 아일랜드 기반 탐색: 여러 고립된 아일랜드가 서로 다른 방정식 계보를 진화시켜 탐색의 다양성을 유지한다.
2. 탐색 중 진화: 모든 아일랜드의 궤적을 집계하여 효율적인 LoRA(Low-Rank Adaptation)를 사용하여 정책 최적화를 수행한다.
3. 계층적 선택: 상위 성능의 후보를 유지하고 성능이 낮은 아일랜드를 높은 적합도를 가진 시드로 재설정하는 적자생존 메커니즘을 사용한다.

3. 주요 결과

3.1 벤치마크 성능

PiT-PO는 GPlearn, PySR, uDSR, RAG-SR, LLM-SR를 포함한 최첨단 베이스라인들과 함께 LLM-SR Suite 및 LLM-SRBench에서 평가되었다.

• 정확도: PiT-PO는 가장 많은 실제 정답 방정식을 복구하며 최첨단 성능을 달립했다. LLM-SR Suite에서 Oscillation 1에서는 100%, Oscillation 2에서는 99.99%의 정확도(8B 백본 사용 시)를 달성했다. E. coli 성장 모델에서 베이스라인들을 크게 앞질렀으며, Stress-Strain 작업에서도 경쟁력 있는 결과를 얻었으나 4o-mini 베이스라인을 넘어서지는 못했다.
• 기호 정확도: 239개 태스크로 구성된 LLM-SRBench에서 PiT-PO는 모든 카테고리(화학, 생물학, 물리학, 재료 과학)에서 가장 높은 기호 정확도(SA)를 달성하여, 단순히 수치적으로 맞추는 것이 아니라 올바른 기호 형태를 복구하는 탁월한 능력을 입증했다.
• 효율성: PiT-PO는 빠른 수렴 속도와 함께, 베이스라인 방법들(예: LLM-SR)이 낮은 MSE에서 정체되는 구간을 탈출하는 능력을 보여주었다.

3.2 소형 모델의 역량 강화

중요한 발견 중 하나는 PiT-PO가 소규모 오픈 소스 모델이 특정 맥락에서 대규모 폐쇄형 모델과 대등하거나 이를 능가할 수 있게 한다는 점이다.

• 양자화된 Llama-3.2-1B 모델을 사용하여, PiT-PO는 Oscillation 태스크와 E. coli 성장 태스크에서 Mixtral 8x7B 및 4o-mini를 사용한 LLM-SR과 대등하거나 더 우수한 성능을 보였다. 그러나 Stress-Strain 태스크에서는 1B 모델(정확도 76.91%)이 4o-mini 베이스라인(85.33%)보다 낮은 성능을 보였는데, 이는 이 프레임워크가 능력 격차를 크게 줄여주지만 모든 지표에서 모든 독점적 거대 모델을 보편적으로 능가하는 것은 아님을 시사한다.
• 이는 탐색 중 정책 최적화가 소형 모델을 효과적으로 강화하여, 구조적 발견이 중요한 작업에서 소비자급 하드웨어로도 고성능 과학적 발견 도구에 접근할 수 있도록 민주화한다는 것을 의미한다.

3.3 실제 응용: 난류 모델링

프레임워크는 주기적 힐(Periodic Hills) 위의 흐름에서 Reynolds 응력 비등방성에 대한 비선적 구성 관계를 발견하는 데 적용되었다.

• 성능: 발견된 모델은 전통적인 RANS 접근 방식(특히 $k-\omega$ SST 모델)을 개선하여, 직접 수치 시뮬레이션(DNS) 참조값에 더 가까운 비등방성 Reynolds 응력을 생성했다.
• 물리적 충실도: 학습된 모델은 향상된 물리적 일관성을 보여주었으며, 표준 RANS 및 다른 SR 기반 방법들에 비해 비물리적 극단값을 줄이고 유동 박리 버블 및 마찰 계수에 대해 더 정확한 예측을 제공했다.

3.4 절제 연구 (Ablation Studies)

절제 연구를 통해 두 구성 요소의 필요성을 확인했다:

• 물리적 제약을 제거하면(w/o Phy) NMSE와 일반화 성능이 크게 저하되었다.
• 토큰 정규화를 제거하면(w/o TokenReg) 중복 항이 지속적으로 나타나고 분포 내(ID) 데이터와 분포 외(OOD) 데이터 간의 일반화 격차가 커졌다.

4. 의의 및 주장

본 논문은 PiT-PO가 과학적 발견에서 LLM의 역할을 정적인 제안자에서 적응형, 물리 인지형 생성기로 근본적으로 전환시킨다고 주장한다.

• 과학적 일관성: 계층적 물리 제약과 정리 가이드 토큰 정규화를 통합함으로써, PiT-PO는 생성 과정을 수치적 적합성, 과학적 일관성, 그리고 간결성과 동시에 정렬한다.
• 민주화: 핵심적인 발견 작업에서 소형 모델(예: 10억 파라미터)이 폐쇄형 거대 모델과 대등하게 만들 수 있는 PiT-PO의 능력은, 막대한 컴퓨팅 자원이나 독점 API에 의존하지 않고도 자동화된 과학적 발견을 위한 실질적인 방법론을 확립한다. 단, 성능은 작업의 복잡도에 따라 달라질 수 있다.
• 실용적 유용성: 난류 모델링에 대한 성공적인 적용은 발견된 기호적 보정치가 실제 엔지니어링 워크플로우에서 가치 있는 결과(표준 선형 모델보다 나은 유동장 예측)를 낼 수 있음을 입증한다.

저자들은 이 접근 방식이 SR 벤치마크의 새로운 최첨단(SOTA)을 구축하며, 도메인 특화된 물리 지식을 LLM의 학습 역학에 통합하는 강력한 경로를 제공한다고 결론짓는다.