In Context Learning and Reasoning for Symbolic Regression with Large Language Models

1. 문제 정의 (Problem)

기호 회귀 (Symbolic Regression, SR) 는 데이터에서 정확성과 단순성을 동시에 만족하는 수학적 방정식을 자동으로 발견하는 기계 학습 기법입니다. 기존의 SR 방법론 (유전 알고리즘, MCMC 등) 은 방대한 '방정식 공간'을 탐색하지만, 다음과 같은 한계가 있습니다.

• 이론적 일관성 부재: 데이터에 잘 맞는 방정식을 찾더라도 과학적 원리나 물리적 법칙과 일치하지 않는 경우가 많습니다.
• 추론 능력 부족: 기존 알고리즘은 데이터 패턴에 대한 깊은 추론이나 과학적 맥락 (Context) 을 반영하는 데 한계가 있습니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 자연어 처리에 뛰어나지만, 수치 최적화나 방정식 생성 시 '할루시네이션 (허위 사실 생성)'이 발생하거나, 직접적인 계수 최적화 (Fitting) 에 비효율적입니다.

이 연구는 LLM 의 추론 능력과 자연어 인터페이스를 활용하여, 과학적 맥락과 데이터를 결합한 효율적인 기호 회귀 워크플로우를 구축하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 LLM 을 단순히 방정식을 생성하는 도구가 아닌, **데이터와 과학적 맥락을 분석하고 추론하는 '코파일럿'**으로 활용하는 하이브리드 워크플로우를 제안합니다.

A. 하이브리드 최적화 시스템

• LLM 의 역할: 데이터 패턴과 과학적 맥락을 분석하여 방정식의 **구조 (Functional Form)**를 제안합니다.
• 외부 도구의 역할 (SciPy): LLM 이 제안한 방정식의 **수치 계수 (Constants)**를 최적화하고, 평균 제곱 오차 (MSE) 및 복잡도 (Complexity) 를 계산합니다.
• 피드백 루프: 최적화 결과를 LLM 에게 다시 입력하여, 복잡도와 손실 (Loss) 을 동시에 고려한 개선된 방정식을 제안하도록 유도합니다.

B. 프롬프트 엔지니어링 전략

LLM 의 성능을 극대화하기 위해 다음과 같은 전략을 적용했습니다.

1. 스크래치패드 (Scratchpad) 활용: LLM 이 최종 방정식을 출력하기 전에, 데이터 패턴, 과학적 맥락, 이전 방정식에 대한 분석을 단계별로 서술하도록 유도합니다. 이는 'Chain-of-Thought' 추론을 촉진하여 방정식 생성의 질을 높입니다.
2. 과학적 맥락 (Scientific Context) 통합: 데이터의 변수 의미 (예: 압력, 흡착량) 와 관련 이론 (예: 랑뮈어 흡착 등온선) 을 자연어로 프롬프트에 포함시켜, 방정식 탐색 공간을 물리적으로 타당한 영역으로 제한합니다.
3. 편향 제거 (Bias Removal): Few-shot 학습 시 예시 방정식이 모델의 탐색을 제한하는 편향을 방지하기 위해, 초기 프롬프트와 반복 프롬프트를 분리하고 LaTeX 대신 Python 문자열 형식을 사용하여 문법 오류를 최소화했습니다.
4. 제약 조건 부여: 자연어 프롬프트를 통해 "원점을 통과해야 함", "단조 증가해야 함" 등의 수학적/물리적 제약 조건을 명시하여 비현실적인 방정식 생성을 방지했습니다.

3. 주요 기여 (Key Contributions)

1. 자연어 기반 기호 회귀 프레임워크: 복잡한 소프트웨어 개발 없이 자연어 프롬프트만으로 과학적 제약 조건과 맥락을 SR 과정에 통합할 수 있는 방법을 제시했습니다.
2. 추론 중심의 워크플로우: LLM 이 단순히 패턴 매칭을 하는 것을 넘어, 스크래치패드를 통해 데이터와 이론을 분석하고 추론하는 과정을 거치게 함으로써 방정식 발견의 정확도를 높였습니다.
3. 할루시네이션 방지 및 신뢰성 확보: LLM 이 직접 계수를 추정하는 대신, 외부 최적화 도구 (SciPy) 를 통해 계수를 정확히 맞추도록 하여 수치적 오류를 제거했습니다.
4. 새로운 벤치마크 적용: 기존에 알려진 방정식이 없는 복잡한 실험 데이터 (Nikuradse 데이터) 에도 적용 가능성을 검증했습니다.

4. 실험 결과 (Results)

연구진은 세 가지 주요 데이터셋 (Langmuir 흡착, Dual-site Langmuir 흡착, Nikuradse 파이프 흐름) 을 사용하여 모델을 평가했습니다.

• Langmuir 및 Dual-site Langmuir 모델:

  • GPT-4 와 GPT-4o 모두 목표 방정식을 성공적으로 재발견했습니다.
  • 스크래치패드와 과학적 맥락을 함께 사용했을 때 성능이 가장 우수했습니다.
  • 특히 GPT-4o는 데이터 패턴을 더 잘 추론하여 Dual-site 모델과 같이 복잡한 방정식에서도 우수한 성능을 보였습니다.
  • **제약 조건 (Constraints)**을 추가한 결과, 물리적으로 불가능한 (예: 음의 흡착량) 방정식이 생성되는 비율이 크게 감소했습니다.

• Nikuradse 데이터 (알려진 목표 방정식 없음):

  • 350 개 이상의 측정값을 가진 다변량 데이터셋에서 GPT-4o 는 복잡도 27, MAE 0.00924 의 우수한 방정식을 생성했습니다.
  • 기존 SR 알고리즘 (BMS, Eureqa 등) 과 비교했을 때, LLM 은 훨씬 적은 수의 시도 (약 153 개) 만으로도 경쟁력 있는 결과를 도출했습니다.
  • 다만, BMS 와 같은 전용 SR 알고리즘이 수만 번의 시뮬레이션을 통해 더 정밀한 해를 찾을 수 있다는 점과 비교하여, LLM 은 계산 비용 대비 효율성과 초기 탐색의 질에서 강점을 보였습니다.

• 할루시네이션 및 데이터 유출 (Leakage) 분석:

  • Kepler 법칙 등 잘 알려진 데이터셋에서는 LLM 이 훈련 데이터에 포함된 지식을 기억하여 정답을 유추하는 '테스트 세트 유출' 현상이 관찰되었습니다.
  • 그러나 흡착 데이터나 Nikuradse 데이터와 같이 훈련 데이터에 구체적 수치가 포함되지 않은 경우, LLM 은 데이터 패턴과 과학적 맥락에 기반하여 방정식을 추론하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 과학적 발견의 접근성 향상: 복잡한 SR 알고리즘을 직접 코딩할 필요 없이, 자연어 프롬프트를 통해 과학적 맥락과 제약을 쉽게 반영할 수 있어 연구 진입 장벽을 낮췄습니다.
• 이론과 데이터의 통합: 자연어를 통해 과학 이론을 데이터 분석 과정에 유연하게 통합함으로써, 단순히 데이터에 맞는 방정식이 아닌 과학적으로 타당한 방정식을 발견하는 데 기여합니다.
• LLM 의 새로운 활용: LLM 이 단순한 텍스트 생성기를 넘어, 과학적 추론과 수학적 모델링을 보조하는 강력한 도구로 활용될 수 있음을 입증했습니다.

결론적으로, 이 연구는 LLM 을 전략적인 프롬프트 (Chain-of-Thought, 스크래치패드, 맥락 통합) 와 외부 최적화 도구의 하이브리드 시스템으로 구성함으로써, 기존 기호 회귀 방법론의 한계를 보완하고 과학적 방정식 발견의 새로운 패러다임을 제시했습니다.