LLM-Guided Open Hypothesis Learning from Autonomous Scanning Probe Microscopy Experiments

본 논문은 사전에 정의된 모델 없이 희소한 실험 데이터로부터 새로운 물리적 가설을 생성하고 평가하기 위해 기호 회귀와 대규모 언어 모델을 통합한 자율 주사 현미경 프레임워크를 제시하며, 이를 통해 강유전체 영역 전이에 대한 해석 가능한 전압 - 시간 성장 법칙을 성공적으로 발견했습니다.

핵심

가상의 과학자가 초고성능 현미경을 갖춘 실험실에서 일한다고 상상해 보세요. 과거에는 이 과학자가 정확히 무엇을 측정할지 결정하고, 실험을 수행한 뒤 결과를 살펴본 다음, 다음 단계로 무엇을 할지 결정해야 했습니다. 이는 느리고 과학자 자신의 직관에 크게 의존하는 방식이었습니다.

최근 몇 년간 과학자들은'자율주행'실험실을 구축했습니다. 이는 과학을 위한 자율주행차와 같습니다: 컴퓨터가 현미경을 제어하고 실험을 수행하며, 가능한 한 가장 빠르게 최상의 결과를 찾기 위해 설정을 조정합니다. 그러나 함정이 하나 있습니다: 이러한 자율주행 실험실은 보통 최적화(최고의 설정 찾기)에는 매우 뛰어나지만, 새로운 법칙을 발견하는 데는 형편없습니다. 이들은"이 전압이 가장 큰 점을 만든다"고 알려줄 수는 있지만, 그 이유를 설명하거나 이를 설명하는 새로운 물리 법칙을 적어내지는 못합니다. 이들은 인간 프로그래머가 제공한 아이디어의 상자 안에 갇혀 있는 것입니다.

이 논문은 그 상자에서 벗어나는 새로운 시스템을 소개합니다. 이 시스템은 컴퓨터에게 단순히 최선의 답을 찾게 하는 것을 넘어, 자신이 관찰한 것을 바탕으로 새로운 이론을 발명하도록 가르칩니다.

다음은 간단한 비유를 통해 이 시스템이 어떻게 작동하는지 설명한 것입니다:

두 개의 뇌를 가진 시스템

이 새로운 시스템을 퍼즐을 함께 풀고 있는 두 가지 매우 다른 로봇 팀으로 생각해 보세요.

1. "패턴 찾기 로봇"(기호 회귀)
상식 없이 수학에 매우 뛰어난 로봇을 상상해 보세요. 여러분이 이 로봇에 몇 개의 흩어진 데이터 포인트 (그래프 위의 몇 개의 점) 를 주면, 이 로봇은 그 점들을 연결할 수 있는 수천 가지의 다양한 수학 공식을 외쳐댑니다.

• 하는 일: "점의 크기는 전압에 시간의 제곱근을 곱한 것과 같다"거나 "점의 크기는 전압에 무작위 숫자를 더한 것과 같다"는 식의 터무니없는 추측들을 생성합니다.
• 문제점: 상식이 없기 때문에 수학적으로는 완벽하지만 물리적으로 불가능한 공식을 제안할 수 있습니다 (예: 전력을 높이면 점의 크기가 작아진다고 말하는 것). 이는 수학 교과서를 암기했지만 실제 세계가 어떻게 작동하는지 이해하지 못하는 학생과 같습니다.

2. "물리학 교수"(대형 언어 모델)
이제 두 번째 로봇을 상상해 보세요. 이 로봇은 역대 모든 물리학 교과서를 읽은 초지능 물리학 교수입니다. 이 로봇은 직접 계산을 하지 않고, 대신 심판 역할을 합니다.

• 하는 일: "패턴 찾기 로봇"이 생성한 수천 가지의 터무니없는 공식들을 살펴보고 말합니다. "잠깐만요. 그 공식은 점이 시간을 거슬러 자라난다고 하네요? 불가능합니다. 버리세요."
• 마법 같은 점: 이 로봇은 공식들이 실제 세계에서 타당한지에 따라 순위를 매깁니다. 물리 법칙 (예: "전압이 높을수록 점은 커져야 한다") 을 따르는 것들을 선택하고, 왜 그것들이 좋은지 설명합니다.

실험: 미세한 전기 기포 성장

이를 테스트하기 위해 연구자들은 PZT(전하를 띠는 세라믹의 일종) 라는 작은 물질 조각을 찌르는 특수 현미경을 사용했습니다. 전기를 흘려보내면 switched 전하의 미세한"기포"가 자라납니다.

• 목표: 연구자들은 그 기포가 얼마나 커지는지를 전기 충격을 얼마나 오래, 얼마나 강하게 가했는지에 따라 설명하는 법칙을 찾고자 했습니다.
• 과정:
  1. 시작: 그들은 단 5 개의 무작위 추측(5 가지 다른 충격 설정) 으로 시작했습니다.
  2. 루프:
     • "패턴 찾기 로봇"이 5 가지 결과를 살펴보고 50 가지 가능한 수학 규칙을 적어냈습니다.
     • "물리학 교수"가 그것들을 읽고 점수를 매겨 가장 좋은 하나를 선택했습니다.
     • 컴퓨터는 그 가장 좋은 규칙을 사용하여 더 많은 정보를 얻기 위해 다음에 어디에 충격을 가할지 결정했습니다.
     • 그들은 이를 10 회 반복하며 매 라운드마다 더 많은 데이터를 추가했습니다.

결과: 추측에서 이해로

처음에는"패턴 찾기 로봇"이 혼란스러워했습니다. "기포 크기는 전압이 아닌 시간에만 의존한다"는 식의 터무니없는 규칙들을 제안했습니다. "물리학 교수"는 이에 낮은 점수를 매기며"아니요, 그건 말이 안 됩니다"라고 말했습니다.

실험이 계속되고 컴퓨터가 더 많은 데이터를 수집함에 따라"패턴 찾기 로봇"은 더 똑똑한 규칙들을 제안하기 시작했습니다. 마침내"물리학 교수"는 승자를 선택했습니다. 그 규칙은 기포가 전압과 시간 모두에 따라 자라나며, 특히 시간이 지남에 따라 성장이 둔화되는 패턴 (예:"크리프"운동과 유사) 을 따른다고 말했습니다.

왜 이것이 중요한가요?
이전 실험들에서는 과학자들이 컴퓨터에"세 가지 가능한 규칙이 여기 있습니다; 가장 좋은 것을 선택하세요"라고 말해야 했습니다. 컴퓨터는 단순히 목록에서 선택했을 뿐입니다.
이 새로운 실험에서는 컴퓨터가 데이터로부터 규칙 자체를 창조했고, "물리학 교수"가 그것이 실제임을 확인했습니다. 이 시스템은 단순히 최상의 설정을 찾은 것이 아니라, 물질이 어떻게 작동하는지 설명하는 새로운 방식을 발견한 것입니다.

결론

이 논문은 자율 과학을 단순히 목록에서 최선의 답을 찾는"검색 엔진"에서 새로운 물리 법칙을 작성할 수 있는"과학자"로 전환시키는 방법을 보여줍니다. 아이디어를 생성하는 수학 봇과 그 아이디어가 타당한지 확인하는 AI 봇을 결합함으로써, 이 시스템은 거의 아무것도 없는 상태에서 복잡한 물리 법칙을 스스로 학습할 수 있습니다.

기술 요약

기술 요약: 자율 주사 탐침 현미경 실험에서의 LLM 기반 개방형 가설 학습

문제 제기
자율 실험은 현미경 및 재료 과학 분야에서 폐쇄 루프 최적화를 위한 패러다임으로 자리 잡았으며, 주로 베이지안 최적화 (BO) 를 활용하여 고정된 탐색 공간 내에서 계기 매개변수를 조정하거나 구조 - 물성 관계를 발견합니다. 그러나 현재 워크플로우는 사전 정의된 목적 함수와 가설 공간에 대한 의존성으로 인해 근본적인 한계를 겪고 있습니다. 이러한 시스템이 인간이 지정한 모델 내에서 최적점에 효율적으로 수렴하더라도, 개방형 가설 생성을 통해 새로운 물리 법칙을 도출하거나 실험 데이터를 해석할 수 있는 메커니즘은 부족합니다. 기존 "가설 학습" 접근법은 인간이 설계한 모델의 사전 정의된 집합 중 하나를 선택하는 데 그치는 반면, 데이터에서 직접 관계를 도출하지는 못합니다. 이로 인해 해석 가능한 지식이 생성, 평가, 그리고 의사 결정 계층 간에 전파되어야 하는 위계적 자율 시스템에서, 사전 인간 모델 클래스에 의해 제약받지 않고 이러한 과정이 이루어질 수 있는 간극이 존재합니다.

방법론
저자들은 폐쇄 루프 최적화에서 개방형 가설 발견으로 전환하기 위해 기호 회귀와 대규모 언어 모델 (LLM) 기반 물리 평가를 통합한 "개방형 가설 학습" 프레임워크를 제안합니다. 이 워크플로우는 세 가지 핵심 구성 요소로 이루어집니다:

1. 가설 생성을 위한 기호 회귀:
   고정된 모델 구조 내에서 매개변수를 적합시키는 대신, 시스템은 PySR 라이브러리를 활용한 기호 회귀를 통해 수학식 표현의 공간을 직접 탐색합니다. 희소 실험 데이터를 기반으로 이 모듈은 예측 정확도 (손실) 와 모델 복잡도 사이의 균형을 맞추는 후보 분석식들의 파레토 프론트를 생성합니다. 이 과정은 물리적 제약을 생성 단계에 포함하지 않는 순수 데이터 주도 방식으로, 명시적인 후보 방정식들을 산출합니다.

2. LLM 기반 물리 평가:
   통계적으로 최적화된 표현식이 물리적으로 유효하지 않을 수 있다는 한계를 해결하기 위해, 프레임워크는 구조화된 LLM 평가자를 도입합니다. LLM 에는 후보 방정식, 변수 정의, 그리고 (심층 연구 파이프라인을 통해 생성된) 강유전체 도메인 성장과 관련된 확립된 물리 원리에 대한 맥락이 풍부한 요약이 제공됩니다. LLM 은 생성자가 아닌 검증자 역할을 수행하며, 다음 기준에 따라 후보들을 점수화합니다:

   • 비자명성 (Non-triviality): 관련 변수 (예: 전압과 시간 모두) 에 대한 의존성.
   • 단조성 (Monotonicity): 기대되는 경향과의 일관성.
   • 스케일링 행동: 알려진 영역 (예: 열역학적 평형, 동역학적 성장, 크리프) 과의 정렬.
   • 병리 (Pathology): 특이점이나 비물리적 발산의 부재.
     출력에는 정량적 타당성 점수와 평가를 설명하는 자연어 추론 흔적이 포함됩니다.

3. 적응형 실험 설계:
   선택된 가설은 다음 실험 단계를 안내합니다. 시스템은 선택된 모델과 실험 데이터 간의 잔차를 계산합니다. 이러한 잔차에 가우시안 프로세스 (GP) 를 훈련시켜 불확실성을 모델링합니다. 그런 다음, 잔차 모델에 상한 신뢰 구간 (UCB) 획득 함수를 적용한 베이지안 최적화 (BO) 를 적용하여 새로운 측정 조건을 선택합니다. 이는 현재 가설이 불완전한 영역을 목표로 하여 모델을 반복적으로 정제합니다.

실험적 구현
이 프레임워크는 연지르코네이트 (PZT) 박막에서의 강유전체 도메인 스위칭을 조사하는 자율 피조응력 현미경 (PFM) 실험을 통해 시연되었습니다.

• 설정: 도메인 스위칭을 유도하기 위해 고정된 위치에 110 V 의 전압 펄스를 다양한 지속 시간 (0.0110 초) 으로 인가했습니다. 결과적으로 생성된 도메인 크기 (유효 반지름) 는 DART-PFM 을 통해 측정되었습니다.
• 과정: 실험은 5 개의 무작위 시드 측정으로 시작되었습니다. 10 회의 반복 사이클 동안 시스템은 잔차 기반 BO 전략에 따라 사이클당 5 개의 새로운 데이터 포인트를 획득하여 총 55 회의 측정을 수행했습니다.
• 평가: 후보 모델들은 물리 규칙 (예: $V$와 $t$ 모두에 대한 의존성 요구) 을 강제하도록 설계된 프롬프트를 사용하여 LLM 에 의해 순위가 매겨졌습니다.

주요 결과

• 가설의 진화: 5 개의 시드 포인트에서 시작하여 기호 회귀는 초기에 자명하거나 물리적으로 불완전한 모델 (예: 상수 또는 단일 변수 의존성) 을 생성했습니다. 적응형 샘플링을 통해 데이터셋이 커짐에 따라 가설 공간은 결합된 전압 - 시간 표현식을 포함하도록 진화했습니다.
• 선택 기준 비교:
  • 데이터 주도 선택: 손실과 복잡도의 균형을 맞추는 표준 PySR "최고" 기준은 후기 반복에서 시간 의존성을 무시했음에도 불구하고 유리한 손실 - 복잡도 비율을 제공했기 때문에 단순한 전압 전용 선형 모델 ($r \propto V$) 을 선호했습니다.
  • LLM 유도 선택: LLM 평가자는 시간 의존성 부재로 인해 "비자명성" 규칙을 위반한 전압 전용 모델을 기각했습니다. 대신 $r = V(0.000786 \log t + 0.00781)$ 형태의 모델을 선택했습니다.
• 물리적 일관성: LLM 이 선택한 모델은 "무질서 제어 동역학" 또는 "크리프 행동"과 일치하는 것으로 확인되었으며, 여기서 도메인 벽 속도는 역전기장에 지수적으로 의존하여 로그 시간 의존성을 초래합니다. 이 결과는 해당 분야의 이전 발견과 일치하지만, 여기서는 사전에 모델 클래스를 지정하지 않고 도출되었습니다.
• 예측 성능: 모델 선택 후 획득된 미래 데이터 포인트에서 평가했을 때, LLM 이 선택한 모델은 최소 손실 모델과 비교 가능한 예측 정확도를 보였으나 분산은 더 낮았습니다. 특히, LLM 이 선택한 모델은 물리학을 과소 적합하는 경우가 많았던 순수 복잡도 패널티가 적용된 PySR "최고" 모델보다 더 잘 일반화되었습니다.

의의 및 주장
본 논문은 기호 회귀, 물리적 추론, 적응형 실험을 위계적 자율 과학 워크플로우에 통합하는 경로를 확립한다고 주장합니다. 주요 기여는 고정된 탐색 공간 내에서의 최적화를 넘어 데이터에서 직접 해석 가능한 물리 법칙을 생성할 수 있음을 자율 현미경이 입증했다는 점입니다.

주요 주장으로는 다음이 포함됩니다:

1. 개방형 가설 발견: 이 프레임워크는 사전 정의된 인간 설계 모델 클래스 집합에 의존하지 않고 후보 물리 관계를 생성할 수 있게 합니다.
2. 물리 인식 순위 매기기: LLM 평가자는 통계적으로 효율적이지만 물리적으로 불완전한 모델과 해석 가능하고 알려진 메커니즘 (예: 크리프 영역 식별) 과 일관된 모델 사이를 성공적으로 구분합니다.
3. 지식 전파: LLM 이 제공하는 자연어 추론은 이전 가능한 지식 인공물 (artifact) 로 작용하여, 하위 에이전트가 단순히 수치 점수를 받는 것이 아니라 모델이 선택된 이유를 이해할 수 있게 합니다.
4. 검증: 이 접근법은 사전 정의된 모델에 의존했던 이전 가설 학습 연구들과 일치하는 PZT 의 동역학적, 크리프 유사 도메인 벽 성장 법칙을 성공적으로 식별함으로써 "개방형" 생성 접근법의 유효성을 입증했습니다.

저자들은 현재 구현이 분석적 형태를 위해 기호 회귀를 사용하지만, 더 넓은 프레임워크는 향후 반복에서 수치적 또는 시뮬레이션 기반 모델을 수용하도록 설계되었다고 명시합니다. 이 연구는 이 방법론을 단순히 사전 정의된 최적화 작업을 수행하는 것이 아니라 발견 과정에 능동적으로 참여하는 자율 시스템으로 나아가는 한 걸음으로 위치시킵니다.