기술 요약: 자동화된 뉴럴 오퍼레이터 발견을 위한 에이전틱 AI 과학 커뮤니티

문제 정의

오퍼레이터 학습(Operator learning)은 편미분 방정식(PDE) 솔버를 위한 빠른 대리 모델(surrogates)을 구축하는 것을 목표로 한다. 그러나 기존의 뉴럴 오퍼레이터 패밀리(예: Fourier Neural Operators, DeepONets, Wavelet operators)는 특정 영역에 적합한 고정된 귀납적 편향(inductive biases)을 인코딩하고 있다. 또한, 새로운 PDE에 대해 아키텍처 하이퍼파라미터(깊이, 너비, 블록 구성)를 선택하는 과정은 여전히 수동적인 프로세스로 남아 있다. 본 연구가 다루는 핵심 질문은, 인간의 사전 지식이나 개입 없이도 주어진 문제에 최적화된 뉴럴 오퍼레이터 아키텍처를 발견할 수 있는 자동화된, 에이전틱(agentic)한 연구 커뮤니티 시뮬레이션이 가능한가 하는 점이다.

방법론

AI 과학 커뮤니티 프레임워크

저자들은 $T=20$번의 반복(iteration) 동안 아키텍처 탐색 공간을 탐구하는 $N=16$개의 가상 실험실로 구성된 탈중앙화된 스웜(swarm)을 제안한다. 이 시스템은 "인용 기반의 영향력 경제(citation-based economy of influence)" 하에 작동한다:

1. 스웜 역학 (Swarm Dynamics): 높은 적합도(fitness)를 가진 실험실(잘 인용된 실험실)은 영향력과 번식 우선권을 얻는 반면, 인용되지 않은 실험실은 교체된다. 이는 성공적인 연구 방향이 추종자를 끌어들이는 실제 세계의 과학 커뮤니티를 모사한다.
2. 가상 실험실 구조: 각 실험실은 세 가지 별도의 에이전트를 포함한다:
   • LLM 플래너 (LLM Planner): 자신의 이력, 글로벌 베스트 모델, 그리고 동료 실험실의 요약 정보를 바탕으로 다음 아키텍처 게놈(genome)을 제안한다.
   • 수치 작업자 (Numerical Worker): 비(non)-LLM 방식의 경사 하강법 기반 트레이너로, 제안된 아키텍처를 컴파일하고 "스크리닝 충실도(screening fidelity)"(속도를 위해 데이터/에폭을 줄임)에서 훈련시킨 후 상대적 $L_2$ 오차를 측정한다.
   • LLM 리뷰어 (LLM Reviewer): 후보 모델의 성능과 아키텍처의 참신함을 기준으로 소프트 투표(soft votes)를 행사하며 교차 실험실 피어 리뷰(peer review)에 참여한다.
3. 탐색 공간 (게놈): 아키텍처는 다음과 같은 어휘 집합에서 추출된 블록들의 시퀀스로 정의된다: $\{ \text{BRANCH\_TRUNK, FOURIER, ATTENTION, WAVELET, RESIDUAL\_CONV} \}$. 게놈에는 은닉층 너비(hidden width), 스펙트럼 모드(spectral modes), 학습률과 같은 하이퍼파라미터도 포함된다.
4. 적합도 함수 (Fitness Function): 복합 점수 $F_i$는 정확도($A_i$), 노이즈에 대한 강건성($G_i$), 파라미터 효율성($E_i$), 그리고 아키텍처의 참신함($\nu_i$)을 결합한다. 정확도에 높은 가중치($w_a=0.70$)를 두지만, 참신함과 효율성을 통해 사소한 해로의 붕괴를 방지한다.

LLM 절제 연구 (Ablation Study)

LLM의 에이전시(agency) 기여도를 격리하기 위해, 저자들은 통제된 절제 연구를 수행하였다. "규칙 기반(rule-based)" 조건에서는 LLM 플래너와 리뷰어가 결정론적 알고리즘으로 대체되었다:

• 규칙 기반 플래너: 표준 입자 군집 최적화(particle-swarm optimization, 탐색/활용) 업데이트를 사용한다.
• 규칙 기반 리뷰어: 정확도에 비례하는 투표를 사용한다.
  두 조건은 동일한 스웜 크기, 반복 횟수, 훈련 예산 및 랜덤 시드를 공유한다.

에이전트 감사 (Agent Auditing)

시스템이 조용히 규칙 기반의 백업 모델로 퇴보하지 않았음을 보장하기 위해(이는 에이전틱 시스템의 알려진 위험 요소이다), 모든 LLM 호출(프롬프트, 응답, 파싱 상태)을 기록하고 감사하였다. 시스템은 재현성을 보장하고 유료 API 사용을 피하기 위해 Ollama를 통한 로컬 gemma3:12b 모델을 사용한다.

주요 결과

1. 다중 패밀리 하이브리드(Multi-Family Hybrids)의 발견

LLM 주도 커뮤니티는 일관되게 다중 패밀리 하이브리드 아키텍처를 발견하였다.

• 하이브리드화 비율: 플래너 결정의 99.8%에서 LLM은 단일 패밀리를 순수하게 탐색하거나 활용하기보다, 서로 다른 패밀리의 블록을 결합하는 "HYBRIDIZE"를 선택하였다.
• 레짐 적합성 (Regime Appropriateness): 발견된 아키텍처는 문제의 물리 법칙에 적응하였다. 스펙트럼 친화적인 문제(Advection, Burgers, Navier-Stokes)의 경우 Fourier 블록이 스택의 상단을 차지했다. 반면, 구간 회귀(piecewise regression) 및 Darcy flow의 경우 Wavelet 또는 DeepONet 스타일의 블록이 두드러졌다.
• 성능:
  • Navier-Stokes (2D): 발견된 하이브리드는 $0.0005 \pm 0.0000$의 상대적 $L_2$ 오차를 달성하였으며, 이는 SOTA인 FNO($0.0002$)와 유사한 수준이지만 더 적은 파라미터(FNO의 1.2M 대비 1.1M)를 사용하였다.
  • Darcy Flow (2D): 하이브리드는 $0.0631 \pm 0.0083$의 오차를 달성하여, DeepONet($0.0649$)과 통계적으로 대등하였고 FNO($0.3070$)를 크게 능가하였다.

2. 뉴럴 오퍼레이터의 "공짜 점심은 없다(No-Free-Lunch)" 정리

결과는 단일 오퍼레이터 아키텍처가 모든 문제를 지배할 수 없음을 확인시켜 준다.

• Navier-Stokes 하이브리드는 Darcy flow에서 성능이 저하되었고(오차 $\approx 0.71$), Darcy 하이브리드는 Navier-Stokes에서 성능이 저하되었다.
• 이는 서로 다른 PDE 레짐이 구별되는 귀납적 편향을 필요로 한다는 가설을 검증한다.

3. LLM 에이전시의 역할 (절제 연구 결과)

LLM 커뮤니티와 규칙 기반 커뮤니티의 정확도는 스크리닝 충실도에서 통계적으로 구별할 수 없을 정도로 유사했으나, 아키텍처적 결과물은 크게 달랐다:

• LLM 커뮤니티: 다양성을 유지하며, 일관되게 파라미터가 적은 다중 패밀리 하이브리드를 생성하였다.
• 규칙 기반 커뮤니티: 전형적인 단일 패밀리 스택(예: Navier-Stokes를 위한 순수 Fourier, Darcy를 위한 순수 Wavelet)으로 "붕괴"되는 경 경향을 보였다.
• 효율성: Navier-Stokes에서 LLM 하이브리드는 규칙 기반의 순수-Fourier 스택과 대등한 정확도를 달성하면서도, 2.5배 적은 파라미터(5.6M 대비 2.2M)를 사용하였다.
• 결론: LLM 에이전시는 아키텍처적 다양성을 유지하고 효율적인 하이브리드 솔루션을 발견하는 데 필수적인 반면, 규칙 기반 에이전트는 표준 패밀리로 조기에 수렴한다.

4. 계산 비용

LLM 주도 방식은 규칙 기반 조정(예: Navier-Stokes에 대해 약 103분 대비 약 271분)에 비해 약 2~4배의 벽시계 시간(wall-clock time) 오버헤드가 발생한다. 이 비용은 LLM의 계획 및 리뷰 호출(실험실당 반복당 2회 호출)에 기인한다. 그러나 "스크리닝 충실도"(초 단위의 훈련)를 사용함으로써 스웜 접근 방식은 단일 GPU에서도 실행 가능하다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 새로운 프레임워크: LLM 플래너와 리뷰어를 갖춘 가상 실험실 스웜을 사용하여 뉴럴 오퍼레이터 발견을 성공적으로 자동화하는 에이전틱 AI 과학 커뮤니티를 제시하였다.
2. LLM 필요성의 증거: 절제 연구를 통해 LLM 에이전시가 아키텍처 다양성을 유지하고 효율적인 하이브리드 모델을 발견하는 데 중요하며, 규칙 기반 시스템에서 나타나는 단일 패밀리로의 붕괴를 방지한다는 것을 입증하였다.
3. No-Free-Lunch의 경험적 검증: 대규모 시뮬레이션을 통해 보편적인 뉴럴 오퍼레이터는 존재하지 않으며, "최적의" 아키텍처는 문제 의존적이라는 사실을 확인하였다.

저자들은 본 시스템이 인간이 설계한 베이스라인의 원시 정확도 측면에서 이를 능가한다고 주장하는 것이 아니라, 아키텍처 발견과 파라미터 효율성 측면에서 우수함을 명시적으로 밝히고 있다. 이 연구는 LLM이 자율적인 도구 실행기가 아니라 의사결정을 위한 정책(policy) 역할을 한다는 점을 강조하며, "no-free-lunch" 결과는 더 넓은 자동화된 맥락 내에서의 기존 문헌 사실의 재발견임을 시사한다. 재현성을 위해 모든 코드, 설정 및 전체 LLM 트랜스크립트(9,623회 호출)가 공개되었다.