기술 요약: GESR – 유전자 편집을 활용한 유전 프로그래밍 기반 심볼릭 회귀 방법

1. 문제 제기

심볼릭 회귀는 관측 데이터로부터 높은 예측 정확도와 강력한 해석 가능성을 동시에 달성하는 수학적 표현식을 자동으로 발견하는 것을 목표로 합니다. 유전 프로그래밍 (GP) 은 이 작업을 위한 고전적이면서도 널리 채택된 접근법이지만, 표현식 구조를 진화시키기 위해 무작위 유전 연산자 (변이와 교차) 에 크게 의존합니다. 저자들은 이러한 무작위성이 자연 진화를 모방하더라도 필연적으로 수많은 비효율적이거나 해로운 변이를 생성한다고 주장합니다. 이러한 통제 불가능성은 검색 효율성을 저하시키고 수렴을 지연시키며 계산 비용을 증가시킵니다. GP 를 안내하려는 기존 방법들 (예: 초기화를 위한 LSTM 사용 또는 서브트리 예측을 위한 역방향 계산) 은 종종 높은 계산 오버헤드를 겪거나 진화 검색 중 변이 및 교차 과정을 효과적으로 안내하지 못합니다.

2. 방법론

본 논문은 심볼릭 회귀를 위한 GESR(Gene Editing Symbolic Regression) 을 제안합니다. 이는 GP 진화 루프에 다중 모달 BERT 모델을 통합하여 "유전자 편집"을 수행하는 프레임워크입니다. 이 접근법은 순수한 무작위 유전 연산자를 데이터 조건에 기반한 안내된 연산으로 대체합니다. 프레임워크는 비유적으로 "신의 손"으로 묘사되는 두 가지 주요 구성 요소로 이루어집니다:

2.1 마스킹 언어 모델을 통한 안내된 변이

• 표현: 심볼릭 표현식은 이진 트리로 표현되며 선형 순회 (preorder traversal) 시퀀스로 선형화됩니다.
• 메커니즘: 다중 모달 BERT 모델이 변이를 안내하도록 훈련됩니다. 변이 단계에서 표현식 시퀀스의 특정 연산자 또는 피연산자 토큰이 무작위로 마스킹됩니다.
• 입력: 마스킹된 시퀀스는 회귀 데이터셋 $(X, Y)$ 와 함께 BERT 모델에 입력됩니다. 데이터는 SetTransformer를 사용하여 순열 불변성을 보장하도록 인코딩되며 심볼릭 토큰 임베딩과 융합됩니다.
• 출력: 모델은 데이터 분포에서 유도된 조건부 확률 분포를 기반으로 마스킹된 위치에 가장 적합한 대체 심볼을 예측합니다. 이는 변이를 무작위 교란에서 회귀 적합도 (예: $R^2$) 향상을 목표로 하는 표적 편집으로 변환합니다.

2.2 서브트리 예측을 통한 안내된 교차

• 메커니즘: 두 번째 다중 모달 BERT 모델이 교차 연산을 안내합니다.
• 입력: 두 개의 후보 표현식 시퀀스가 특수 [SEP] 토큰을 사용하여 연결되며, 데이터셋 $(X, Y)$ 와 함께 입력됩니다.
• 출력: 모델은 교환에 가장 적합한 두 부모 표현식의 서브트리 루트 노드를 예측합니다.
• 전략: 무작위로 교차점을 선택하는 대신, 모델은 교환 시 주어진 데이터 제약 하에서 자손의 적합도를 향상시킬 가능성이 높은 구조적 조각을 식별합니다.

2.3 훈련 데이터 구성

저자들은 BERT 모델을 위한 고품질 훈련 데이터를 구성하기 위해 특정 파이프라인을 설계했습니다:

• 변이를 위한 파이프라인: 하나는 다른 것보다 "더 나은" 버전인 표현식 쌍을 생성합니다. 이는 목표 표현식을 생성하고, 데이터를 샘플링하며, 무작위 초기 표현식을 만들고, 미분 가능한 변이 함수를 적용하고, BFGS 를 통해 매개변수를 최적화하며, 결과를 이산화하는 과정을 포함합니다. 변이된 표현식이 적합도 ($R^2$) 를 개선하면 원래 표현식을 마스킹하고 개선된 심볼을 목표로 사용합니다.
• 교차를 위한 파이프라인: 훈련 데이터는 GP 진화 과정 중 온라인으로 수집됩니다. 두 부모 표현식 쌍을 교차합니다 (표준 GP 또는 안내된 변이를 먼저 사용). 자손을 평가합니다. 자손이 부모보다 성능이 우수하면, 부모 쌍과 사용된 특정 교차 노드를 훈련 샘플로 기록합니다. 이는 모델이 적합도 개선으로 이어지는 교차점을 학습하도록 보장합니다.

2.4 진화 루프

GESR 프레임워크는 세대를 거쳐 반복됩니다:

1. 변이: 개체군은 변이-BERT 를 사용하여 안내된 변이를 겪습니다.
2. 교차: 교차-BERT 를 사용하여 안내된 교차가 수행됩니다.
3. 최적화: 결과 표현식의 상수는 BFGS 를 사용하여 정제됩니다.
4. 선택: 개체들은 $R^2$ 기반으로 평가되며, 상위 $N$ 개가 다음 세대를 위해 선택됩니다.

3. 주요 기여

논문은 네 가지 주요 기여를 제시합니다:

1. 유전자 편집 프레임워크: 유전 변이와 교차의 표적 안내를 가능하게 하여 진화 효율성을 크게 향상시키는 심볼릭 회귀 프레임워크를 제안합니다.
2. 이중 "신의 손" 모델: 유전자 편집을 수행하도록 훈련된 두 개의 다중 모달 BERT 모델을 개발하며, 이는 다른 GP 기반 심볼릭 회귀 알고리즘을 위한 플러그 앤 플레이 모듈로 기능할 수 있습니다.
3. 데이터 구성 방법: 적합도 개선을 기반으로 한 변이 함수와 고품질 유전자 편집 훈련 데이터 구성 방법을 설계합니다.
4. 개념적 통합: 심층 언어 모델을 활용하여 검색을 안내함으로써 진화 계산 분야에 "유전자 편집" 개념을 도입합니다.

4. 실험 결과

저자들은 13 개의 데이터셋에서 GESR 을 평가했는데, 여기에는 표준 벤치마크 (Nguyen, Keijzer, Korns 등) 와 SRBench 스위트 (Feynman, Strogatz, Black-box) 가 포함됩니다.

• 적합도 성능: GESR 은 최첨단 베이스라인 (PySR, NGGP, SNIP, GPlearn) 과 비교하여 동등하거나 우수한 $R^2$ 점수를 달성했습니다. 평균적으로 GESR 은 0.9903의 $R^2$를 달성하여 PySR(0.9876) 과 NGGP(0.9784) 를 능가했습니다.
• 복잡성 (해석 가능성): GESR 은 더 컴팩트한 표현식을 생성했습니다. GESR 의 평균 노드 수는 22.0으로, PySR(26.9), NGGP(28.1), GPlearn(35.8) 보다 현저히 낮았습니다.
• 효율성: GESR 은 훨씬 빠른 추론 시간을 보여주었습니다. $R^2 > 0.999$에 도달하는 평균 시간은 GESR 의 경우 117.2 초였으며, 안내되지 않은 GP 베이스라인은 176.1 초, 변이 안내만 있는 변형은 124.4 초였습니다.
• 절대 실험 (Ablation Studies): 변이 또는 교차 안내 모듈 중 하나를 제거하면 정확도, 복잡성 및 검색 시간 측면에서 성능이 저하되어 두 구성 요소 모두 방법의 성공에 기여함을 확인했습니다.
• 혼돈 시스템: 16 개의 혼돈 동역학 시스템 (예: 로렌츠, 더핑) 에 대한 테스트에서 GESR 은 베이스라인에 비해 더 높은 벡터장 적합 정확도와 더 나은 단기 롤아웃 일관성을 보여주었습니다.
• 전이성: NGGP 프레임워크에 통합되었을 때, BERT 기반 유전자 편집 전략은 NGGP 의 성능을 향상시켰으며, 이 접근법이 특정 GESR 아키텍처에 국한되지 않음을 입증했습니다.

5. 중요성 및 주장

본 논문은 심볼릭 회귀를 위한 새로운且 효율적인 연구 방향으로서 지능형 유전자 편집을 위한 심층 언어 모델 통합을 주장합니다. 안내되지 않은 무작위 탐색을 데이터 기반의 지시된 최적화로 대체함으로써 GESR 은 다음과 같은 효과를 가집니다:

• 비효율적 검색 감소: 해로운 변이와 교차의 수를 현저히 줄입니다.
• 수렴성 향상: 더 빠른 수렴 속도와 더 높은 검색 안정성을 달성합니다.
• 해석 가능성 강화: 더 컴팩트하고 인간이 해석 가능한 수학적 공식을 생성합니다.

저자들은 방법론이 사전 훈련된 BERT 모델의 품질에 의존하며, 테스트 데이터의 차원이 사전 훈련 중 지원된 범위를 초과할 때 확장성 문제를 겪는다는 한계를 인정합니다. 향후 연구는 고차원 입력을 위한 더 가볍고 전이 가능한 모델 및 확장 가능한 프레임워크 개발에 초점을 맞춰야 한다고 제안합니다.

요약하자면, 본 논문은 데이터 분포에 기반하여 유익한 구조적 변화를 예측하도록 학습함으로써 맹목적인 탐색을 안내된 최적화로 전환하여 진화 심볼릭 회귀의 효율성을 크게 향상시킬 수 있는 "유전자 편집"이라는 비유적 "신"이 다중 모달 BERT 모델을 통해 실현될 수 있다고 주장합니다.