기술 요약: 시너지 기반 기저 함수를 이용한 심볼릭 회귀 (Symbolic Regression Using Synergistic Basis Functions)

문제 정의

심볼릭 회귀(Symbolic Regression, SR)는 사전 정의된 함수 형태를 가정하지 않고, 입력 변수와 연속적인 타겟 사이의 명시적인 수학적 관계를 발견하는 것을 목표로 한다. SR은 인공 신경망(ANN)과 같은 "블랙박스" 모델에 비해 우수한 해석력을 제공하지만, 방대하고 복잡한 탐색 공간으로 인해 상당한 어려움에 직면해 있다. 전통적인 진화적 접근 방식, 특히 유전 프로그래밍(Genetic Programming, GP)은 높은 계산 비용, 느린 수렴 속도, 그리고 불필요하게 복잡한 표현을 생성하는 경향(bloat)으로 인해 어려움을 겪는 경우가 많다. 또한, 기존의 비진화적 방법들은 기저 함수 선택에서 어려움을 겪는 경우가 많은데, 이는 후보 함수들을 기존의 특징 집합과 결합되었을 때의 협력적 또는 시너지 효과보다는 개별적인 예측 기여도에 기반하여 평가하기 때문이다. 이러한 간과로 인해 중복된 표현이 생성되거나 가치 있는 함수 조합을 발견할 기회를 놓칠 수 있다.

방법론: 시너지 기반 기저 함수 회귀 (Synergistic Basis Functions Regression, SBFR)

본 논문은 압축적이고 해석 가능한 심볼릭 모델을 구축하기 위해 설계된 비진화적 프레임워크인 **시너지 기반 기저 함수 회귀(SBFR)**를 제안한다. 전체 표현식의 팝퓰레이션을 진화시키는 GP와 달리, SBFR은 이미 선택된 특징들의 맥락 내에서 회귀 모델에 대한 기여도를 바탕으로 개별 기저 함수를 반복적으로 생성하고 선택한다.

핵심 메커니즘

1. 후보 생성:
   SBFR은 램프드 하프 앤 하프(Ramped Half-and-Half, RHH) 절차를 사용하여 후보 심볼릭 기저 함수(트리 구조로 표현됨)를 생성한다. 이 방법은 "풀(full)" 전략과 "그로우(grow)" 전략을 결합하여, 미리 정의된 함수 집합(예: $+$, $-$, $\times$, $\div$)과 터미널(입력 변수 및 무작위 상수)로부터 다양한 구조와 깊이를 가진 표현식을 생성한다.

2. 시너지 기반 선택:
   SBFR은 후보 함수를 단순히 단독 성능에 기반하여 선택하는 대신, 현재 선택된 기저 함수 집합($FV$)과 관련하여 두 가지 상보적인 지표를 사용하여 평가한다:

   • 추가에 의한 시너지 ($S_{Add}$): 후보 함수가 현재의 특징 집합에 추가되었을 때의 평균 제곱근 오차(RMSE)의 상대적 감소량을 측정한다.
   • 교체에 의한 시너지 ($S_{Rep}$): 후보 함수가 기존 기저 함수 집합 중 하나를 대체했을 때의 RMSE의 상대적 감소량을 측정한다.

   후보 함수는 개선 정도가 사전 정의된 임계값(improvethreshold)을 초과하는 경우에만 수용된다. 알고리즘은 새로운 함수를 추가하거나, 교체가 더 큰 시너지 개선을 가져오는 경우 기존 기저 함수를 교체함으로써 특징 집합을 동적으로 업데이트한다.

3. 모델 불가지론적(Model-Agnostic) 프레임워크:
   SBFR은 모델 불가지론적으로 설계되었다. 구축된 심볼릭 기저 함수들은 다운스트림 회귀 모델을 위한 변환된 특징 역할을 한다. 실험에서 저자들은 선형 회귀(Ridge), 서포트 벡터 회귀(SVR), K-최근접 이웃(KNN), 결정 트리(DT), 랜덤 포레스트(RF), 다층 퍼셉트론(MLP)을 포함한 다양한 다운스트림 학습기를 사용하여 SBFR을 평가하였다.

4. 중단 기준:
   반복 프로세스는 최대 시도 횟수에 도달하거나, 연속된 평가 동안 유의미한 개선이 관찰되지 않거나, 목표 오차(RMSE = 0)가 달성될 때 종료된다.

주요 기여

저자들은 세 가지 주요 기여를 식별하였다:

1. 회귀로의 시너지 확장: 본 연구는 분류 영역에 적용되었던 시너지적 특징 구축의 개념을 심볼릭 회귀 영역으로 확장하여, 비진화적 SBFR 프레임워크를 도출하였다.
2. 동적 선택 전략: 후보의 협력적 기여를 명시적으로 평가함으로써 보완적인 기저 함수를 유지하고 중복을 줄이는 동적 선택 메커니즘을 도입하여, 팝퓰레이션 기반의 진화 탐색 없이도 효율적인 탐색을 가능하게 하였다.
3. 포괄적인 평가: 9개의 벤치마크 회귀 데이터셋(합성 및 실제 데이터 모두 포함)에 대해 13개의 베이스라인 방법과 비교하여 SBFR의 예측 성능과 모델 압축성을 엄격하게 평가하였다.

실험 결과

연구는 Concrete, Pollen, RatPol2D, Real Estate, Toxicity, X05Y1Z15, bm1, bm4, 그리고 keijzer5의 9개 데이터셋에 대해 SBFR을 평가하였다. 결과는 일반적인 회귀 모델 및 GSGP, M3GP, EvoF와 같은 진화적 모델 및 FFX와 같은 비진화적 모델을 포함한 최신 SR 방법들과 비교되었다.

예측 성능

• 오차 감소: 9개 데이터셋 전체에서 SBFR 기반 구성은 해당 베이스라인 회귀 모델 대비 평균적으로 40.14%의 RMSE 감소와 41.53%의 평균 절대 오차(MAE) 감소를 달와 성했다.
• $R^2$ 개선: 결정 계수($R^2$) 측면에서 평균 21.56%의 상대적 개선이 나타났다.
• 통계적 유의성: SBFR-RF(랜덤 포레스트 다운스트림) 구성은 RMSE에 대해 두 번째로 좋은 평균 순위(3.78)를 기록하였으며, 이는 최고 성능을 보인 진화적 방법인 EvoF(순위 2.89)와 통계적으로 유사한 수준이었으나, 단독 랜덤 포레스트(순위 5.22)보다는 유의미하게 우수하였다.
• 지표 일관성: SBFR-RF는 MAE 및 $R^2$ 지표에서도 강력한 성능을 유지하며, 베이스라인을 지속적으로 능가하고 경쟁 진화 방법들과 대등한 성능을 보였다.

모델 압축성 및 해석 가능성

• 특징 차원: SBFR의 결정적인 장점은 결과물인 특징 공간의 압축성이다. GSGP 및 EvoF와 같은 진화적 방법들은 종종 수백 개의 특징을 생성하는 반면(예: GSGP 중앙값 >600개), SBFR 변형 모델들은 (다운스트림 모델과 데이터셋에 따라 다르지만) 일반적으로 4~12개의 기저 함수만을 유지하였다.
• 압축성 순위: SBFR-SVR은 특징 공간 압축성에서 가장 좋은 평균 순위(2.44)를 기록하였고, 그 뒤를 SBSB-RF(2.56)가 근소한 차이로 따랐다.
• 트레이드오프: 본 논문은 SBFR-SVR이 가장 압축적인 표현을 제공하지만, SBFR-RF에 비해 예측 성능은 약간 낮다는 점을 언급한다. SBBR-RF는 예측 정확도와 특징 압축성 사이에서 가장 유리한 균형을 제공하는 것으로 강조되었다.

사례 분석

RatPol2D 데이터셋에 대한 예시 분석에 따르면, SBFR-RF는 8개의 심볼릭 기저 함수를 구축하였다. 여기에는 단순 선형 변환(예: $3x_0$)과 비선형 상호작용(예: $x_0(x_1 - x_0)$)이 포함되어, 복잡한 관계를 포착할 수 있는 명시적이고 해석 가능한 수학적 표현을 생성할 수 있음을 보여주었다.

의의 및 주장

본 논문은 SBFR이 비용이 많이 드는 팝퓰레이션 탐색을 시너지 기반의 반복적 기저 함수 선택 과정으로 대체함으로써 진화적 SR의 한계를 해결한다고 주장한다. 본 연구의 의의는 다음과 같다:

1. 효율성: 후보 표현식의 거대한 팝퓰레이션을 평가하는 데 드는 높은 계산 비용을 피한다.
2. 해석 가능성: 진화적 방법이 생성하는 방대한 특징 집합보다 훨씬 더 해석하기 쉬운 압축된 심볼릭 표현을 생성한다.
3. 효과성: 함수의 시너지 기여도를 명시적으로 평가하는 것이 개별 특징 선택이나 표준 진화 탐색에 의존하는 방법보다 더 나은 예측 성능과 더 압축된 모델을 이끌어낸다는 것을 입증하였다.

저자들은 SBFR이 앙상블 학습기(특히 랜덤 포레스트)와 결합될 때 예측 성능, 모델 압축성, 그리고 해석력 사이의 균형을 성공적으로 맞추는 유망한 비진화적 심볼릭 회귀 대안임을 결론지었다.