[기술 요약] 심볼릭 회귀에서 아키텍처 선택이 중요한 이유

1. 문제 정의 (Problem Statement)

심볼릭 회귀(Symbolic Regression, SR)는 데이터로부터 수학적 공식을 찾아내는 작업입니다. 최근에는 수식을 연산자(operator) 트리로 매개변수화하고, 경사 하강법(Gradient Descent)을 통해 가중치를 학습하는 방식이 주목받고 있습니다.

기존 연구들은 아키텍처(트리의 구조, 변수 배치 방식 등)가 미치는 영향을 독립적으로 분석하지 않았습니다. 대개 아키텍처, 문법(Grammar), 탐색(Search) 전략을 동시에 변경하며 비교하기 때문에, **"특정 아키텍처가 왜 특정 타겟 함수를 찾지 못하는가?"**에 대한 근본적인 원인을 파악하기 어려웠습니다. 본 논문은 아키텍처가 표현력(Expressiveness)을 넘어, 최적화 경로(Optimization Landscape)에 어떤 영향을 미치는지 규명하고자 합니다.

2. 연구 방법론 (Methodology)

연구의 핵심은 변수 통제입니다. 모든 아키텍처가 동일한 타겟 언어를 표현할 수 있도록 설계하여, '표현력의 차이'가 아닌 '최적화의 차이'를 분리해냈습니다.

• 연산자 (Operator): 모든 기초 함수를 생성할 수 있는 Sheffer 연산자인 **EML($e^{a-\ln b}$)**을 사용합니다. 또한, 경사도 비대칭성을 테스트하기 위해 SML(왼쪽 입력의 경사도가 급증)과 RML(오른쪽 입력의 경사도가 급증)을 도입했습니다.
• 아키텍처 비교 (Architectures):
  1. Eq. 6: 각 노드에서 변수 $x$에 접근할 수 있는 높은 표현력을 가진 구조.
  2. V16: 변수가 리프(leaf) 노드에만 위치하며 $x, y$가 대칭적인 구조.
  3. Hybrid: V16의 구조에 루트 노드에서 변수 접근성을 일부 추가한 구조.
• 실험 설계: 12,700회 이상의 훈련을 통해 트리 모양(Chain 형태 4종, Balanced 형태 1종), 변수 배치, 연산자 종류에 따른 복구율(Recovery Rate)을 측정했습니다.

3. 주요 연구 결과 (Key Results)

① 아키텍처와 타겟의 상호작용 (Architecture–Target Interaction)

• 표현력이 높다고 반드시 잘 찾는 것은 아니다: 가장 표현력이 높은 'Eq. 6'는 특정 타겟에서 100% 복구율을 보이지만, 다른 타겟에서는 0%를 기록했습니다. 반면, 표현력이 낮은 'V16'은 더 넓은 범위의 타겟을 안정적으로 찾아내는 'Generalist' 특성을 보였습니다.
• 이는 아키텍처가 변수를 배치하는 방식(Variable Routing)이 최적화 지형을 결정하기 때문입니다.

② 연산자 교체에 따른 선호도 역전 (Operator Swap)

• 연산자의 경사도 특성을 바꾸면(EML $\rightarrow$ SML), 특정 트리 모양에 대한 아키텍처의 선호도가 완전히 뒤바뀌었습니다. 예를 들어, EML에서 가장 잘 작동하던 구조가 SML에서는 최악의 성능을 보였습니다.
• 경사도가 반전된 RML을 사용했을 경우, 모든 아키텍처의 복구율이 사실상 0%로 붕괴되었습니다.

③ 균형 잡힌 트리의 보편적 실패 (Balanced Trees)

• 모든 아키텍처와 모든 연산자 조합에서 Balanced(균형 잡힌) 트리 구조는 단 한 번도 복구되지 않았습니다(0%).
• 이는 균형 잡힌 구조가 두 루트 서브트리로 경사 신호를 분산시켜, 체인(Chain) 구조처럼 단일 경로를 따라 경사가 집중되는 현상을 방해하기 때문인 것으로 추정됩니다.

④ 경사도 측정 (Gradient Measurements)

• 실제 경사도($\nabla x / \nabla y$)를 측정한 결과, 성공적인 복구가 일어나는 구간에서는 특정 변수가 경사 신호를 지배하는 '경사도 불균형' 현상이 관찰되었습니다. 즉, 아키텍처가 특정 변수에 경사 신호를 효과적으로 전달하느냐가 성패를 결정합니다.

4. 연구의 의의 및 결론 (Significance & Conclusion)

핵심 결론: 심볼릭 회귀의 성공 여부는 단순히 "해당 수식을 표현할 수 있는가(Expressiveness)"가 아니라, **"경사 하강법이 그 수식으로 도달할 수 있는 최적화 지형을 제공하는가(Optimization Landscape)"**에 달려 있습니다.

학술적/실무적 시사점:

1. 단일 아키텍처의 한계: 모든 타겟에 하나의 고정된 아키텍처를 사용하는 현재의 방식은 위험할 수 있습니다.
2. 제언:
   • 여러 아키텍처를 동시에 실행하여 최적의 결과를 선택하는 앙상블(Ensemble) 방식.
   • 학습 과정에서 타겟에 맞춰 변수 배치 방식을 조정하는 아키텍처 인식 탐색(Architecture-aware search).
3. 향후 과제: 균형 잡힌 트리의 실패 원인을 규명하기 위한 손실 함수 지형(Loss-landscape) 분석이 필요합니다.