A Comparative Study of Model Selection Criteria for Symbolic Regression

기술적 요약: 기호 회귀를 위한 모델 선택 기준에 대한 비교 연구

문제 제기
일반적으로 유전 프로그래밍 (GP) 을 통해 해결되는 기호 회귀 (SR) 는 정확도와 복잡성 사이의 균형을 맞추는 수학적 표현식을 발견하는 것을 목표로 합니다. 현대의 GP 구현체는 후보 해들의 파레토 프론트를 생성하지만, 보지 못한 데이터에 대해 잘 일반화되는 단일 모델을 자동으로 선택하는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 기존 문헌에는 다양한 정보 이론적 및 베이지안 접근법이 제시되어 있으나, 서로 다른 데이터 영역에서 이들의 성능을 포괄적으로 실증 비교한 연구는 제한적입니다. 과적합을 방지하면서도 해석 가능성을 유지하기 위해 특정 조건 하에서 어떤 선택 기준을 선호해야 하는지에 대한 실용적인 지침은 부족합니다.

방법론
저자들은 널리 사용되는 여섯 가지 모델 선택 기준에 대한 체계적인 실증 비교를 수행했습니다:

1. 아카이케 정보 기준 (AIC)
2. 수정된 AIC (AICc)
3. 베이지안 정보 기준 (BIC)
4. 최소 설명 길이 (MDL)
5. Efron 부트스트랩 기반의 인-샘플 오차 추정치 ($Err_{in}$)
6. 기준선으로 사용된 훈련 평균 제곱 오차 ($MSE_{train}$)

실험 설정:

• 데이터셋: GP 문헌에서 일반적으로 사용되는 일곱 개의 합성 벤치마크 함수가 사용되었습니다. 훈련 데이터는 가우시안 노이즈 ($\epsilon \sim N(0, (0.1\sigma(y))^2)$) 가 추가된 100 개의 점으로 구성되었으며, 테스트 데이터는 노이즈가 없는 10,000 개의 점으로 구성되었습니다.
• 후보 생성: 특정 SR 알고리즘으로부터 평가를 분리하기 위해, 실제 함수 (ground-truth) 를 교란시켜 제어된 후보 표현식 풀을 생성했습니다. 변이 절차는 실제 함수 트리의 무작위 노드를 무작위 부분 트리로 대체했습니다. 이러한 후보들은 BFGS 최적화를 사용하여 훈련 데이터에 적합시켰으며 (국소 최적점을 피하기 위해 100 회 반복 수행), 이 과정에서 벤치마크당 100 개의 과적합 모델 (실제 함수보다 낮은 훈련 MSE 를 가진 모델) 이 생성되어, 과적합된 대안들 중에서 진정한 모델을 복원하는 기준들의 능력을 테스트했습니다.
• 평가 지표:
  • 평균 $MSE_{test}$: 상위 $k$개 순위 모델의 성능.
  • 상위 $k$개 정밀도 (Precision at $k$): 테스트 오차를 기반으로 한 상위 $k$개 모델 중 실제 상위 $k$개에 속하는 모델의 비율.
  • 평균 표현식 크기: 선택된 모델의 평균 구조적 복잡성 (노드 수).
  • 실제 함수 히트 (Ground-Truth Hit): 정확한 실제 함수 표현식이 복원되는 최소 순위 $k$.

주요 기여 및 결과
이 연구는 위의 네 가지 지표를 기반으로 한 선택 기준의 상세한 순위 매핑을 제공합니다:

• MDL (최소 설명 길이): 일관되게 가장 강력한 기준으로 나타났습니다. 일곱 개의 벤치마크 중 여섯 개에서 작은 $k$값에 대해 가장 낮은 테스트 오차를 가진 모델을 식별했으며, 가장 간결한 (가장 작은) 표현식을 생성했습니다. MDL 과 BIC 는 실제 함수 표현식을 복원하는 데 있어 가장 높은 효율성을 보였으며, 각각 평균 첫 번째 히트 순위가 5.14 와 6.00 이었습니다.
• BIC: 실제 함수 복원 측면에서 MDL 과 유사한 성능을 보였으며, 벤치마크 전반에 걸쳐 안정적이고 중간 수준의 결과를 제공하여 종종 간결한 공식을 도출했습니다.
• AIC 및 AICc: 일반화 측면에서 일반적으로 MDL 과 BIC 보다 낮은 순위를 기록했습니다. AICc 는 특정 함수 ($f_1, f_2$) 에 대해 표준 AIC 보다 약간 개선된 결과를 보였으나, 둘 다 MDL 보다 더 복잡한 모델을 선택하는 경향이 있었습니다.
• $Err_{in}$ (부트스트랩 인-샘플 오차): 혼합된 결과를 보였습니다. 일부 데이터셋 ($f_1, f_2, f_3, f_6, f_7$) 에서는 좋은 정밀도와 일반화를 달성했으나, 다른 데이터셋 ($f_4, f_5$) 에서는 성능이 저조하여 종종 더 큰 표현식을 선택하고 실제 함수를 효율적으로 복원하지 못했습니다 (평균 순위 31.71). 저자들은 이러한 불일치를 랜덤 포레스트 노이즈 분산 추정치에 대한 의존성 때문이라고 분석했습니다.
• $MSE_{train}$: 일관되게 가장 낮은 성능을 보였으며, 정규화되지 않은 훈련 오차는 심각한 과적합과 열악한 일반화로 이어짐을 확인시켜 주었습니다.

계산 복잡도
이 논문은 이러한 기준들의 계산 오버헤드를 분석합니다:

• AIC, AICc, BIC: 가장 효율적 ($O(n)$) 으로, 매개변수 추정 후 데이터를 한 번만 순회하면 됩니다.
• MDL: 피셔 정보 행렬의 계산으로 인해 약간 더 비용이 많이 듭니다 ($O(n \cdot p)$) 하지만, 일반적인 SR 표현식 크기에서는 여전히 효율적입니다.
• $Err_{in}$: 계산적으로 가장 집약적이며, $B$개의 부트스트랩 반복 (일반적으로 200 개) 과 반복적인 매개변수 재적합이 필요하여, 반복적인 진화적 탐색 프로세스에는 실용적이지 않을 수 있습니다.

의의 및 주장
저자들은 그들의 연구 결과가 SR 파이프라인에 대한 실용적인 지침을 제공한다고 주장합니다. 그들은 MDL이 견고한 초기 선택과 컴팩트한 모델을 위한 강력한 기본 선택지이며, BIC를 보조 옵션으로 삼을 수 있다고 결론지었습니다. AIC/AICc는 약간 더 큰 모델이 허용되고 MDL 의 패널티가 지나치게 보수적이라고 판단될 때만 선호될 수 있다고 제안합니다. 반면, 높은 계산 비용과 실험에서의 일관성 없는 성능으로 인해 $Err_{in}$은 권장하지 않습니다.

이 연구는 데이터 생성에 단일 노이즈 수준을 사용했다는 점과, 기준들이 GP 탐색 루프에 직접 통합되지 않고 사후적으로 생성된 후보 풀에서 평가되었다는 점을 포함한 한계를 명시적으로 지적합니다. 저자들은 향후 연구에서 다양한 노이즈 강도를 조사하고 이러한 기준들을 진화적 탐색 프로세스에 통합하는 작업을 수행해야 한다고 밝혔습니다.