🤖 machine learning

Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization

본 논문은 다양한 데이터셋에 걸쳐 과적합을 효과적으로 제어하기 위해 노이즈 추정과 매니폴드 침입 탐지를 결합하여 근방 젠슨 갭(vicinal Jensen gap)을 동적으로 최소화하는 정규화 항으로서 이를 활용함으로써, 일반화 성능을 향상시키는 심볼릭 회귀를 위한 진화적 특징 구축 프레임워크를 제안한다.

원저자: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 로봇에게 '속임수 없이' 배우는 법 가르치기

당신이 로봇(알고리즘 이름은 유전 프로그래밍(Genetic Programming))에게 일련의 단서(데이터)를 바탕으로 날씨나 주가를 예측하는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 매우 똑똑하고 창의적입니다. 문제를 해결하기 위해 자신만의 복잡한 공식을 스스로 만들어낼 수 있습니다.

하지만 이 로봇에게는 나쁜 습관이 하나 있습니다. 바로 **과적합(Overfitting)**입니다.

과적합은 마치 특정 연습 문제의 답을 완벽하게 암기했지만, 정작 실제 시험에서는 낙제하는 학생과 같습니다. 개념을 이해한 것이 아니라, 연습 문제에 포함된 노이즈(무작위 오차)와 특이한 점들을 통째로 외워버렸기 때문입니다. 데이터의 세계에서 이는 로봇이 실제 패턴이 아닌 데이터 속의 "노이즈"(무작위 오류)를 학습한다는 것을 의미합니다.

이 논문은 로봇이 '암기하는 자'가 아닌 '훌륭한 학습자'가 되도록 가르치는 새로운 방법을 소개합니다. 그들은 이 방법을 **비시날 젠스 갭 최소화(Vicinal Jensen Gap Minimization)**라고 부릅니다.

문제점: 왜 "암기"가 나쁜가

과거에 과학자들은 로봇이 암기하는 것을 막기 위해 공식의 길이를 짧고 단순하게 유지하도록 강제했습니다(마치 에세이의 단어 수를 제한하는 것처럼 말이죠). 하지만 저자들은 짧은 에세이가 엉터리일 수도 있고, 긴 에세이가 훌륭할 수도 있다는 점을 발견했습니다. 크기만이 중요한 것이 아니라, *매끄러움(smoothness)*과 논리가 더 중요하다는 것입니다.

해결책: "이웃 테스트"

저자들은 좋은 모델이란 단순히 자신이 본 정확한 데이터 지점에서만 정답을 맞히는 것이 아니라, 그 지점의 "이웃"들에 대해서도 정답을 맞혀야 한다는 점을 깨달았습니다.

당신이 숲을 걷고 있다고 상상해 보세요. 특정 위치에서 나무 한 그루를 보았다면, 당신은 근처의 나무들도 어느 정도 비슷하게 생겼을 것이라고 기대합니다. 만약 한 걸음만 움직였는데 갑자기 나무가 바나나로 변한다면, 그것은 이상한 일입니다. 좋은 모델은 "매끄러워야" 합니다. 즉, 입력값이 미세하게 변하더라도 출력값은 작고 논리적으로 변해야 합니다.

이를 테스트하기 위해 연구진은 "가짜" 이웃 데이터를 만드는 두 가지 주요 기술을 사용합니다.

"손 떨기" 기법 (노이즈 섭동): 데이터 포인트에 카메라를 살짝 흔드는 것처럼 아주 작은 무작위 "떨림(jitter)"을 더합니다. 만약 이 미세한 흔들림 때문에 로봇의 답이 크게 변한다면, 그 모델은 너무 민감한 것입니다(과적합 상태).
"스무디" 기법 (믹스업): 두 개의 데이터 포인트(예: 빨간 사과와 초록 사과)를 서로 섞어서 "새로운" 데이터 포인트(약간 주황색인 사과)를 만듭니다. 그리고 로봇이 이 "주황색 사과"에 대해 내놓는 예측이 빨간 사과와 초록 사과의 예측을 바탕으로 상식적인지 확인합니다.

핵심 비결: 문제를 둘로 나누기

이 논문의 가장 큰 돌파구는 로봇의 학습 목표를 두 개의 별개 부분으로 나눌 수 있다는 수학적 증명을 보여준 것입니다.

"정확도" 점수: 로봇이 실제 데이터를 얼마나 잘 예측하는가? (우리는 이 점수가 높기를 원합니다).
"매끄러움" 점수 (젠스 갭): 우리가 만든 "가짜" 이웃 데이터로 테스트했을 때 로봇이 얼마나 이상하게 행동하는가? (우리는 이 점수가 낮기를 원합니다).

비유:
당신이 학생을 채점한다고 상상해 보세요.

과거 방식: 단순히 최종 시험 점수만 봅니다. 100점을 받으면 합격입니다. (하지만 학생이 커닝을 했거나 암기를 했을 수도 있습니다).
새로운 방식 (이 논문): 두 가지 성적을 줍니다.
1. 성적 A: 실제 문제들을 얼마나 잘 풀었는가?
2. 성적 B: 숫자를 약간 바꾼 "함정" 버전의 문제들을 얼마나 잘 풀었는가?
- 만약 학생이 성적 A는 만점인데 성적 B가 형편없다면, 당신은 그 학생이 부정행위를 하고 있거나(과적합) 암기만 했다는 것을 알 수 있습니다.
- 이 논문은 이 두 가지 성적 사이의 균형을 완벽하게 맞추는 공식을 만들어냅니다.

환경에 대한 적응 (노이즈 추정)

저자들은 어떤 데이터셋은 "노이즈가 많고(오류가 많고)", 어떤 것은 "깨끗하다"는 점에 주목했습니다.

비유: 대화를 듣는 상황을 상상해 보세요.
- 조용한 도서관(낮은 노이즈)에서는 모든 단어를 아주 세밀하게 들을 수 있습니다.
- 락 콘서트장(높스러운 노이즈)에서는 배경 소음을 무시하고 메인 멜로디에 집중해야 합니다.

이 논문은 "노이즈 탐지기"를 만듭니다. 데이터가 지저분하면(락 콘서트장처럼), 로봇은 노이즈를 무시하기 위해 "매끄러움" 점수에 대해 자동으로 더 엄격해집니다. 데이터가 깨끗하면, 세부 사항을 정확히 맞히는 데 더 집중합니다. 이 과정은 사람의 개입 없이 자동으로 이루어집니다.

"매니폴드 침입" 방어

가끔 데이터를 섞을 때(스무디 기법), 현실 세계에서는 말이 안 되는 가짜 데이터를 실수로 만들 수도 있습니다.

비유: "뜨거운 커피"와 "차가운 얼음"을 섞으면 미지근한 물이 됩니다. 하지만 "불"과 "눈송이"를 섞는다면, "타오르는 눈송이"라는 존재할 수 없는 것을 만들게 될 것입니다.

이 논문은 **매니폴드 침입 탐지기(Manifold Intrusion Detector)**를 추가했습니다. 이것은 "가짜" 데이터를 검사하는 보안 요원과 같습니다. 만약 보안 요원이 "타오르는 눈송이"(물리 법칙이나 논리를 깨뜨리는 가짜 데이터)를 발견하면, 로봇이 혼란을 겪지 않도록 이를 폐기합니다.

실험 결과는 어떠했나요?

연구팀은 이 새로운 방법을 58개의 서로 다른 실제 데이터셋(집값 예측, 화학 농도 등)에 대해 테스트했습니다.

결과: 이 새로운 방법(VJM-GP)은 기존 방식들보다 새로운, 보지 못한 데이터를 예측하는 데 훨씬 뛰어났습니다.
비교: 표준 유전 프로그래밍, 딥러닝 모델, 결정 트리(Decision Trees)를 포함한 15개의 인기 있는 머신러닝 알고리즘을 능가했습니다.
트레이드오프: 이 새로운 방법은 훈련하는 데 시간이 조금 더 걸립니다(시험 공부를 더 열심히 하는 것과 같습니다). 하지만 결과는 훨씬 더 신뢰할 수 있으며, 최종적으로 만들어지는 공식은 종종 인간이 이해하기 더 쉽고 단순합니다.

요 요약

이 논문은 로봇에게 암기가 아닌 이해를 가르칩니다. 학습 과정을 "정확도"와 "매끄러움"으로 나누고, 데이터가 얼마나 지저분한지에 따라 로봇의 엄격함을 자동으로 조절함으로써, 저자들은 새로운 상황에 직면했을 때 무너지지 않는 더 나은, 더 신뢰할 수 있는 모델을 구축하는 시스템을 만들었습니다.

기술 요약: 비시날al 젠슨 갭 최소화를 통한 진화적 특징 구축의 일반화 성능 향상

문제 정의

유전 프로그래밍(GP) 기반의 특징 구축은 심볼릭 회귀를 위한 강력한 자동 머신러닝 기법으로 부상했습니다. 그러나 GP 방법론이 가진 고질적인 과제는 **과적합(overfitting)**이며, 이는 더 넓은 적용 범위를 제한하는 요소가 됩니다. GP 방식은 훈련 데이터에 대해 높은 성능을 달anim는 경우가 많지만, 구축된 특징들이 보지 못한 데이터(unseen data)에 대해 일반화되는 데 자주 실패합니다. 모델 크기를 조절하는 방식(파시모니 압력, parsimity pressure)과 같은 전통적인 과적합 제어 방식은 현대적 진화 모델의 복잡성을 규명하기에는 불충분하다는 것이 밝혀졌습니다. 또한, VC 차원이나 라데마허 복잡도(Rademacher complexity)와 같은 기존의 이론적 지표들은 딥러닝에서 영감을 받은 맥락에서의 일반화 성능을 정확하게 예측하지 못하는 경우가 많습니다. 게다가, 데이터 증강을 통해 과적합을 완화하는 데 성공한 딥러닝의 Vicinal Risk Minimization(VRM) 기법을 GP 회귀에 직접 적용하는 것은 문제가 있습니다. 표준 VRM은 타겟 레이블이 작은 섭동(perturbation) 하에서도 안정적으로 유지된다는 가정을 전제로 하지만, 타겟 값이 연속적인 회귀 작업에서는 이 가정이 무너지는 경우가 많기 때문입니다.

방법론

본 논문은 Vicinal Risk를 경험적 손실(empirical loss) 성분과 정규화 항(regularization term)으로 분해하는 프레임워크를 제안합니다. 이러한 분해를 통해 훈련 정확도와 모델의 매끄러움(smoothness)을 독립적으로 최적화할 수 있습니다.

1. Vicinal Risk의 이론적 분해

저자들은 비시날 리스크가 경험적 리스크와 정규화 항의 합에 의해 경계가 지어짐을 증명하며, 이는 데이터 증강 전략에 따라 달라집로 다음과 같습니다:

노이즈 섭동(Noise Perturbation): 비시날 예시가 노이즈 섭동(예: 가우시안 노이즈)을 통해 합성되는 경우, 정규화 항은 **유한 차분(Finite Difference)**이 됩니다. 이는 입력의 미세한 변화에 반응하는 함수의 출력 변화를 억제합니다.
Mixup 증강(Mixup Augmentation): 비시날 예시가 Mixup 방식(입력과 레이블의 선형 보간)을 사용하여 합성되는 경우, 정규화 항은 **비시날 젠슨 갭(Vicinal Jensen Gap)**이 됩니다. 이 항은 $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$ 로 정의되며, 볼록성(convexity)과 오목성(concavity)에 페널티를 부여하여 인접한 데이터 포인트 사이의 국소적 선형성을 촉진합니다.

저자들은 원시(raw) vicinal risk를 직접 최적화하는 것보다 리스크를 분해하는 것이 다음과 같은 이유로 더 우월하다고 주장합니다:

유연한 트레이드오프: 경험적 손실과 매끄러움 사이의 균형을 세밀하게 제어할 수 있습니다.
정확한 오차 추정: 노이즈가 섞인 증강 샘플이 아닌 원래 데이터에 대해 경험적 손실을 정확하게 계산할 수 있습니다.
검증 손실 통합: 검증 손실(cross-validation loss)을 단순한 경험적 손실이 아닌 주요 정확도 지표로 사용할 수 있게 합니다.

2. 제안된 알고리즘 (VJM-GP)

저자들은 다음을 공동으로 최적화하는 진화적 특징 구축 프레임워크인 **Vicinal Jensen Gap Minimization-based GP (VJM-GP)**를 소개합니다:

경험적 손실(Empirical Loss): 견고성을 확보하기 위해 Leave-One-Out Cross-Validation (LOOCV)를 통해 측정됩니다.
정규화 항(Regularization Term): 비시날 젠슨 갭(또는 유한 차분).

알고리즘의 주요 구성 요소는 다음과 같습니다:

다중 목적 최적화(Multi-Objective Optimization): 비지배 정렬(non-dominated sorting)과 밀집도 거리(crowding distance)를 사용하여, 교차 검증 손실과 정규화 항 사이의 파레토 프런트(Pareto front)를 진화시키며 균형을 맞춥니다.
노이즈 추정 전략: 데이터셋마다 노이즈 수준이 다르므로, 저자들은 정규화 가중치( $\tau$ )를 조정하기 위한 동적 전략을 제안합니다. 데이터셋의 $R^2$ 점수를 사용하여 노이즈를 추정하며, 노이즈 수준이 높을수록 노이즈에 적합되는 것을 방지하기 위해 더 강한 정규화 가중치를 적용합니다.
매니폴드 침입 탐지(Manifold Intrusion Detection): Mixup으로 생성된 샘플이 실제 데이터 매니폴드를 벗어나 비현실적인 샘플을 생성하는 문제를 해결하기 위해, 저자들은 탐지 메커즘을 제안합니다. 만약 합성된 샘플의 레이블이(원본 데이터로 학습된 Extra Trees 모델에 의해 예측된 값) 부모들의 선형 보간값과 크게 다를 경우, 해당 샘플을 폐기합니다. 이를 통해 젠슨 갭 최소화가 고도로 비선형적인 영역에서 효과적인 모델을 과도하게 처벌하는 것을 방지합니다.

주요 기여

이론적 분해: 본 논문은 섭동 기반 VRM은 경험적 리스크와 유한 차분으로 분해되고, mixup 기반 VRM은 경험적 리스크와 비시날 젠슨 갭으로 분해된다는 상한(upper bounds)을 도출했습니다.
정규화된 GP 프레임워크: 교차 검증 손실과 비시날 젠슨 갭을 동시에 최적화하는 새로운 GP 프레임워크인 VJM-GP를 제안하였으며, 이는 전통적인 복잡도 측정 방식보다 더 효과적인 과적합 제어를 제공합니다.
적응형 정규화: 데이터셋의 특성에 따라 정규화 강도를 동적으로 조정하는 노이즈 추정 전략을 도입하여, 저노이즈 시나리오에서의 과도한 처벌을 피했습니다.
매니폴드 침입 완화: 비현실적인 증강 샘플을 필터링하여 정규화 항이 실제 데이터 매니폴드 기하학을 반영하도록 하는 탐지 전략을 제안했습니다.

실험 결과

제안된 방법은 **Penn Machine Learning Benchmark (PMLB)**의 58개 실제 회귀 데이터셋에 대해 평가되었습니다.

정규화 도구 비교: 비시날 젠슨 갭이 유한 차분보다 더 효과적인 정규화 도구임이 밝혀졌으며, 15개 데이터셋에서 유한 차다를 능가했고 단 5개에서만 하회했습니다.
복잡도 측정치와의 비교: VJM-GP는 테스트 $R^2$ 점수 측면에서 표준 GP 및 7가지 다른 복잡도 제어 방식(파시모니 압력, Tikhonv 정규화, 라데마허 복잡도, P-VRM 포함)을 유의미하게 능가했습니다. 또한 표준 GP와 비교하여 36개 데이터셋에서 우수한 일반화 성능을 보였습니다.
베이스라인과의 비교: VJM-GP는 15개의 최첨단 심볼릭 회귀 및 머신러닝 알고리즘(XGBoost 및 ExcelFormer 포함)과 비교되었습니다. 특히 샘플 수가 제한적인 시나리오에서 경쟁력 있거나 우수한 성능을 보였으며, 그래디언트 부스팅 방법들보다 현저히 작은 모델 크기를 유지했습니다.
어블레이션 연구(Ablation Studies):
- 매니폴드 침 intrusion 탐지: 이 전략을 제거했을 때 6개 데이터셋에서 테스트 성능이 저하되어 그 필요성이 확인되었습니다.
- 노이즈 추정: 적응형 가중치 전략은 고정 가중치와 비교하여 12개 데이터셋에서 성능을 유의미하게 향상시켜 동적 정규화의 타당성을 입증했습니다.
레이블 노이즈: 노이즈가 있는 레이블 실험에서 VJM-GP는 표준 GP 및 P-VRM에 비해 우수한 강건성을 보여주었습니다.

의의 및 주장

본 논문은 제안된 vicinal risk의 분해가 진화적 특징 구축에서 과적합에 대한 더 깊은 이론적 이해를 제공한다고 주장합니다. 경험적 손실을 정규화 항과 분리함으로써, 이 방법은 단순히 구문적 복잡도(tree size)가 아닌 함수적 복잡도(매끄러움 및 선형성)에 집중하여 모델 복잡도를 더욱 미세하게 제어할 수 있게 합니다.

저자들은 이 접근 방식이 데이터가 부족하거나 노이즈가 많은 상황에서 GP가 최상위 수준의 성능을 달성할 수 있게 한다고 단언합니다. 또한 효과적인 과적합 제어를 위해서는 정확도와 매끄러움 사이의 균형이 필요하며, 단순히 모델 크기를 줄이는 것만으로는 불충분하다는 점을 강조합니다. 본 연구는 제안된 프레임워크가 다른 진화 알고리즘에 통합될 수 있으며, 향후 딥러닝 기반 심볼릭 회귀 방법론으로도 확장될 수 있음을 시사합니다.