🤖 machine learning

Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression

이 논문은 고정 깊이 심볼릭 회귀가 소규모 벤치마크에서 표준적인 수작업 설계 최적화 도구들을 크게 능가하는 압축적이고 고성능인 신경망 가중치 업데이트 규칙을 효과적으로 찾아낼 수 있음을 입증하며, 이는 자동화된 최적화 도구 발견을 위한 유망한 경량 접근 방식을 시사한다.

원저자: Charles Brum, Edward Finkelstein

게시일 2026-07-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Charles Brum, Edward Finkelstein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 그림 그리는 법을 가르치려 한다고 상상해 보세요. 하지만 로봇은 서툴러서 자꾸만 캔버스를 번지게 만듭니다. 이를 해결하기 위해, 당신은 로봇이 어떻게 붓질을 조절해야 걸작에 더 가까워질 수 있는지 알려주는 정확한 지침—즉, 레시피—가 필요합니다. 인공지능의 세계에서, 이러한 지침들은 "가중치 업데이트 규칙(weight-update rules)"이라고 불립니다. 이것들은 컴퓨터가 자신의 실수를 통해 배우는 수학적 단계입니다. 수십 년 동안 과학자들은 "모멘텀"(로봇이 좋은 방향으로 계속 나아가게 하는 것)이나 "적응형 비율"(상황이 까다로워질 때 속도를 줄이는 것)과 같은 재료들을 섞어 이 레시피를 직접 손수 만들어 왔습니다. 하지만 여기서 중요한 질문이 생깁니다. 혹시 우리가 더 나은 레시피를 놓치고 있는 것은 아닐까요? 만약 인간이 아직 글로 써내지 못한, 더 효율적인 비법이 있다면 어떨까요? 이것이 바로 "기호 회귀(symbolic regression)"의 놀이터입니다. 이 기술은 디지털 연금술사처럼 작동하며, 완벽한 공식을 찾아내기 위해 끝없는 수학 기호들의 조합을 탐색합니다.

이 논문에서 두 명의 연구자는 컴퓨터가 요리를 하도록 결정했습니다. 어떤 재료가 최고의 옵티마이저(optimizer)를 만드는지 추측하는 대신, 그들은 새로운 가중치 업데이트 규칙을 찾아내기 위해 "기호 회귀"라는 방법을 사용했습니다. 이것은 마치 수백만 개의 서로 다른 수학적 표현식을 번식시키고, 각 표현식이 기존의 인간이 설계한 규칙들보다 작은 신경망이 작업을 더 빠르고 정확하게 학습하도록 돕는지 테스트하는 유전 알고리즘과 같습니다. 그들은 단순히 기존의 레시피를 미세하게 조정하는 데 그치지 않고, 일반적인 수학 연산(덧셈, 곱셈, 제곱근 구하기 등)과 그래디언트(gradient), 모멘텀 같은 표준 재료들을 사용하여 컴퓨터가 완전히 새로운 레시피를 발명하도록 했습니다.

결과는 놀라울 정도로 맛있었습니다. 30가지의 서로 다른 학습 과제 중, 컴퓨터가 발견한 규칙들이 가장 뛰어난 인간 튜닝 옵티마이저들을 25가지 사례에서 앞질렀습니다. 컴퓨터가 승자를 찾아냈을 때, 표준 방식들에 비해 평균 **44.47%**의 오차(평균 제곱 오차로 측정됨)를 줄였습니다. 그러나 논문은 이 실험들이 작은 규모의 단순한 네트워크를 대상으로, 단 10 에포크(단 한 번의 훈련 라운드) 동안 수행되었다는 점을 주의 깊게 언급합니다. 저자들은 이렇게 발견된 규칙들이 작고 효과적이긴 하지만, 거대 딥러닝의 복잡하고 무질서한 실제 세계에서도 잘 버텨낼 수 있을지는 아직 알 수 없다고 제안합니다.

발견된 규칙들은 모두 똑같은 모습은 아니었습니다. 어떤 것들은 단순했고, 어떤 것들은 삼각함수, 지수 함수, 유리식 등이 뒤섞인 기묘한 형태였습니다. 그럼에도 불구하고 많은 규칙이 공통된 정신을 공유했습니다. 바로 모멘텀(구르는 공이 속도를 얻는 것과 같은)과 적응형 정규화(과거의 성과에 따라 보폭을 조절하는 것)를 결합했다는 점입니다. 연구진은 컴퓨터가 명시적으로 배우지 않고도 이러한 효과적이고 해석 가능한 공식들을 우연히 발견할 수 있다는 것을 찾아냈습니다. 이는 "학습하는 방법"의 영역이 매우 방대하며, 인간의 직관이 간과할 수 있는 숨겨진 보석들로 가득 차 있음을 시사합니다. 하지만 우리의 오래된 요리책을 당장 버리기 전에, 저자들은 이러한 발견이 유망한 시작일 뿐 최종적인 승리는 아니라고 경고합니다. 이 규칙들이 진정으로 AI 학습의 미래인지, 아니면 그저 작은 퍼즐을 풀기 위한 영리한 속임수인지 확인하기 위해서는 더 큰 네트워크와 더 긴 훈련 과정에 대한 테스트가 필요합니다.

기술 요약: 고정된 깊이의 심볼릭 회귀를 이용한 피드포워드 신경망 가중치 업데이트 규칙의 탐색 공간 연구

문제 정의

피드포워드 신경망 학습은 오차 함수를 최소화하기 위해 가중치 업데이트 규칙(옵티마이저)에 의존한다. SGD, Momentum, Adam, AdaGrad와 같은 표준 옵티마이저들이 널리 사용되고 있지만, 이들은 대개 휴리스틱하게 설계되었다. 저자들은 심볼릭 회귀(Symbolic Regression)를 통해, 계산 복잡도를 크게 증가시키지 않으면서도 소규모 스케일의 심볼릭 회귀 벤치마크에서 수작업으로 설계되고 하이퍼파라미터가 튜닝된 기존 옵티마이저들을 경험적으로 능가하는 명시적이고 압축적인 가중치 업데이트 규칙을 알고리즘적으로 발견할 수 있는지 조사한다.

방법론

탐색 공간 및 표현형

본 연구는 고정된 깊이의 표현식 트리로 표현되는 가중치 업데이트 규칙을 찾기 위해 심볼릭 회귀를 활용한다.

연산자: 탐색 공간은 고정된 집합의 단항 연산자(예: ln, exp, sin, tanh, sqrt), 이항 연산자(+, -, *, /, ^), 그리고 특정 하이퍼파라미터(η, θ, ϵ, γ, β1, β2)를 포함한다.
피연산자: 표현식 트리의 리프 노드는 기존 옵티마이저에서 공통적으로 나타나는 양들로부터 유도된다. 여기에는 현재 가중치, 그래디언트, 속도 항(velocity terms), 그래디언트의 이동 평균(1차 및 2차 모멘트), 그리고 누적된 그래디언트 제곱이 포함된다. 피연산자들은 Heavy-Ball, Nesterov, AdaGrad, RMSProp, Adadelta, Adam, AdamW의 메커니즘을 반영하도록 정의되었다.
제약 조건: 생성된 모든 규칙은 고정된 표현식 트리 깊이 5로 제한된다.

실험 설정

벤치마크: 평가에는 다양한 표현식 트리 깊이와 복잡도를 가진 10개의 심볼릭 회귀 벤치마크 함수(Hemberg 등의 함수 5개와 Feynman 등의 함수 5개)를 사용한다.
아키텍처: 각 벤치마크에 대해 레이어 수와 시그모이드(sigmoid) 대 선형(linear) 활성화 함수의 사용 여리를 달리한 세 가지 서로 다른 완전 연결 피드포워드 신경망 아키텍처를 테스트한다. 이는 총 30개의 고유한 벤치마크/네트워크 조합을 생성한다.
베이스라인 비교: 심볼릭 회귀를 수행하기 전, 각 조합에 대해 최상의 성능을 내는 베이스라인을 구축하기 위해 기존 옵티마이저들(Gradient Descent, Heavy-Ball, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdamW)에 대한 그리드 서치(grid search)를 수행한다.
진화 과정: 유전 프로그래밍(Genetic Programming, GP) 알고리즘이 후보 업데이트 규칙의 개체군을 진화시킨다.
- 개체군: 스레드당 최대 크기는 100개의 후보이다.
- 평가: 후보들은 무작위로 초기화된 신경망을 해당 후보 규칙을 사용하여 정확히 10 에포크(epoch) 동안 학습시켜 평가된다. 적합도 지표는 평균 제곱 오차(MSE)이다.
- 시딩(Seeding): 후속 실험에서는 이전 벤치마크에서 발견된 규칙으로 개체군을 시딩하려고 시도하지만, 시딩이 경쟁력 있는 결과를 내지 못하면 무작위 개체군으로 되돌린다.
- 종료 조건: 개선이 미미해지거나 100개의 식이 베이스라인을 능가하는 경우 실행을 중단한다.

주요 기여

옵티마이저의 경험적 발견: 심볼릭 회귀가 명시적인 가중치 업데이트 규칙을 발견하여, 하이퍼파라미터가 튜닝된 표준 옵티마이저보다 우수한 성능을 낼 수 있음을 입증한다.
압축성 및 해석 가능성: 발견된 규칙들은 구조적으로 압축적(고정된 깊이)이며 해석 가능하다. 이 규칙들은 명시적으로 이러한 형태를 강제하지 않았음에도 불구하고, 적응형 정규화(adaptive normalization), 모멘텀 유사 항, 비선형 변환과 같은 인식 가능한 모티프들을 결 조합하는 경우가 많다.
탐색 공간 탐구: 본 연구는 잠재적인 방정식의 방대한 공간(주어진 깊이에 대해 약 $1.71 \times 10^{65}$ 개의 고유한 규칙으로 추정)을 탐색하여 효과적인 역학(dynamics)을 찾아내며, 이를 통해 대수적으로 서로 다른 여러 표현식이 유사한 성능을 달성할 수 있음을 밝혀낸다.

결과

성공률: 30개의 벤치마크/신경망 조합 중 25개에서 심볼릭 회귀 절차를 통해 하이퍼파라미터가 튜닝된 기존 옵티마이저보다 우수한 업데이트 규칙을 발견하였다.
성능 향상: 개선된 25개 사례 전체에서 총 평균 제곱 오차(MSE) 감소율은 **44.47%**였다.
실패 사례: 심볼릭 회귀가 더 우수한 규칙을 찾는 데 실패한 5가지 사례는 가장 큰 신경망 아키텍처(Neural Network 3)에 집중되었으며, 이는 발견된 규칙이 모델 복잡도가 증가함에 따라 경쟁력이 낮아질 수 있음을 시사한다.
구조적 다양성: 최적의 발견된 규칙들이 단일한 심볼식 형태로 수렴하지는 않았다. 그러나 네 가지 "정형 표현 시그니처(canonical expression signatures)"가 여러 벤치마크에서 반복적으로 나타났으며, 이들은 모두 누적된 그래디언트 통계량을 포함하고 있었다. 많은 규칙이 비선형성(삼각함수, 쌍곡선 함수, 지수 함수)과 이동 평균을 포함하는 유리식(rational expressions)을 활용하였다.

의의 및 한계

저자들은 본 연구를 딥러닝 옵티마이저에 대한 결정적인 벤치마크라기보다 예비 연구로 규정한다.

의의: 본 결과는 심볼릭 회귀가 압축적이고 명시적이며 고성능인 옵티마이 변형을 발견하는 경량 메커니즘 역할을 할 수 있음을 시사한다. 이는 효과적인 최적화 역학이 기능적 형태가 작업마다 크게 다르더라도 낮은 복잡도의 심볼릭 표현을 가질 수 있음을 보여준다.
한계: 본 연구는 소규모 신경망을 심볼릭 회귀 작업에 대해 10 에포크 동안 학습시키는 것으로 제한되어 있으며, 대규모 머신러닝 데이터셋이나 분류 작업에는 적용되지 않았다. 또한 탐색은 확률적이며, 발견된 규칙들은 이론적인 수렴 보장을 갖추고 있지 않다.
향 향후 전망: 본 논문은 더 큰 아키텍처, 더 긴 학습 기간, 그리고 표준 딥러닝 벤치마크에 대한 추가적인 검증이 필요하다고 결론짓는다. 향후 연구에는 복잡도 페널티, 안정성 제약 조건, 그리고 발견된 옵티마이저를 성능 면에서나 분석 면에서 더욱 용이하게 만들기 위한 사후 대수적 단순화 기법 등이 포함되어야 한다.