Smooth multi-function evolutionary algorithm

컴퓨터 과학의 세계에는 '기호 회귀(symbolic regression)'라고 알려진 지속적인 과제가 있습니다. 한 과학자가 방대한 양의 데이터 포인트, 예를 들어 풍속, 꽃가루 수 또는 교수 급여와 같은 측정값을 수집했다고 가정해 봅시다. 그리고 그는 이 숫자들을 어떻게 서로 연관시키는지 설명할 수 있는 단 하나의 수학적 문장을 찾고자 합니다. 목표는 입력 데이터를 정확한 출력값으로 변환하는 숨겨진 규칙, 즉 방정식을 발견하는 것입니다. 이를 위해 컴퓨터는 종종 자연 선택에서 영감을 얻은 방법을 사용합니다. 수천 개의 무작위 수학적 문장을 생성하고, 이것이 데이터에 얼마나 잘 부합하는지 테스트한 다음, 가장 잘 맞는 것들을 서로 섞고 변형하여 더 나은 버전을 만들어내는 방식입니다. 그러나 이 과정은 종종 서투릅니다. 컴퓨터는 덧셈, 뺄셈 또는 곱셈과 같은 이러한 문장의 구성 요소들을 경직되고 분리된 도구로 취급합니다. 한 도구에서 다른 도구로 전환하는 것은 가능성의 지형에서 갑작스러운 도약과 같아서, 컴퓨터가 완벽한 답을 찾는 것을 어렵게 만듭니다. 이는 마치 완만한 경사에서 수직 절벽으로 지형이 갑자기 변하는 산을 오르려는 것과 같습니다. 등반가는 방향을 잡는 데 어려움을 겪게 됩니다.

체코 파르두비체 대학교의 연구자 피터 미칼리체크(Peter Michalicek)와 토마스 브란데이스키(Tomas Brandejsky)는 이 울퉁불퉁한 지형을 매끄럽게 만드는 새로운 방법을 제안했습니다. 그들은 컴퓨터가 서로 구별되고 분리된 옵션으로서 서로 다른 수학적 도구를 선택해야 하는 방식이 아닌, 한 가지 방식이 되도록 개발했습니다. 대신, 그들은 한 형태에서 다른 형태로 부드럽게 변할 수 있는 단일하고 유연한 도구를 만들었습니다. 그들의 새로운 접근 방식에서 컴퓨터는 특수한 제어 변수, 즉 함수의 동작을 점진적으로 변화시킬 수 있는 하나의 다이얼을 사용합니다. 다이아가 한 위치에 있으면 도구는 덧셈처럼 작동하고, 다른 위치로 돌리면 곱셈처럼 작동하며, 그 중간에서는 두 가지의 혼합된 형태를 수행합니다. 이를 통해 컴퓨터는 수학적 행동 사이를 갑작스럽고 격렬한 도약 대신 연속적으로 미끄러지듯 이동할 수 있습니다. 이렇게 함으로써 연구자들은 복잡한 트리 구조를 찾는 어려운 작업을 일련의 숫자들을 조정하는 더 단순한 작업으로 바꾸었으며, 이를 통해 진화 과정을 더 효율적으로 만들고 막다른 길에 갇힐 가능성을 줄였습니다.

연구진은 이 아이디어를 테스트하기 위해 "매끄러운 다중 함수 진화 알고리즘(smooth multi-function evolutionary algorithm)"이라 불리는 시스템을 구축했습니다. 컴퓨터가 서로 다른 수학적 연산을 가진 트리를 무작위로 조립하게 하는 대신, 그들은 모든 내부 노드가 이 동일한 유연하고 형상 변화가 가능한 도구로 이루어진 완벽하고 대칭적인 트리를 사용하도록 강제했습니다. 학습 과정 동안 변하는 것은 각 노드에 있는 제어 다이얼의 값과 트리의 바닥에 있는 특정 숫자나 변수뿐입니다. 이 설계는 문제를 상당히 단순화합니다. 트리의 구조가 고정되어 있고 연산 간의 전환이 부드럽기 때문에, 컴퓨터는 일반적으로 이와 같은 유형의 문제에 필요한 혼란스럽고 예측 불가능한 방법 대신 표준 최적화 기법을 사용하여 최적의 설정을 찾을 수 있습니다. 연구진은 이 방식이 임의의 개수의 기저 함수에 대해 단일 제어 변수를 사용하여 복잡한 관계를 표현할 수 있음을 발견했으며, 이를 통해 탐색 공간의 복잡성을 줄였습니다.

이 방법이 실제로 효과가 있는지 확인하기 위해, 팀은 풍속 패턴, 꽃가루 수, 대학교 교수 급여를 포함한 다양한 표준 데이터 세트를 사용하여 알고리즘을 실행했습니다. 그들은 전통적인 유전 프로그래밍을 사용하는 시스템이나 진화와 다른 최적화 기법을 결합한 시스템을 포함하여 여러 잘 알려진 방법들과 결과를 비교했습니다. 결과는 그들의 방법이 표준 컴퓨터 프로세서에서 실행될 때 때때로 실행 시간이 더 오래 걸릴 수는 있지만, 정확한 모델을 찾는 데 매우 효과적이라는 것을 보여주었습니다. 특히 충분한 시간을 들여 많은 세대의 테스트를 거쳤을 때, 그들의 알고리즘은 기존의 방법들만큼 혹은 그보다 더 나은 솔루션을 찾아냈습니다. 예를 들어, 교수 급여와 관련된 한 데이터 세트에서 그들의 방법은 최고 수준의 성능을 보이는 모델들과 일치하는 높은 수준의 정확도를 달了. 풍속 데이터에 관한 또 다른 데이터 세트에서도 기존의 가장 우수한 도구들과 대등한 결과를 만들어냈습니다.

가장 중요한 발견 중 하나는 모델이 보지 못한 새로운 데이터에 얼마나 잘 일반화되는지와 관련되었습니다. 머신 러닝에서 모델이 훈련 데이터를 너무 완벽하게 암기하여 새로운 정보에 대해 정확한 예측을 하지 못하는 과적합(overfitting)은 흔한 문제입니다. 연구진은 훈련 데이터의 오차율과 테스트 데이터의 오차율을 비교함으로써 이를 측정했습니다. 그들의 매끄러운 다중 함수 접근 방식은 훈련에서 테스트로 넘어갈 때 오차율의 증가가 매우 적었으며, 이는 생성된 모델이 안정적이고 견고하다는 것을 시사합니다. 이는 수학적 연산 사이의 부드러운 전환이 알고리즘이 단순히 노이즈에 맞추는 것이 아니라 데이터의 실제 기저 패턴을 포착하는 솔루션을 찾는 데 도움을 주었음을 나타냅니다. 연구진은 현재의 구현 방식이 속도 측면에서 완전히 최적화되지 않은 방식으로 작성되어, 정해진 시간 내에 수행할 수 있는 테스트 횟수가 제한되었다고 언급했습니다. 그들은 만약 코드가 전용 컴퓨터 하드웨어를 사용하여 더 빠르게 실행되도록 다시 작성된다면, 성능이 더욱 향상될 수 있다고 제안했습니다.

이 연구는 전통적인 진화 알고리즘의 경직된 도약 기반 전환을 부드럽고 연속적인 전환으로 대체함으로써, 수학적 모델을 찾는 과정을 더 효율적이고 신뢰할 수 있게 만드는 것이 가능하다는 결론을 내립니다. 연구진은 단일 제어 변수가 여러 가지 서로 다른 수학적 함수 사이의 전환을 효과적으로 관리할 수 있음을 입증하였으며, 이를 통해 정확도를 희생하지 않으면서 문제의 복잡성을 줄였습니다. 이 방법이 모든 문제를 즉각적으로 해결하는 마법의 탄환은 아니지만, 데이터에서 숨겨진 규칙을 찾기 위한 유망한 대안을 제공합니다. 이 연구는 모델의 구성 요소를 어떻게 표현하느냐가 우리가 그것을 탐색하는 데 사용하는 알고리즘만큼이나 중요하다는 것을 시사합니다. 지형을 매끄럽게 함으로써, 연구진은 컴퓨터가 따라갈 수 있는 더 명확한 경로를 제공하였으며, 이는 환경 과학에서 경제학에 이르는 다양한 분야에서 더 정확하고 신뢰할 수 있는 모델을 만드는 데 잠재적인 기여를 할 수 있습니다. 이 연구의 코드와 결과는 다른 이들이 검토하고 활용할 수 있도록 공개되어, 수학적 솔루션을 진화시키는 이 더 매끄러운 방식에 대한 추가적인 탐구를 권장하고 있습니다.