Evolving Executable Pipeline Programs for AutoML with Language Models
LACE는 대규모 언어 모델에 의해 유도되는 진화 루프를 활용하여 실행 가능한 파이썬 파이프라인 프로그램을 생성하고 진화시킴으로써 68개의 OpenML 태스크에서 경쟁력 있는 정확도를 달azz성하는 동시에, 기존 시스템에 비해 우수한 투명성, 편집 가능성 및 탐색 공간 유연성을 제공하는 새로운 AutoML 프레임워크이다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 데이터 과학의 세계에서 기계는 점점 더 무질서한 현실 세계의 정보를 이해하도록 요구받고 있습니다. 대출 신청자가 대출금을 상환할지 예측하거나, 증상 목록이 담긴 스프레드시트를 통해 질병을 진단하거나, 과거의 추세를 바탕으로 매출을 예측하는 일 등이 그 예입니다. 이를 위해 연구자들은 데이터를 정제하고, 수학적 모델을 선택하며, 성능이 좋아질 때까지 그 모델을 미세 조정하는 단계별 지침인 '파이프라인'을 구축합니다. 수년 동안 이 작업을 수행해 온 가장 강력한 도구들은 정해진 재료를 가진 숙련된 요리사처럼 작동하는 자동화된 시스템들이었습니다. 이러한 시스템은 이미 알려진 전처리 단계와 학습 알고리즘을 조합하고 배합량을 조절하여 최상의 맛을 찾아낼 수 있습니다. 하지만 이들은 자신에게 주어진 식료품 창고 내로 엄격히 제한되어 있으며, 주어진 목록에 없는 새로운 재료나 새로운 요리법을 발명할 수는 없습니다. 이러한 한계는 만약 최적의 솔루션이 시스템이 이전에 본 적 없는 구조를 필요로 한다면, 그 솔루션은 발견되지 못한 채로 남게 된다는 것을 의미합니다.
라이덴 대학교(Leiden University)의 한 연구팀은 이제 이러한 데이터 파이프라인의 생성을 메뉴에서 선택하는 것이 아니라, 백지 상태에서 새로운 레시피를 쓰는 것으로 취급하는 다른 접근 방식을 도입했습니다. 그들은 거대 언어 모델(방대한 양의 텍스트와 코드로 훈련된 인공지능)을 진화 엔진으로 사용하는 LACE라는 시스템을 개발했습니다. 고정된 도구 목록 중에서 선택하는 대신, LACE는 AI에게 데이터를 처리하고 예측을 수행하는 방법을 정의하는 완전하고 실행 가능한 컴퓨터 프로그램을 작성하도록 요청합니다. 그런 다음 시스템은 이 프로그램들을 테스트하고, 실수로부터 배우며, AI에게 개선된 버전을 작성하도록 요청하는 과정을 반복하여 매우 효과적인 솔루션을 찾을 때까지 이 사이클을 수행합니다. 그 결과, 이 시스템은 단순히 기존의 도구를 미세 조정하는 것에 그치지 않고 완전히 새로운 구조를 구성할 수 있으며, 인간 전문가가 직접 읽고, 이해하고, 수정할 수 있는 코드를 생성합니다.
연구진은 수백 개의 항목이 있는 작은 데이터셋부터 거의 500만 행에 달하는 거대한 컬렉션에 이르기까지 68개의 서로 다른 데이터 분류 작업에 대해 이 방법을 테스트했습니다. 그들은 LACE를 여러 기존 자동화 시스템 및 일련의 고정된 사전 훈련 모델들과 비교했습니다. 결과에 따르면, 특정 언어 모델을 기반으로 하는 LACE는 기존의 가장 강력한 자동화 시스템만큼 우수한 성능을 보였으며, 오래된 방식들보다 현저히 뛰어난 성능을 보였습니다. 결정적으로, 일부 최신 사전 훈련 모델들은 자신이 다룰 수 있는 특정 작업에서는 약간 더 정확했지만, 테스트 세트의 더 크거나 복잡한 데이터셋에서는 작동하는 데 실패했습니다. 반면, LACE는 주어진 모든 작업에 대해 작동하는 솔루션을 성공적으로 생성했습니다.
이 성과가 특히 주목할 만한 이유는 출력물의 성격 때문입니다. 전통적인 자동화 시스템은 종-종 '블랙박스', 즉 잘 작동하지만 소프트웨어 프레임워크에 대한 깊은 기술적 지식 없이는 인간이 검사하거나 변경하기 어려운 복잡하고 적합된 객체를 반환합니다. LACE는 일반적인 파이썬(Python) 코드를 반환합니다. 이는 데이터 과학자가 최종 프로그램을 보고, 데이터가 어떻게 정제되었는지, 어떤 모델이 선택되었는지, 그리고 그것들이 어떻게 결합되었는지를 정확히 파악한 다음, 코드를 편집하여 더 개선하거나 새로운 목적에 맞게 조정할 수 있음을 의미합니다. 연구진은 AI가 단순히 기존 패턴을 복사한 것이 아니라, 다양한 솔루션을 진화시켰으며, 종종 다양한 유형의 모델을 참신한 방식으로 결합하고 예측을 혼합하기 위한 커스텀 로직을 작성했다는 것을 발견했습니다. 많은 경우에서 AI는 여러 모델의 출력을 섞기 위해 자체적인 코드를 작성했는데, 이는 고정된 시스템이 쉽게 복제할 수 없는 유연성 수준입니다.
이 연구는 인공지능 연구의 흔한 우려 사항, 즉 AI가 훈련 과정에서 이미 본 적이 있기 때문에 테스트 질문에 대한 정답을 단순히 암기하고 있는 것일 수도 있다는 점을 다루었습니다. 이를 방지하기 위해 연구진은 데이터셋의 이름과 구체적인 세부 정보를 AI로부터 숨기고, 데이터의 크기와 유형에 대한 일반적인 설명만을 제공했습니다. 이러한 구체적인 지식의 부재에도 불구하고 시스템은 높은 성능의 솔루션을 찾아냈으며, 이는 시스템이 정답을 회상하는 것이 아니라 효과적인 파이프라인을 구축하는 법을 진정으로 학습하고 있음을 시사합니다. 연구진은 또한 AI가 자신의 설정을 튜닝하기 위해 숨겨진 내부 검색을 사용하지 않도록 엄격한 규칙을 따랐음을 확인하여, 개선 사항이 진화적 탐색 과정 자체로부터 나왔음을 보장했습니다.
가장 놀라운 발견 중 하나는 시스템이 얼마나 빠르게 개선되었는가 하는 점이었습니다. AI가 생성한 첫 번째 프로그램은 종종 결함이 있거나 불완전했지만, 시스템이 반복됨에 따라 오류를 수정하고 로직을 정교화하는 법을 배웠습니다. 프로세스가 완료될 때쯤이면 최종 프로그램들은 유효할 뿐만 아니라 초기 시도보다 훨씬 더 정확했습니다. 연구진은 시스템이 트리 기반 앙상블과 같은 특정 유형의 모델을 선호하는 경향이 있지만, 단일 패턴에 갇히지 않고 다양한 구조적 조합을 탐색한다는 것을 관찰했습니다. 이러한 다양성은 시스템이 인간이 시도할 생각을 하지 못하거나, 경직된 시스템이 결코 고려하지 않을 솔루션을 발견할 수 있는 능력이 있음을 시사합니다.
이 작업은 자동화된 머신 러닝을 코드의 작성 및 진화 과정으로 다루는 것이 새로운 지평을 열고 있음을 보여줍니다. 이는 고정된 도구 라이브러리의 제약을 넘어, 시스템이 당면한 특정 문제에 맞춰 그 구조를 적응할 수 있게 합니다. 이 실험을 실행하는 데 상당한 시간을 소요하여 수천 개의 후보 프로그램을 생성하고 테스트해야 했기에 계산 비용은 높았지만, 결과는 투명하고 편집 가능하며 매우 효과적인 코드를 생성하는 능력이 가치 있는 절충안임을 시사합니다. 연구진은 이 접근 방식이 데이터 파이프라인의 최적을 찾는 과정이 미리 선택된 구성 요소의 한계가 아니라, 코드 자체의 창의성에 의해 정의되는 유망한 길을 제시한다고 결론지었습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.