🤖 machine learning

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

본 논문은 진화적 탐색과 대규모 언어 모델을 결합하여 표형 데이터에 대한 효과적인 특징 변환 프로그램을 반복적으로 발견함으로써, 도메인 지식과 데이터 기반 피드백을 보다 효과적으로 활용하여 기존 자동 특징 공학 방법보다 우수한 성능을 보이는 새로운 프레임워크인 LLM-FE 를 소개합니다.

원저자: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

미스터리 해결을 위해 증거 (데이터) 더미를 사용하는 탐정이라고 상상해 보세요. 보통은 이 증거들을 직접 분류하고, 교묘하게 조합하여 사건을 더 빠르게 해결할 수 있는 새로운 '수퍼 증거'를 만들어야 합니다. 이 과정을 **특성 공학 (Feature Engineering)**이라고 합니다. 머신러닝 세계에서는 이를 수동으로 수행하는 것이 느리고 지루하며, 어떤 증거 조합이 효과적일지 정확히 아는 인간 전문가의 도움이 필요합니다.

이 논문은 '초지능' AI(대형 언어 모델) 를 창의적인 파트너로 활용하여 이 탐정 작업을 자동화하는 새로운 도구인 LLM-FE를 소개합니다.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. 문제: '추측 게임'

기존의 자동화 도구들은 고정된 규칙 목록에 기반하여 숫자를 맹목적으로 섞고 조합 (예: A 열에 B 열을 더하기) 함으로써 이를 해결하려 합니다. 이들은 오직 좌회전이나 우회전만 할 줄 아는 로봇과 같아서, 때로는 울타리를 뛰어넘어야 한다는 사실을 깨닫지 못합니다. 그들은 데이터 뒤에 숨겨진 '이야기' (예: '인슐린'과 '글루코스'가 당뇨병과 관련이 있다는 사실) 를 이해함으로써 얻어지는 '아하!' 순간들을 종종 놓칩니다.

2. 해결책: '진화하는 셰프'

저자들은 LLM-FE를 제안하는데, 이는 AI 를 셰프로 삼아 특성 공학을 요리 대회처럼 취급합니다. AI 는 단순히 레시피를 따르는 대신 다음을 제공받습니다:

재료: 원시 데이터 (예: 환자 나이, 혈당 수치).
메뉴: 해결해야 할 구체적인 문제 (예: "환자가 당뇨병인지 예측하라").
요리책: AI 의 세계에 대한 내부 지식 (예: "높은 당분과 낮은 인슐린은 건강에 해롭다는 것을 알고 있다").

3. 작동 원리: 4 단계 루프

이 논문은 자연이 더 잘 생존하기 위해 종을 진화시키는 방식과 유사하게 반복되는 사이클을 설명합니다:

단계 A: 창의적인 불꽃 (생성)
AI 는 데이터와 문제를 살펴봅니다. 그리고 "흠, 인슐린 수치를 글루코스 수치로 나누면 신체가 당을 처리하는 방식에 대해 무언가를 알려줄지도 모른다"라고 말합니다. 그런 다음 이 새로운 '수퍼 증거'를 만들기 위한 작은 컴퓨터 프로그램 (레시피) 을 작성합니다.
- 비유: 셰프가 재료와 만들려는 요리에 기반하여 새로운 소스를 발명하는 것과 같습니다.
단계 B: 맛보기 (평가)
새로운 레시피가 데이터에 적용됩니다. 그런 다음 예측 모델 (간단한 테스트) 이 이 새로운 데이터를 사용하여 문제를 해결해 봅니다.
- 비유: 셰프가 새로운 소스를 심사위원에게 제공합니다. 심사위원이 좋아하면 (점수가 올라가면) 레시피는 좋은 것입니다. 그렇지 않다면 폐기됩니다.
단계 C: 기억 은행 (경험 관리)
이것이 LLM-FE 의 비결입니다. 시스템은 실패한 레시피를 단순히 잊어버리지 않습니다. 대신 자신이 만들어낸 최고의 레시피들의 '명예의 전당'을 보관합니다.
- 비유: 자신의 10 가지 최고의 요리를 노트에 기록해 두는 셰프를 상상해 보세요. 새로운 요리를 발명할 때 처음부터 시작하는 것이 아니라, 과거 최고의 요리들을 살펴보며 "3 번 요리의 가장 좋은 부분과 7 번 요리의 가장 좋은 부분을 섞으면 어떨까?"라고 말합니다.
단계 D: 진화 (정제)
AI 는 '명예의 전당'을 활용하여 레시피의 더 나은 버전을 만들어냅니다. 최고의 레시피를 '변이' (약간 변경) 시켜서 더 나아질 수 있는지 시도합니다.
- 비유: 이는 자연 선택과 같습니다. 가장 강력하고 맛있는 레시피들은 살아남아 진화하는 반면, 약한 것들은 사라집니다.

4. 다른 방법들보다 나은 이유

이 논문은 LLM-FE 를 다른 방법들과 비교하여 다음과 같은 세 가지 주요 이유로 승리한다고 밝혔습니다:

맥락을 이해함: 단순히 수학만 수행하는 다른 로봇들과 달리, 이 AI 는 데이터가 무엇을 의미하는지 이해합니다. '나이'와 'BMI'가 건강과 관련이 있음을 알기 때문에, 단순히 숫자가 아닌 인간에게 의미 있는 특성을 생성합니다.
막히지 않음: 다른 방법들은 종종 하나의 아이디어를 개선하려다 막히곤 합니다. LLM-FE 는 동시에 여러 개의 '아이디어 섬'을 실행합니다. 한 섬이 막다른 골목에 갇히더라도 다른 섬이 우회로를 찾을 수 있습니다.
실수에서 배움: 이전에 무엇이 작동했는지에 대한 기억을 유지함으로써 무작위 추측을 하는 것이 아니라, 시도할 때마다 더 똑똑해집니다.

5. 결과

연구자들은 심장병, 주택 가격, 자동차 판매 등 다양한 데이터셋에서 이를 테스트했습니다. 그 결과 LLM-FE 는 기존 방법들보다 예측 모델의 정확도를 일관되게 높인다는 것을 발견했습니다. 이는 한 가지 유형의 AI 만으로 작동한 것이 아니라, 서로 다른 유형의 모델들이 자신의 업무를 더 잘 수행하도록 도왔습니다.

요약하자면: LLM-FE 는 스마트한 AI 를 활용하여 데이터를 바라보는 새롭고 의미 있는 방식을 발명하는 시스템입니다. 이는 과거 최고의 요리들에서 배우고, 세계에 대한 지식을 활용하며, 완벽한 레시피를 찾아 문제를 해결할 때까지 끊임없이 실험하는 창의적인 셰프와 같습니다.

기술 요약: LLM-FE: LLM 을 진화적 최적화기로 활용한 표형 데이터의 자동화된 특징 공학

문제 제기

특징 공학은 표형 머신러닝 워크플로우에서 결정적이지만 노동 집약적인 구성 요소입니다. 잘 설계된 특징은 트리 기반 모델의 성능을 크게 향상시킬 수 있으며 (구조화된 데이터에서 종종 딥러닝 접근법을 능가함), 특징 변환의 방대한 조합 공간을 탐색하는 과정은 시간과 자원을 많이 소모합니다. 기존의 자동화된 특징 공학 방법은 사전 정의된 수동 설계 검색 공간과 고정된 변환에 의존하여 종종 가치 있는 도메인 지식을 반영하지 못합니다. 반면, 최근의 대규모 언어 모델 (LLM) 기반 접근법은 도메인 지식을 통합하려 시도하지만, 일반적으로 직접적인 프롬프팅이나 단순한 검증 점수에 의존합니다. 이러한 기존 LLM 방법들은 이전 발견 실험에서 얻은 통찰력을 활용하지 못하고, 특징 생성과 데이터 기반 성능 간의 의미 있는 추론이 부족하며, LLM 사전 학습에 내재된 편향으로 인해 단순하고 반복적인 특징을 생성하는 경향이 있습니다.

방법론: LLM-FE 프레임워크

저자들은 LLM-FE를 제안합니다. 이는 특징 공학을 프로그램 검색 문제로 형식화하여 LLM 의 도메인 지식과 추론 능력과 진화적 검색 및 데이터 기반 피드백을 결합한 새로운 프레임워크입니다. 이 프레임워크는 다음 네 가지 주요 단계로 구성된 반복적 루프로 작동합니다:

새로운 특징 생성 (프롬프팅):
LLM 은 지식 기반 진화적 최적화기로 작용합니다. 이는 다음을 포함하는 구조화된 프롬프트를 수신합니다:
- 작업 설명 및 메타데이터: 하류 작업 및 특징 설명에 대한 구체적인 세부 사항.
- 데이터 샘플: 컨텍스트를 제공하기 위해 직렬화된 데이터셋 예시.
- 평가 함수: 특징의 품질을 측정하는 방법 (모델 학습 및 검증 세트에서 점수 매기기) 을 정의하는 코드 스니펫.
- 컨텍스트 내 데모: 이전 반복에서 높은 성능을 보인 특징 변환 프로그램의 선택.
  LLM 은 내재된 도메인 지식을 활용하여 특징의 관련성에 대해 추론하면서 단순한 산술 연산이 아닌 복잡하고 새로운 특징 변환 프로그램 (Python 코드) 을 생성하도록 명시적으로 지시받습니다.
특징 공학 (실행):
생성된 Python 프로그램은 하부 데이터셋에서 실행됩니다. 이 단계는 제안된 변환을 적용하여 확장된 데이터셋을 생성합니다. 견고성을 보장하기 위해 시스템은 실행 시간 및 메모리 제한을 강제하여 오류가 발생하기 쉽거나 비효율적인 프로그램을 폐기합니다.
특징 평가 (데이터 기반 피드백):
확장된 데이터셋은 하류 예측 모델 (예: XGBoost, MLP, TabPFN) 을 학습하는 데 사용됩니다. 홀드아웃 검증 세트에서의 모델 성능은 특징 변환 프로그램의 적합도 점수로 작용합니다. 이 점수는 검색을 안내하는 데 필요한 데이터 기반 피드백을 제공합니다.
경험 관리 (진화적 검색):
지역 최적점에 빠지는 것을 방지하고 다양성을 유지하기 위해 LLM-FE 는 다중 개체군 '섬 (island)' 모델을 사용합니다.
- 다중 섬 메모리: 검색 공간은 $m$ 개의 독립적인 섬으로 나뉩니다. 각 섬은 고득점 프로그램의 버퍼를 유지합니다.
- 클러스터링 및 샘플링: 섬 내의 프로그램은 검증 점수를 기반으로 클러스터링됩니다. 시스템은 컨텍스트 내 예제를 선택하기 위해 볼츠만 샘플링을 사용하여 탐색 (낮은 점수 클러스터) 과 활용 (높은 점수 클러스터) 을 균형 있게 조절합니다.
- 반복적 정제: 각 반복에서 LLM 은 메모리 버퍼에서 샘플링하여 새로운 후보를 생성하며, 프롬프트 조건부 생성을 통해 암묵적인 돌연변이와 교차를 수행합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

새로운 프레임워크: 특징 공학을 LLM 주도 진화적 최적화 문제로 제시하는 LLM-FE 의 도입입니다. 이는 도메인 지식, 데이터 기반 평가, 장기 기억을 반복적 정제를 위해 독특하게 통합합니다.
실증적 효과성: 실험 결과는 LLM-FE 가 다양한 표형 데이터셋, 작업, 예측 모델을 대상으로 기존 최첨단 베이스라인 (OpenFE/AutoFeat 과 같은 고전적 방법 및 CAAFE/FeatLLM 과 같은 LLM 기반 방법) 보다 일관되게 우월한 성능을 보임을 입증합니다.
구성 요소 분석: 포괄적인 제거 실험을 통해 저자들은 LLM 이 특징 공간을 효율적으로 탐색하고 영향력 있는 특징을 발견하도록 이끄는 데 도메인 지식, 진화적 검색, 데이터 기반 피드백, 데이터 샘플의 결정적 역할을 강조합니다.

실험 결과

저자들은 19 개의 분류 및 10 개의 회귀 데이터셋에 걸쳐 GPT-3.5-Turbo와 Llama-3.1-8B-Instruct를 백본으로 사용하여 LLM-FE 를 평가했습니다. 프레임워크는 XGBoost, MLP, TabPFN 을 하류 예측기로 사용하여 베이스라인과 비교 테스트되었습니다.

성능: LLM-FE 는 분류 및 회귀 작업 모두에서 평균 순위가 가장 낮아 (전반적인 성능이 가장 좋음) 달성했습니다. 이는 원시 데이터 베이스라인 및 기타 특징 공학 방법 대비 예측 성능을 일관되게 향상시켰습니다.
일반화 능력: 이 프레임워크는 다양한 LLM 백본 및 예측 모델 아키텍처 전반에 걸쳐 견고함을 입증했습니다. LLM-FE 가 생성한 특징은 트리 기반 모델, 신경망, 트랜스포머 기반 표형 모델의 성능을 향상시켰습니다.
복잡성 및 편향 완화: 단순 연산자 (덧셈, 뺄셈) 를 선호하는 경향이 있는 단순 LLM 프롬프팅과 달리, LLM-FE 의 진화적 정제는 복잡한 변환 (예: 그룹별 집계, 잔차, 시그모이드 함수) 을 성공적으로 발견했습니다. 발견된 특징의 약 45% 가 복잡한 것으로 분류된 반면, 베이스라인 LLM 방법에서는 미미한 수준이었습니다.
효율성: 성능 대 실행 시간에 대한 파레토 분석 결과, LLM-FE 는 파레토 프론티어에 위치하여 CAAFE 및 OCTree 와 같은 경쟁사보다 높은 정확도를 달성하면서도 동등하거나 더 낮은 계산 비용을 보여주었습니다.
제거 실험: 도메인 지식을 제거하면 성능이 크게 저하됨 (~~0.687 에서 ~0.626 정확도) 을 보여 그 중요성을 부각시켰습니다. 마찬가지로 진화적 정제를 제거하면 가장 큰 감소 (~~0.587) 를 보였으며, 이는 반복적 데이터 기반 피드백의 필요성을 강조합니다.
기억화: LLM 학습 컷오프 날짜 이후에 공개된 데이터셋에 대한 실험 결과, LLM-FE 는 일관되고 modest 한 개선을 제공하여 개선이 데이터 기억화가 아닌 진정한 추론과 진화적 선택에서 비롯되었음을 시사했습니다.

중요성 및 주장

본 논문은 LLM-FE 를 데이터 중심 파이프라인 자동화에서의 중요한 진전으로 위치시킵니다. 그 중요성은 도메인 기반 추론과 최적화 사이의 간극을 메우는 데 있습니다. LLM 을 단순 생성기가 아닌 진화적 최적화기로 취급함으로써, 이 프레임워크는 정적 검색 공간의 한계와 직접적인 프롬프팅에 내재된 단순 특징에 대한 편향을 극복합니다.

저자들은 LLM-FE 가 수동 노력을 줄이면서 예측 성능을 향상시키는 견고하고 일반화 가능한 표형 학습 솔루션을 제공한다고 주장합니다. 그들은 이 프레임워크가 도메인 전문가를 대체하는 것이 아니라 보완하도록 설계되었으며, 검토 및 검증을 가능하게 하는 해석 가능하고 가설 기반의 특징을 제공한다고 강조합니다. 이 연구는 LLM 과 진화적 검색 메커니즘을 결합하는 것이 수동으로 설계하기 어려운 고품질 해석 가능 특징을 발견하기 위한 실현 가능한 경로임을 시사합니다.