기술 요약: CoFEH

문제 정의

특성 공학 (Feature Engineering, FE) 은 머신러닝 파이프라인의 초석이지만, 기존 자동화 방법론의 병목 현상으로 남아 있습니다. 기존 접근 방식은 세 가지 근본적인 한계를 겪고 있습니다:

1. 의미적 무관심성 (Semantic Agnosticism): 이들은 도메인 사전 지식을 활용하지 않고 경직된 사전 정의 검색 공간과 시행착오에 의존합니다.
2. 경직된 토폴로지: 이들은 생성 후 선택과 같은 고정된 파이프라인 순서를 강제하여 이질적 연산들의 동적 교차 또는 유연한 구성을 방해합니다.
3. 제한된 연산 집합: 이들은 내장 알고리즘 또는 기본 산술 연산의 폐쇄된 라이브러리에 국한되어, 사전 정의된 원시 연산 이상의 작업별 연산을 발견할 수 없습니다.

또한, 대규모 언어 모델 (LLM) 은 의미적으로 근거를 둔 무제한 연산자를 생성하는 유망한 대안을 제공하지만, 현재 LLM 기반 FE 방법론들은 주로 (특성 생성과 같은) 고립된 하위 작업에 초점을 맞추고 자유형 파이프라인을 구축하지 못합니다. 결정적으로, 이러한 방법론들은 하류 모델의 하이퍼파라미터 최적화 (HPO) 와 FE 를 거의 결합하지 않습니다. 이는 특성 표현과 모델 용량 간의 강한 의존성을 무시하는 "탐욕적" 순차 워크플로우 (FE 후 HPO) 로 이어져, 시스템을 종종 비최적의 지역 최소값에 가두게 됩니다.

방법론: CoFEH 프레임워크

저자들은 견고한 엔드투엔드 AutoML 을 위해 LLM 기반 FE 와 베이지안 HPO 를 교차시키는 프레임워크인 CoFEH(Collaborative Feature Engineering and Hyperparameter Optimization) 를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. LLM 기반 사고의 트리 (ToT) FE 최적화기

자유형 FE의 과제를 해결하기 위해, CoFEH 는 파이프라인 구축을 몬테카를로 트리 탐색 (MCTS) 을 통해 해결하는 순차적 의사결정 문제로 재정의합니다.

• 상태 표현: 임의의 변환 단계의 데이터셋은 검색 트리 내의 상태 노드로 간주됩니다.
• 조작 가능한 추론: LLM 은 데이터셋 메타데이터, 조상 파이프라인, 그리고 동적 지시문($d$) 을 포함한 구조화된 프롬프트를 기반으로 새로운 FE 연산을 생성합니다:
  • 초기화: 루트 노드를 위한 고품질 초기 연산을 생성합니다.
  • 탐색: 검색 공간의 알려지지 않은 영역을 탐색하기 위한 새로운 연산을 제안합니다.
  • 활용: 고성능 역사적 연산을 재사용하고 적응함으로써 현재 상태를 정제합니다.
• 글로벌 메모리: 파레토 기반 검색 메커니즘은 성공적인 연산들 (추론 체인, 특성 부분집합, 점수, 상대적 이득) 을 아카이빙하여 활용 (Exploitation) 단계 동안 LLM 을 안내합니다.

2. 상호 조건부 메커니즘

협력적 FE–HPO 과제를 해결하기 위해, CoFEH 는 LLM(FE) 과 베이지안 최적화 (BO)(HPO) 간의 양방향 정보 흐름을 확립하여 고립된 튜닝을 방지합니다.

• FE 에 조건부 HPO: BO 대리 모델은 FE 파이프라인을 특징짓기 위해 데이터셋 상태 ($s$) 에서 추출된 메타특성($\phi(s)$) 을 사용합니다. 이를 통해 BO 는 파이프라인과 하이퍼파라미터의 결합된 영향을 모델링하여, 특정 데이터셋 상태 ($s^*$) 에 대한 최적 구성 ($\lambda^*$) 을 추천할 수 있습니다.
• HPO 에 조건부 FE: MCTS 선택 및 플레이아웃 단계는 HPO 결과에 의해 안내됩니다. 노드의 "최고 성능" 지표는 해당 특정 데이터셋 상태에 대해 발견된 최적 하이퍼파라미터에 의해 결정되므로, LLM 은 기본 설정이 아닌 최적 모델 구성 하에서 특성 품질을 평가하게 됩니다.

3. 동적 최적화기 선택기

작업 적응형 스케줄링을 해결하기 위해, CoFEH 는 예측 상한 신뢰 구간 (Predictor Upper Confidence Bound, PUCB) 정책을 사용하여 FE 와 HPO 간의 최적화 예산 할당을 다중 암 밴딧 (Multi-Armed Bandit, MAB) 문제로 모델링합니다.

• 선택기는 경험적 성공률 ($Q(a)$) 과 시간 변화 사전 가중치 ($\omega_a$) 를 기반으로 각 반복에서 FE 단계 또는 HPO 단계 중 어느 것을 실행할지 동적으로 결정합니다.
• 사전 가중치 스케줄링: 시스템은 데이터가 "모델 준비 상태"가 되도록 FE 로의 편향으로 시작하여, 예산이 소진됨에 따라 50/50 균형으로 선형적으로 감소합니다. 이는 중립적인 시나리오에서 균형 잡힌 예산 분배를 보장하면서도, 실제 작업별 경험적 보상이 할당을 주도할 수 있도록 합니다.

주요 기여

1. 자유형 파이프라인 최적화: 제약 없는 파이프라인 토폴로지와 연산자를 탐색하는 LLM 기반 ToT 최적화기로, 전처리, 변환, 생성, 선택을 동적으로 구성하는 진정한 자유형 특성 공학을 가능하게 합니다.
2. 상호 조건부 메커니즘: FE 와 HPO 가 서로의 의사결정을 informing 하는 새로운 양방향 결합으로, 순차적 최적화의 "탐욕적 근시안"을 방지하고 결합 공간 내 전역 최적점의 발견을 가능하게 합니다.
3. 동적 자원 할당: 주어진 작업에 대한 각 단계의 특정 유용성에 기반하여 FE 와 HPO 간의 계산 예산을 적응적으로 할당하는 PUCB 기반 선택기.
4. 경험적 검증: CoFEH 가 기존 AutoML 시스템 및 기존 LLM 기반 베이스라인을 모두 능가함을 입증한 광범위한 실험.

실험 결과

저자들은 XGBoost, MLP, CASH(Combined Algorithm Selection and Hyperparameter Optimization) 세 가지 하류 모델 시나리오에 걸쳐 28 개의 공개 데이터셋(19 개 분류, 9 개 회귀) 에서 CoFEH 를 평가했습니다.

• 단독 FE: CoFEH 는 모든 베이스라인 중 평균 순위 1.82 를 기록하여 전통적 방법 (Mindware, OpenFE) 과 기타 LLM 기반 접근법 (OCTree, ELLM, LFG) 을 크게 능가했습니다.
• 결합 FE+HPO: 엔드투엔드 설정에서 CoFEH 는 자체 단독 FE 성능 대비 7.03% 의 상대적 오차 감소를 보였으며, 모든 베이스라인을 능가했습니다. 평균 순위 1.75 를 기록하여 새로운 최첨단 (state-of-the-art) 을 확립했습니다.
• 일반화: 이 프레임워크는 다양한 모델 유형 (MLP, CASH) 에서 견고한 일반화를 보여주어 최상위 성능을 유지하고 상당한 오차 감소를 달성했습니다 (예: CASH 시나리오에서 +45.1% 개선).
• 비용 효율성: CoFEH 는 Gemini-2.0-flash 백본을 사용하여 작업당 약 $0.07 만 요구하는 등 최고의 비용 - 성능 트레이드오프를 달성했으며, 전통적인 검색 중심 방법 (OpenFE, Mindware) 은 훨씬 더 많은 런타임을 필요로 했습니다.
• 절대 실험 (Ablation Studies): 상호 조건부 메커니즘이나 동적 선택기를 제거하면 성능이 크게 저하되어, 결합된 정보 관리와 적응형 자원 스케줄링의 필요성을 확인시켰습니다.

중요성과 주장

이 논문은 CoFEH 가 LLM 의 의미 추론 능력과 베이지안 최적화의 수치적 효율성 사이의 간극을 메운다고 주장합니다. 경직된 순차 워크플로우에서 교차된 협력적 최적화 전략으로 이동함으로써, CoFEH 는 LLM 이 FE 에서는 뛰어나지만 FE-HPO 결합에서는 뒤처지는 "능력 통합 역설"을 극복합니다.

저자들은 CoFEH 가 다음과 같다고 주장합니다:

• 인간 전문가와 같은 자유형 파이프라인을 생성하기 위해 LLM 의 잠재력을 최대한 발휘합니다.
• 분리된 FE 와 HPO 로 인해 발생하는 비최적 지역 최소값 문제를 해결합니다.
• 프롬프트 수정을 통해 이미지 및 텍스트 데이터에 적응할 수 있는 확장 가능한 AutoML 작업의 확장 가능한 기반을 제공합니다.

이 작업은 특성 발견과 모델 튜닝을 고립된 단계가 아닌 통합되고 상호 강화되는 과정으로 취급하는 전체적 ML 파이프라인 최적화를 향한 중요한 걸음으로 제시됩니다.