🤖 machine learning

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TOPOFE는 계층적 탐색, 적응형 프롬프트 메모리, 그리고 위상 유도 지식 전이를 통합함으로써 무상태 생성과 균질한 탐색의 한계를 극복하고, 29개의 정형 데이터셋에 걸쳐 다양하고 성능이 뛰어난 피처 프로그램을 발견하도록 LLM 가이드 자동 피처 엔지니어링을 강화하는 위상 인식 멀티 아일랜드 진화 프레임워크이다.

원저자: Sha Li, Naren Ramakrishnan

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Sha Li, Naren Ramakrishnan

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 대출 신청자가 돈을 갚을지, 혹은 환자가 특정 질병을 앓고 있는지 예측하는 것과 같이 똑똑한 결정을 내리도록 가르치려 한다고 상상해 보십시오. 컴퓨터는 정답을 알고 시작하는 것이 아닙니다. 대신 숫자, 범주, 날짜로 이루어진 가공되지 않은 데이터 스프레드시트를 보고 어떤 패턴이 중요한지 스스로 찾아내야 합니다. 이 과정을 **머신러닝(machine learning)**이라고 부릅니다. 하지만 까다로운 점이 있습니다. 가공되지 않은 데이터는 종종 지저서 이해하기 어렵다는 것입니다. 요리사가 손질되지 않은 채소만 가지고 훌륭한 수프를 만들 수 없듯이, 컴퓨터 역시 데이터를 먼저 변환하지 않으면 최선의 패턴을 찾을 수 없는 경우가 많습니다. 이 변환 단계를 **특징 공학(feature engineering)**이라고 합니다. 이것은 가공되지 않은 숫자들을 서로 섞어서 컴퓨터가 진실을 볼 수 있도록 돕는 더 똑똑한 단서들을 만들어내는 기술입니다. 오랫동안 인간은 어떤 숫자의 조합이 유용할지 추측하며 이를 수동으로 수행해야 했습니다. 최근에는 이를 돕기 위해 **대규모 언어 모델(LLM)**이라는 초지능적인 컴퓨터 프로그램들을 사용하기 시작했습니다. 이 LLM들을 수학과 과학에 박식한, 아주 잘 읽힌 조수라고 생각하면 됩니다. 이들은 데이터를 섞는 새로운 방법들을 제안할 수 있습니다. 하지만 이 똑똑한 조수들에게도 문제가 있습니다. 때때로 같은 유형의 조합만을 반복해서 제안하거나, 이전에 무엇을 시도했는지 잊어버려 막다른 길에서 시간을 낭비하기도 한다는 점입니다.

여기에서 TOPOFE라는 새로운 프레임워크가 등장합니다. 버지니아 공대의 연구자인 샤 리(Sha Li)와 나렌 라마크리슈난(Naren Ramakrishnan)은 가능한 데이터 조합의 공간이 너무나 방대하고 다양하기 때문에, 단일하고 균일한 탐색 전략만으로는 충분하지 않다는 것을 깨달았습니다. 그들은 데이터 단서를 찾는 과정을 하나의 거대한 군중이 아니라, 서로 다른 영토에서 활동하는 전문 탐사팀처럼 다루는 시스템을 제proposed했습니다.

TOPOFE는 하나의 큰 그룹이 문제를 동시에 해결하려고 애쓰는 대신, 작업을 다섯 개의 뚜렷한 "섬(islands)"으로 나눕니다. 각 섬은 특정 수학적 기법에 집중하는 전문가 팀입니다. 한 섬은 숫자를 더하거나 곱하는 것과 같은 단순 산술만을 살펴봅니다. 또 다른 섬은 평균이나 개수와 같은 통계에 집중합니다. 세 번째 섬은 지난 일주일간의 판매량 변화와 같은 시간 기반 패턴을 다룹니다. 다른 하나는 서로 다른 그룹 간의 관계를 처리하며, 마지막 섬은 곡선 형태의 비선형 구조를 다룹니다. 이렇게 전문가들을 분리함으로써, 시스템은 특정 유형의 수학적 기법이 전체를 장악하여 다른 기법의 발견을 가로막지 않도록 보장합니다.

하지만 진짜 마법은 이 섬들이 서로 소통할 때 일어납니다. 기존의 시스템에서는 한 팀이 막히게 되면 다른 팀과 무작위로 아이디어를 교환하곤 했는데, 이는 대개 도움이 되지 않았습니다. TOPOFE는 더 똑똑합니다. 이 시스템은 어떤 팀이 서로를 돕는 데 가장 적합한지를 학습하는 동적인 지도인 "위상 그래프(topology graph)"를 사용합니다. 만약 "시간(Time)" 섬이 막히게 되면, 시스템은 지도를 확인하여 "산술(Arithmetic)" 섬이 도움을 주는 데 가장 적합하다는 것을 파악합니다. 그러면 시스템은 두 팀이 최고의 아이디어를 결합하여, 어느 한 팀이 혼자서는 결코 발명할 수 없었을 완전히 새로운 "하이브리드" 특징을 만들어내는 특별한 이벤트를 실행합니다. 예를 들어, 시간 기반 평균과 나눗셈 연산을 결합하여 매우 예측력이 높은 새로운 단서를 만들어낼 수 있습니다.

또한 이 시스템은 자신의 실수를 통해 배우는 "기억력"을 가지고 있습니다. 특정 유형의 수학적 기법이 특정 데이터셋에서 계속 실패한다면, 시스템은 이를 기억하여 해당 기법을 제안하지 않는 대신, 효과가 있는 기법들을 강화합니다. 이 과정은 메인 컴퓨터 브레인을 다시 훈련시킬 필요 없이 매우 효율적으로 이루어집니다.

연구진은 이 아이디어를 심장병 예측부터 자전거 대여 예측에 이르기까지 29개의 다양한 실제 데이터셋에 대해 테스트했습니다. 그 결과, TOPOFE가 기존의 가장 뛰어난 방법들을 지속적으로 능가한다는 것을 발견했습니다. TOPOFE는 단순히 더 나은 답을 찾는 것에 그치지 않고, 더 다양한 답을 찾아냈습니다. 다른 방법들은 종종 매우 유사한 단서들의 더미로 끝나는 반면, TOPOFE의 특화된 섬들과 스마트한 팀워크는 더 넓은 영역을 커버하고 다양한 유형의 예측 모델에 잘 작동하는 단서 세트를 만들어냈습니다. 이 연구는 탐색을 전문화되고 소통하는 그룹으로 조직함으로써, 우리가 데이터를 이해하는 컴퓨터를 가르치는 훨씬 더 강력한 방법을 열 수 있음을 시사합니다. 결과는 이 접근 방식이 견고함을 보여주며, 밑바탕이 되는 컴퓨터 "두뇌"가 바뀌더라도 잘 작동한다는 것을 입증했습니다. 이는 핵심적인 비결이 모델의 지능 자체가 아니라, 탐색의 구조 자체에 있음을 증명합니다.

기술 요약: TOPOFE

문제 정의

정형 데이터(Tabular Data)를 위한 자동 피처 엔지니어링(AutoFE)은 본질적으로 기하급수적으로 거대한 탐색 공간으로부터 예측 가능한 변환을 발견하기 위한 프로그램 합성 문제입니다. 최근 대규모 언어 모델(LLM) 접근 방식은 사전 정의된 연산자 라이브러리를 넘어 AutoFE의 표현력을 확장했으나, 다음과 같은 세 가지 결정적인 구조적 한계를 가집니다:

동질적 탐색 역학(Homogeneous Search Dynamics): 기존의 LLM-진화 방법론은 단일하고 차별화되지 않은 모집단(Population) 위에서 작동합니다. 이는 몇 개의 고성능 모티프가 경험 버퍼를 포화시키면, 탐색이 특정 변환 유형(예: 산술 상호작용)의 좁은 부분집합으로 수렴하게 만들어, 직교하는 다른 계열(예: 시계열 역학, 관계형 인코딩)의 탐색을 저해합니다.
상태 비저장 LLM 쿼리(Stateless LLM Querying): 피처 생성 과정에서 이전 평가에 대한 지속적인 메모리가 결여되어 있습니다. 제안되는 프로그램들은 누적된 적응 없이 정적인 프롬프트로부터 생성되므로, 반복적이고 생산성 없는 제안을 반복하게 됩니다.
경직된 전이 구조(Rigid Transfer Structure): 여러 모집단을 사용할 때, 이주(Migration)는 일반적으로 주기적이거나 무작위로 이루어집니다. 로컬 탐색이 언제 정체되었는지 감지하거나, 정체된 타겟 모집단에 가장 보완적인 소스 계열이 무엇인지 식별하는 원칙적인 메커니즘이 없어, 복잡한 계열 간 결합(Cross-family composition)의 발견을 방해합니다.

방법론: TOPOFE

TOPOFE(Topology-Aware LLM-Guided Automated Feature Engineering)는 AutoFE를 그래프 구조의 멀티 아일랜드 진화 탐색(Multi-island evolutionary search)으로 재정의합니다. 이 모델은 피처 프로그램 공간을 의미론적으로 일관된 "변환 계열(Transformation families)"로 분해하고, 세 가지 핵심 구성 요소를 통해 이들의 탐색을 조율합니다:

1. 멀티 아일랜드 분해 (유도 편향 분해)

프로그램 공간 $\mathcal{P}$ 는 각각 특정 변환 계열(예: 산술 상호작용, 통계적 집계, 시계열 피처, 관계형 인코딩, 비선형 단변량 맵)이 할당된 $M$ 개의 전용 아일랜드로 분할됩니다.

아일랜드 상태: 각 아일랜드 $i$ 는 모집단 $\Pi_i$ , 엘리트 아카이브 $A_i$ , 수락/거절 이력 $H_i$ , 그리고 프롬프트 메모리 벡터 $\rho_i$ 를 유지합니다.
특화된 탐색: 각 아일랜드 내에서 LLM은 해당 계열의 유도 편향(Inductive bias)과 아일랜드에 축적된 이력을 조건으로 하여 돌연변이 및 교차 연산을 수행하며, 이를 통해 단일 변환 유형으로의 조기 수렴을 방지합니다.

2. 프롬프트 적응 메모리 (Prompt Adaptation Memory, PAM)

상태 비저장 생성을 해결하기 위해, TOPOFE는 파라미터 업데이트 없이 LLM 제안을 적응시키는 경량화된 아일랜드별 메모리 메커니즘을 구현합니다.

메커니즘: 매 생성 단계 이후, 시스템은 슬라이딩 윈도우를 통해 수락 및 거절된 프로그램 패턴을 자연어 형태의 "선호/회피" 신호( $\rho_i$ )로 요약합니다.
조건화: 이 신호는 태스크 메타데이터 및 엘리트 데몬스트레이션과 함께 모든 LLM 프롬프트에 주입되어, 탐색 과정 전반에 걸쳐 누적되고 데이터셋 특화된 적응을 가능하게 합니다.

3. 토폴로지 인식 교차 아일랜드 전이 (Topology-Aware Cross-Island Transfer)

여러 계열의 연산자가 필요한 피처(예: 시계열 피처와 산술 비율의 결합)를 발견하기 위해, TOPOFE는 학습된 유향 토폴로지 그래프 $G(t)$ 를 사용합니다.

포화 감지: 전이는 주기적인 것이 아니라 포화 기준에 의해 트리거됩니다. 아일랜드의 한 슬라이딩 윈도우 대비 한계 개선량이 임계값 $\epsilon$ 미만으로 떨어지면 로컬 탐색이 고갈된 것으로 간주합니다.
적응형 라우팅: 포화 발생 시, 시스템은 토폴로지 그래프를 쿼리하여 경험적으로 관찰된 전이 효용 $w_{j \to i}$ 를 최대화하는 선행 아일랜드 $j^*$ 를 선택합니다.
하이브리드 합성: 프로그램을 단순히 복사하는 대신, LLM은 **하이브리드 합성(Hybrid synthesis)**을 수행합니다. LLM은 포화된 타겟 아일랜드와 선택된 선행 아일랜드의 프로그램을 컨텍스트로 받아, 두 계열의 구조적 요소를 결합한 새로운 프로그램을 생성합니다.
그래프 학습: 토폴로지 그래프의 엣지 가중치는 전이 이벤트의 적합도 이득(Fitness gain)을 기반으로 지수 이동 평균을 통해 온라인으로 업데이트되며, 이를 통해 계열 간 상보성에 대한 데이터 기반 모델을 학습합니다.

주요 기여

토폴로지 인식 정식화: 본 논문은 AutoFE를 멀티 아일랜드 탐색을 위한 그래프 구조로 정식화하며, 여기서 이주 토폴로지는 고정된 것이 아니라 경험적 전이 효용에 기반한 밴딧 스타일의 규칙을 통해 온라인으로 학습됩니다.
포화 트리거형 적응적 전이: 로컬 탐색이 고갈되었을 때만 교차 아일랜드 전이를 트리거하며, 파라미터 업데이트 없이 누적 적응을 가능하게 하는 프롬프트 적응 메모리를 결합했습니다.
원칙적인 평가 프레임워크: 저자들은 세 가지 목적 특화 지표를 도입했습니다:
- 평균 쌍별 출력 상관관계 (Mean Pairwise Output Correlation, MPOC): 피처 중복도를 측정합니다.
- 유효 랭크 (Effective Rank, EffRank): 서브스페이스 커버리지를 측정합니다.
- 토폴로지 그래프 전문화 점수 (Topology Graph Specialisation Score, TGSS): 토폴로지 그래프가 태스크 특화 전이 지식을 습득하는 정도를 정량화합니다.
실증적 검증: 29개의 공개 정형 데이터셋(분류 19개, 회귀 10개)에 대한 광범위한 실험을 통해 기존의 고전적 및 LLM 기반 AutoFE 방법론 대비 일관된 성능 향상을 입증했습니다.

결과

예측 성능: TOPOFE는 19개 분류 데이터셋 중 15개, 10개 회귀 데이터셋 중 9개에서 최고의 성능을 달고했습니다. 성능 향상은 특히 복잡한 계열 간 상호작용이 필요한 데이터셋(예: balance-scale, heart, bike)에서 두드러졌으며, 이는 단일 모집단 방법론이 필수적인 조합적 피처를 발견하지 못했음을 보여줍니다.
강건성: 본 프레임워크는 다양한 LLM 백본(Qwen2.5-Coder, Q-3-8B, GPT-4o-mini)과 다양한 다운스트림 예측기(XGBoost, CatBoost, MLP, TabPFN)에 대해 안정적인 성능을 유지했으며, 이는 성능 향상이 특정 모델의 능력이 아닌 아키텍처 메커니즘에 의해 유도되었음을 확인시켜 줍니다.
피처 다양성: TOPOFE는 베이스라인과 비교하여 현저히 낮은 중복도(낮은 MPOC)와 높은 서브스페이스 커버리지(높은 EffRank)를 가진 피처 세트를 생성했습니다. 이는 명시적인 중복 필터와 하이브리드 합성을 통한 구조적으로 직교하는 템플릿의 도입 덕분입니다.
토폴로지 전문화: TGSS 지표는 토폴로지 그래프가 태스크 특화 전이 경로를 성공적으로 학습했음을 확인했습니다. 높은 TGSS 값을 보이는 데이터셋은 단일 계열 베이스라인 대비 더 큰 성능 향상과 상관관계가 있었습니다.

의의 및 주장

본 논문은 계열 간 상보성(Inter-family complementarity)이 기존 AutoFE 방법론이 활용하지 못한, 학습 가능하고 이용 가능한 양이라고 주장합니다. 구조적 분해와 정적 프롬프팅을 넘어섬으로써, TOPOFE는 다음을 입증합니다:

프로그램 공간의 구조적 분해는 다양성을 보존하고 조기 수렴을 방지합니다.
포화 트리거형 적응적 전이는 단일 계열 문법으로는 도달할 수 없는 복잡하고 조합적인 피처를 발견할 수 있게 합니다.
학습된 토폴로지 그래프는 지식 흐름을 정확히 필요할 때, 필요한 곳으로 라우팅하는 원칙적인 메커로 역할을 합니다.

저자들은 이 접근 방식이 자동화된 계열 스키마 유도 및 태스크 유형별 전이 스케줄링을 위한 유망한 방향을 제시하며, 특화된 착취(Exploitation)와 구조화된 탐색(Exploration) 사이의 균형을 맞추는 LLM 가이드 피처 엔지니어링의 새로운 패러다임을 구축한다고 결론짓습니다.