🤖 machine learning

DynaTab: Dynamic Feature Ordering as Neural Rewiring for High-Dimensional Tabular Data

이 논문은 고차원 정형 데이터 특징을 고유한 복잡성에 따라 동적으로 재정렬하고 이를 순서 인지 융합 모듈을 통해 처리하는 신경망 재배선(neural rewiring)에서 영감을 받은 딥러닝 아키텍처인 DynaTab을 소개하며, 이를 통해 36개의 다양한 실제 데이터셋에 걸친 45개의 최첨단 베이스라인 모델 대비 통계적으로 유의미한 성능 향상을 달성하였다.

원저자: Al Zadid Sultan Bin Habib, Gianfranco Doretto, Donald A. Adjeroh

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Al Zadid Sultan Bin Habib, Gianfranco Doretto, Donald A. Adjeroh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 레고 브릭이 가득 담긴 지저도한 상자를 상상해 보세요. 어떤 것은 빨간색이고, 어떤 것은 파란색이며, 어떤 것은 아주 작고 어떤 것은 아주 큽니다. 컴퓨터 과학의 세계에서 이 상자를 "표 형식 데이터(tabular data)"라고 부릅니다. 보통 우리가 이 상자를 똑똑한 컴퓨터 두뇌(딥러닝 모델)에 입력할 때는, 그저 상자에서 나오는 순서대로 브릭을 쏟아붓곤 합니다.

여기에 문제가 있습니다. 컴퓨터 두뇌가 혼란에 빠지는 것입니다. 빨간색 브릭을 먼저 봐야 할지, 큰 것을 먼저 봐야 할지, 아니면 작은 것을 먼저 봐야 할지 알지 못합니다. 이는 마치 책의 페이지마다 단어들이 무작위로 뒤섞여 있는 책을 읽으려는 것과 같습니다. 때로는 이야기가 말이 되기도 하지만, 때로는 횡설수설하게 됩니다.

여기 웨스트버지니아 대학교와 유타 대학교 연구진이 발명한 새로운 발명품, DynaTab이 등장했습니다. DynaTab을 새로운 두뇌가 아니라, 당신이 책을 펼치기도 전에 책들을 재배치하는 매우 체계적인 사서라고 생각하십시오.

"신경 재배선(Neural Rewiring)"의 마법

DinaTab의 핵심 비결은 우리 자신의 뇌가 작동하는 방식에서 영감을 얻었습니다. 당신이 기타 연주와 같은 새로운 기술을 배울 때, 당신의 뇌는 그냥 가만히 있는 것이 아니라 실제로 스스로를 **재배선(rewire)**합니다. 노래를 연주하는 데 도움이 되는 뉴런 사이의 연결은 강화하고, 도움이 되지 않는 연결은 가지치기하여 제거합니다.

DynaTab도 데이터로 똑같은 일을 수행합니다. 특징(레고 브릭)을 고정된 무작위 순서로 유지하는 대신, "신경 재배선" 알고리즘을 사용하여 이를 동적으로 섞습니다. 이 알고리즘은 다음과 같이 묻습니다: "최고의 이야기를 들려주기 위해 어떤 특징들이 이웃이 되어야 하는가?"

선별하는 모자(The Sorting Hat): 먼저, DynaTab은 데이터가 정렬할 가치가 있는지 확인합니다. 이는 **고유 차원 계수(Intrinsic Dimensionality Factor, IDF)**라는 특별한 수학적 기법을 사용합니다. 만약 데이터가 이미 단순하고 정리되어 있다면(마치 깔끔하게 쌓인 팬케이크처럼), DynaTab은 정렬이 큰 도움이 되지 않을 것임을 압니다. 하지만 데이터가 수천 개의 특징이 뒤섞인 혼란스러운 상태라면(예: 10,000개의 레고 브릭 더미처럼), IDF는 DynaTab에게 *"이봐, 이건 엉망이야! 다시 순서를 정하자!"*라고 알려줍니다.
재배선(The Rewiring): 정렬하기로 결정하면, 유사한 특징들을 함께 묶고(모든 빨간색 브릭을 한 더미에 모으는 것처럼), 그 특징들이 얼마나 중요한지에 따라 재배치합니다. 이는 마치 지휘자가 노래를 가장 좋게 만들기 위해 드럼보다 바이올린을 먼저 연주하라고 오케스트라에 지시하는 것과 같습니다.
읽기(The Reading): 마지막으로, 재정렬된 데이터는 표준 컴퓨터 두뇌(Transformer 또는 Mamba 모델 등)에 입력됩니다. 하지만 이제 단어들이 올바른 순서에 있기 때문에 두뇌는 실제로 이야기를 이해할 수 있습니다.

DynaTab이 "아니오"라고 말하는 것들

연구진은 무엇이 작동하지 않는지에 대해 매우 명확히 밝혔습니다. 그들은 특징의 순서를 완전히 무시해도 된다는 생각에 반대합니다. 일부 오래된 모델들은 "순서 불가지론적(order-agnostic)"이 되려고 노력했는데, 이는 브릭이 섞여 있든 상관없다고 주장하는 것을 의미합니다. 논문은 복잡한 데이터의 경우 이것이 실수임을 보여줍니다. 순서는 중요하며, 이를 무시하는 것은 성능을 놓치는 결과를 초래합니다.

또한 그들은 매우 단순하고 작은 데이터셋(브릭이 5개뿐인 작은 상자처럼)의 경우, 이 화려한 정렬 작업이 필요하지 않다는 것을 발견했습니다. 그런 경우에는 Lasso나 단순한 의사결정 나무(Decision Trees) 같은 전통적인 방식이 비슷하거나 오히려 더 나은 성능을 보이기도 합니다. DynaTab은 모든 문제에 대한 마법 지팡이가 아닙니다. 이는 예시의 수에 비해 특징의 수가 엄청나게 많은 "고차원적" 악몽을 위해 특별히 설계되었습니다.

증명: 실제로 효과가 있었는가?

연구팀은 단순히 추측만 한 것이 아니라, 36개의 서로 다른 실제 데이터셋을 통해 DynaTab을 테스트했습니다. 이 데이터셋은 의료 기록(유전자 발현 데이터)부터 이미지 분석(고양이와 개를 구별하는 것 등)까지 다양했습니다.

결과: 지저분하고 고차원적인 세계(데이터 포인트보다 특징이 훨씬 많은 곳)에서 DynaTab은 슈퍼스타였습니다. 이는 45개의 다른 최첨단 모델을 이겼습니다.
- GLI-85(뇌종양 데이터)라는 데이터셋에서 DynaTab은 **85.96%**의 정확도를 기록하며 차순위 모델을 제쳤습니다.
- 개 vs 고양이 이미지에서는 **99.20%**의 정확도에 도달했습니다.
- 모든 고차원 테스트 전반에 걸쳐, 평균 순위 2.63위(1위가 가장 높음)를 기록하며 지속적으로 1위 또는 2위를 차지했습니다.
한계: 논문은 모델이 실수하는 부분에 대해서도 솔직합니다. 저차원 데이터셋(특징이 적은 "작은 상자")에서는 DynaTab이 승리하지 못했습니다. 예를 들어, Adult 인구 조사 데이터셋에서 DynaTab은 상위 모델 중 11위를 기록했습니다. 연구진은 데이터가 이미 단순할 경우, 추가적인 정렬 작업이 가치를 더하지 못하며, 더 단순한 모델이 더 빠르고 정확도도 높기 때문이라고 설명합니다.

얼마나 확신하는가?

저자들은 자신감을 가지고 있지만, 적절한 용어를 사용합니다. 그들은 자신들의 결과가 고차원 데이터에서 "통계적으로 유의미한 이득"을 보여준다고 말합니다. 그들은 DynaTab의 성공이 단지 운이 아니었음을 증证明하기 위해 엄격한 통계 테스트(Friedman test 및 Wilcoxon-Holm test)를 실시했습니다.

하지만 그들은 이것이 "해결된 문제"라고 주장하지는 않습니다. 매우 큰 데이터셋(샘양 100,000개 이상)의 경우, 모델이 메모리를 많이 사용하며 효율적인 실행을 위해 다른 도구(Mamba 백본 등)의 도움이 필요할 수 있음을 인정합니다. 또한 가장 단순한 데이터셋의 경우, "재배선" 단계가 과하다는 점도 언급했습니다.

핵심 요약

DynaTab은 선반 위의 책 순서가 당신이 찾는 이야기를 얼마나 잘 찾을 수 있는지 결정한다는 점을 깨달은 똑똑한 사서와 같습니다. 데이터의 복잡성에 따라 데이터를 동적으로 재배치함으로써(우리의 뇌가 학습을 위해 스스로를 재배선하는 방식을 모방하여), 컴퓨터 두뇌가 지저분하고 고차원적인 데이터를 이전보다 훨씬 더 잘 이해하도록 돕습니다.

이것은 모든 데이터 문제에 대한 만병통치약은 아니지만, 조각들이 아무런 패턴이 없어 보이는 정말 지저분하고 복잡한 퍼즐에 대해서는, DynaTab은 새로운 방식의 놀이를 제안합니다: 조각들을 먼저 재정렬한 다음, 퍼즐을 푸는 것입니다.

"DynaTab: 고차원 정형 데이터를 위한 신경 재배선으로서의 동적 피처 순서화" 기술 요약

1. 문제 정의

고차원 정형 데이터는 이미지나 텍스트에서 발견되는 내재적인 공간적 또는 순차적 구조가 부족하여, 딥러닝 모델에 상당한 도전 과제를 제기한다. CNN이나 Transformer와 같은 전통적인 아키텍처는 특히 고차원 저표본(High-Dimensional Low-Sample Size, HDLSS) 환경의 정형 데이터 작업에서 성능이 저하되는 경우가 많다. 트리 앙상블 모델이 여전히 강력한 베이스라인으로 남아 있는 반면, 딥러닝 접근 방식은 "컬럼 순열 문제(Column Permutation Problem, CPP)", 즉 입력 피처의 임의적인 순서에 따른 모델 성능의 민감도 문제로 어려움을 겪는다. 고정된 피처 순서(TabSeq)나 순열 불변 표현(TabICL)과 같이 구조를 강제하려는 기존의 시도들은 다양한 데이터셋에 걸쳐 일반화되지 못하거나 내재된 데이터 복잡도에 적응하지 못한다. 더욱이 HDLSS 맥락에서는 단순한 모델이 복잡한 딥 아키텍처보다 성능이 우수한 경우가 많으며, 이는 피처 선택과 순서화가 중요하지만 $n \ll m$ 인 상황에서는 정적인 선택만으로는 불충분함을 시사한다.

2. 방법론: DynaTab

저자들은 **신경 재배선(neural rewiring)**과 신경 가소성에서 영감을 얻은 딥러닝 아키텍처인 DynaTab을 제안한다. 핵심 전제는 피처 순서가 자극의 관련성에 따라 시냅스 연결을 강화하거나 약화시키는 뇌의 방식처럼, 데이터셋의 내재적 복잡도에 적응하는 학습 가능한 동적 프로세스가 되어야 한다는 것이다.

주요 구성 요소:

고유 차원 계수(Intrinsic Dimensionality Factor, IDF) 및 피처 순서화 효과(Feature Ordering Effectiveness, FOE): 학습 전, 모델은 IDF(전체 피처 수 대비 고유 차원의 비율)를 사용하여 데이터셋의 복잡도를 정량화한다. 경량 기준인 FOE는 동적 피처 순서화가 유의미한 이득을 가져올지 예측한다. 높은 FOE(낮은 IDF)는 중복성이 높음을 나타내며, 재순서화로부터 얻을 수 있는 잠재적 이득이 큼을 의미한다.
신경 재배선을 통한 동적 피처 순서화(Dynamic Feature Ordering, DFO):
- 클러스터링(Clustering): 데이터셋을 클러스터링(예: K-Means)하여 로컬 피처 그래프를 형성한다.
- 로컬 재배선(Local Rewiring): 각 클러스터 내에서 신경 재배선 알고리즘이 피처 순서를 최적화한다. 이 과정은 피처 간의 엣지 가중치를 중심성 점수(연결 정도, 매개 중심성 등)에 따라 업데이트하는 시냅스 가소성(Hebbian learning)을 모방한다. 높은 중심성을 가진 피처가 우선시되며, 클러스터 내 분산을 최소화하기 위해 약한 연결은 제거된다.
- 글로벌 순서화(Global Ordering): 로컬 순서들은 가중치 기반의 글로벌 분산을 최소화하는 글로벌 순서( $O_g$ )로 집계되어, 전체 피처 공간에 걸쳐 응집력 있는 구조를 보장한다.
순서 인지 융합(Order-Aware Fusion, DOF): 재순서화된 피처들은 순차적 백본(sequential backbone)에 들어가기 전 특화된 모듈을 거친다. 이 모듈은 다음을 포함한다:
- 순서 인지 위치 임베딩(Order-aware Positional Embedding, OPE): 고정된 사인 함수 인코딩 대신, 재순서화된 시퀀스에 기반하여 동적 위치 임베딩을 학습한다.
- 위치 중요도 게이팅 레이어(Positional-Importance Gating Layer, PIGL): 순서에서 유도된 중요도 점수에 따라 피처의 기여도를 조절한다.
- 동적 마스크 어텐션(Dynamic Masked Attention, DMA): 글로벌 피처 순서와 일치하는 방향성 어텐션 흐름을 강제하여, 어텐션 기반 백본에서 역방향 어텐션이 발생하는 것을 방지한다.
백본 및 손실 함수(Backbone & Loss): 이 아키텍처는 다양한 순차적 백본(Transformer, Mamba, LSTM, DAE)과 호환된다. 표준 예측 손실(BCE/CCE/MSE)과 DFO 손실(로컬 피처의 매끄러움과 글로벌 순서의 일관성에 패널티 부여) 및 **분산 손실(dispersion loss)**을 결합한 복합 손실 함수를 사용하여 엔드투엔드(end-to-end)로 학습된다.

3. 주요 기여

예측 기준 제시: IDF와 FOE를 사용하여 피처 순서화가 언제 유익한지를 결정하는 이론적 프레임워크를 도입하여, 데이터셋의 복잡도와 순서 민감도를 정량화하였다.
신경 재배선 메커니즘: 구조적 가소성과 시냅스 가중치 업데이트를 시뮬레이션하여 컬럼을 적응적으로 재순서화하고, 데이터셋별로 피처 간 연결성을 최적화하는 새로운 동적 피처 순서화(DFO) 접근 방식을 제안하였다.
DynaTab 아키텍처: 순서 인지 융합(OPE, PIGL, DMA)을 플러그 앤 플레이 방식의 순차적 백본과 통합하고, DFO 및 분산 손실 하에서 공동 학습되는 엔드투엔드 모델을 구축하였다.
포괄적 벤치마킹: 표본 크기( $n$ )와 피처 차원( $m$ )을 기준으로 정형 데이터셋을 다섯 가지 범주(HDLSS, HDHSS, LDHSS, LDLSS, Mixed)로 분류하는 새로운 분류 체계를 제시하였다. 모델은 36개의 실제 데이터셋에 대해 45개의 최첨단 베이스라인과 벤치마킹을 수행하였다.

4. 실험 결과

저자들은 다섯 가지 구조적 범주에 걸친 36개의 데이터셋에서 DynaTab을 평가하였다:

HDLSS (고차원, 저표본): DynaTab은 45개 모델 중 가장 높은 평균 순위(2.63)를 기록하며, 고전적 방법(Lasso, KNN)과 딥 베이스라인(TabNet, Transformers)을 크게 앞질렀다. 이는 전통적인 딥 모델이 실패하는 극단적인 표본 부족 조건에서도 강건함을 입증했다.
HDHSS (고차원, 고표본): DynaTab은 이미지 유래 정형 데이터셋 6개에서 최고 평균 순위(2.50)를 확보하며, 딥러닝과 그래디언트 부스팅 방법을 모두 능가했다.
혼합 범주 (Mixed Regime): DynaTab은 8개 작업 중 5개에서 1위를 차지하며, 이질적인 도메인(임상, 지리 공간, 단백질체학) 전반에 걸쳐 우수한 일반화 성능을 보였다.
저차원 범주 (LDHSS/LDLSS): 저차원 설정에서는 트리 기반 앙상블(CatBoost, XGBoost)이 일반적으로 DynaTab보다 우수한 성능을 보였다. 저자들은 DynaTab의 이점이 고차원 설정에서 가장 두드러지며, 저차원 데이터에는 더 단순한 모델로도 충분하다는 점을 언급했다.
통계적 유의성: Friedman 검정과 Wilcoxon-Holm 사후 분석을 통해, 고차원 범주에서 DynaTab이 베이스라인 대비 통계적으로 유의미한 개선을 이루었음을 확인하였다.

5. 의의 및 주장

본 논문은 DynaTab을 고차원 정형 딥러닝을 위한 매력적인 새로운 패러다임으로 제시한다. 주요 의의는 피처 순서를 정적인 전처리 단계가 아닌, 생물학적 신경 재배선에서 영감을 받은 동적이고 학습 가능한 구성 요소로 취급함으로써 "컬럼 순열 문제"를 해결한다는 점에 있다.

저자들은 다음과 같이 주장한다:

동적 피처 순서화는 고차원 데이터의 중복성을 효과적으로 줄이고 장거리 의존성을 드러낸다.
제안된 신경 재배선 메커니즘은 딥 모델이 뇌의 적응성을 모방할 수 있게 하여, 이질적인 데이터셋에 대해 더 강건하게 만든다.
DFO를 순차적 민감 백본(Mamba 또는 Transformer 등)과 통합함으로써, 기존 딥 정형 모델들이 어려움을 겪었던 HDLSS 및 HDHСС 범주에서 최첨단 성능을 구현한다.
본 연구는 복잡한 정형 데이터를 위해 순열 불변 설계에서 순서 인지 및 데이터 적응형 아키텍처로의 필수적인 전환을 제공한다.

논문은 저차원 범주에 대해서는 고전적 모델이 여전히 우위에 있음을 인정하며 겸허한 태도를 유지하며, 향후 연구 과제로 더 큰 표본 크기로의 확장 및 멀티 뷰(multi-view) 및 지속 학습(continual learning)으로의 확장을 꼽았다.