RocketStack: Level-aware Deep Recursive Ensemble Learning Architecture

이 논문은 특징 중복과 계산 비용 문제를 해결하기 위해 10 단계까지 확장 가능한 'RocketStack'이라는 레벨 인식 재귀적 앙상블 아키텍처를 제안하며, OOF 점수 기반의 정규화된 가지치기와 주기적 압축을 통해 정확도를 유지하면서 계산 효율성과 안정성을 동시에 달성함을 보여줍니다.

핵심

이 논문은 **'로켓스택 (RocketStack)'**이라는 새로운 인공지능 학습 방식을 소개합니다. 쉽게 말해, **"여러 명의 전문가를 한 줄로 세우고, 그들을 계속 업그레이드하며 더 똑똑하게 만드는 시스템"**이라고 할 수 있습니다.

기존의 인공지능은 보통 한두 단계만 거치거나, 너무 깊게 쌓으면 정보가 꼬여서 오히려 망가집니다. 하지만 로켓스택은 10 단계까지 깊게 쌓아도 성능이 떨어지지 않고 오히려 좋아지게 만드는 방법을 찾아냈습니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 로켓스택의 핵심 아이디어: "점점 더 똑똑해지는 팀"

상상해 보세요. 어떤 문제를 해결하기 위해 **20 명의 다양한 전문가 (예: 의사, 엔지니어, 변호사 등)**를 모았습니다.

• 기존 방식 (얕은 스택): 이 전문가들이 각자 의견을 내고, 그중에서 가장 좋은 의견을 하나만 뽑아 결론을 냅니다. (1~2 단계만 거침)
• 로켓스택 방식 (깊은 스택): 이 전문가들의 의견을 모두 모아 새로운 '수석 전문가'가 분석합니다. 그 수석 전문가의 의견도 다시 다음 단계의 '초수석 전문가'가 분석하고, 이를 10 단계까지 반복합니다.

문제점: 보통 이렇게 계속 반복하면 정보가 너무 많아져서 (특징의 중복) 혼란스러워지고, 계산하는 데 시간이 너무 오래 걸립니다. 마치 회의실에 사람이 너무 많아져서 소란스럽고 아무도 말을 못 듣는 상황과 같습니다.

로켓스택의 해결책:

1. 약한 전문가 퇴출 (Pruning): 매 단계마다 실력이 부족한 전문가들은 과감히 잘라냅니다.
2. 정보 정리 (Compression): 정보가 너무 많아지면, 핵심만 추려서 정리합니다.
3. 우연의 기회 부여 (Noise): 너무 확신에 차서 실수할까 봐, 점수에 아주 작은 '우연 (노이즈)'을 섞어서 약한 전문가에게도 기회를 줍니다.

---

2. 로켓스택이 사용하는 3 가지 마법 도구

① "약한 선수 잘라내기" (모델 가지치기)

매 단계마다 전문가들의 실력 (점수) 을 봅니다.

• 기존 방식: 점수가 높은 사람만 딱 잘라냅니다.
• 로켓스택의 비법: 점수에 아주 작은 **'우연의 바람 (가우시안 노이즈)'**을 불어넣습니다.
  • 비유: 시험 점수가 90 점인 A 와 89 점인 B 가 있을 때, 바람이 불어 A 가 89.5 점, B 가 89.8 점이 될 수 있습니다. 이렇게 하면 B 같은 약한 선수도 다음 단계에 살아남을 기회를 얻습니다.
  • 효과: 너무 일찍 '최고의 선수'만 고집하면 나중에 실수할 수 있는데, 다양한 선수들이 섞여 있으면 더 튼튼한 팀이 됩니다.

② "정보의 주기적 정리" (주기적 압축)

정보가 쌓이다 보면 너무 많아집니다.

• 매번 정리하는 경우: 정보가 쌓이기 전에 자꾸 잘라내면, 중요한 연결고리가 끊길 수 있습니다.
• 로켓스택의 비법: 정보를 3 단계, 6 단계, 9 단계처럼 '주기적으로'만 정리합니다.
  • 비유: 책상 위를 매일 치우는 게 아니라, 책상이 꽉 차기 직전 (3 단계) 에 한 번씩 깔끔하게 정리하는 것입니다. 이렇게 하면 정보가 충분히 쌓여 의미 있는 패턴을 찾은 뒤 정리하므로, 정리해도 중요한 정보는 잃지 않습니다.

③ "핵심만 골라내는 필터" (특징 선택)

• SFE: 가장 중요한 정보만 골라냅니다.
• Attention (주의): 인공지능이 스스로 "이 정보가 중요해!"라고 생각한 것만 남깁니다.
• Autoencoder: 정보를 압축해서 핵심만 남깁니다.
  • 결과: 이 방법들을 쓰면 컴퓨터가 계산하는 시간이 훨씬 줄어들면서도, 정확도는 그대로 유지되거나 오히려 좋아집니다.

---

3. 실험 결과: 정말 효과가 있을까요?

저자는 33 개의 다양한 데이터 (의료, 금융, 공학 등) 로 실험했습니다.

• 깊이가 깊어질수록: 보통은 깊이가 깊어지면 성능이 나빠지는데, 로켓스택은 10 단계까지 깊어질수록 정확도가 계속 올라갔습니다.
• 기존 AI 와 비교: 최신 딥러닝 모델 (TabNet, Deep Forest) 보다도 더 좋은 성능을 냈습니다.
• 초기 설정의 중요성: 보통 AI 는 처음에 설정을 아주 정밀하게 다듬어야 (HPO) 잘 작동합니다. 하지만 로켓스택은 초기 설정을 딱히 다듬지 않아도, 단계가 깊어질수록 스스로 학습하며 그 격차를 좁히고 결국 더 좋은 결과를 냈습니다.
  • 비유: 처음에 실력 있는 코치 (초기 설정) 를 붙이는 게 좋지만, 로켓스택은 스스로 성장하는 시스템이라 코치가 없어도 시간이 지나면 더 잘하게 됩니다.

---

4. 결론: 왜 이 연구가 중요한가요?

로켓스택은 **"인공지능을 더 깊게, 더 똑똑하게 만들 수 있다"**는 것을 증명했습니다.

기존에는 "깊게 쌓으면 망한다"고 생각했지만, 약한 팀원을 잘라내고, 정보를 주기적으로 정리하며, 약간의 우연을 섞는 이 세 가지 전략을 통해 컴퓨터의 계산 비용은 줄이면서 성능은 극대화하는 방법을 찾았습니다.

이제 인공지능은 단순한 한 단계의 판단을 넘어, **여러 단계를 거치며 스스로 진화하는 '심층 의사결정 시스템'**으로 발전할 수 있는 발판을 마련한 것입니다. 마치 로켓이 연료를 효율적으로 쓰면서 우주 깊숙이 날아오르는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 앙상블 학습 (Ensemble Learning), 특히 'Stacking(적층)'은 다양한 베이스 러너의 예측을 메타 모델로 통합하여 성능을 극대화하는 핵심 기법입니다. 그러나 기존 Stacking 은 일반적으로 1~2 개의 메타 레이어로 제한된 얕은 (Shallow) 구조를 가집니다.
• 문제점:
  • 깊은 적층 (Deep Stacking) 의 한계: 레이어가 깊어질수록 예측값이 누적되면서 특징 공간 (Feature Space) 이 비약적으로 팽창하고, 이로 인해 과적합 (Overfitting) 위험이 증가하며, 계산 비용이 급증합니다.
  • 기존 접근법의 부족: 기존 연구들은 특징 선택이나 가지치기 (Pruning) 를 시도했으나, 대부분 얕은 깊이에서만 적용되거나 레이어 간 정보 흐름을 체계적으로 조정하지 못해 진정한 '깊은 재귀적 적층'을 실현하지 못했습니다.
• 목표: 특징의 중복성, 계산 복잡도, 과적합 문제를 해결하면서도 10 단계 이상의 깊은 재귀적 적층을 가능하게 하는 확장 가능한 아키텍처 개발.

2. 제안된 방법론: RocketStack (Methodology)

RocketStack 은 수준 인지형 (Level-aware) 재귀적 적층 아키텍처로, 10 단계까지의 깊이를 탐색하며 다음과 같은 핵심 메커니즘을 도입했습니다.

가. 재귀적 적층 및 특징 융합 (Recursive Stacking & Fusion)

• Level 1: 베이스 러너의 OOF(Out-of-Fold) 예측 확률과 **원본 특징 (Original Features)**을 융합합니다.
• 후속 레벨: 이전 레벨의 압축된 특징 행렬과 새로운 OOF 점수를 융합합니다.
• Stack-of-Stacking: 최종 단계 (Level 10) 에서 모든 재귀 레벨에서 생성된 메타 특징들을 통합하여 글로벌 특징 표현을 형성하고 최종 예측을 수행합니다.

나. 동적 모델 가지치기 (Dynamic Model Pruning)

• OOF 기반 선별: 각 레벨에서 모델의 OOF 점수를 기반으로 하위 성능의 모델을 제거합니다.
• 확률적 가지치기 (Stochastic Pruning): 조기 수렴 (Premature Convergence) 을 방지하고 앙상블 다양성을 유지하기 위해 OOF 점수에 가우시안 노이즈를 추가합니다.
  • λ = 0: 결정론적 가지치기 (기본값).
  • λ = 0.05, 0.1: 경미한 노이즈 주입 (다양성 증대 및 안정성 향상).
• 적응형 임계값: 평균과 분산을 고려한 동적 백분위수 임계값을 사용하여 모델 유지 여부를 결정합니다.

다. 주기적 특징 압축 (Periodic Feature Compression)

특징의 무한한 팽창을 막기 위해 특징 선택/압축을 모든 레벨에서 적용하거나 **주기적 (Levels 3, 6, 9)**으로 적용하는 전략을 비교했습니다.

• 압축 기법:
  1. SFE (Simple, Fast, Efficient): 유용성과 중복성을 기반으로 한 그레디언트 특징 선택.
  2. Autoencoder: 비선형 잠재 표현 학습을 통한 차원 축소 (2 층 및 3 층 구조).
  3. Attention Mechanism: 학습된 가중치 기반의 특징 중요도 스코어 (상위 25% 유지) 를 활용한 선택.
• 전략 비교: 모든 레벨에서 압축하는 것보다 **주기적 (Periodic)**으로 압축하는 것이 특징의 풍부한 축적을 허용하면서도 과적합과 계산 비용을 효과적으로 통제하는 것으로 나타났습니다.

3. 주요 기여 (Key Contributions)

1. 심층 재귀적 아키텍처 제안: 10 단계까지 확장 가능한 모듈형 재귀적 적층 시스템 (RocketStack) 을 설계하고 검증했습니다.
2. 확률적 가지치기 기법: OOF 점수에 가우시안 노이즈를 주입하여 조기 수렴을 방지하고 깊은 레벨에서의 성능 안정성을 높였습니다.
3. 주기적 압축 전략의 유효성 입증: 모든 레벨에서의 압축보다 **주기적 (3, 6, 9 레벨)**으로 특징 압축 (SFE, Autoencoder, Attention) 을 적용하는 것이 정확도와 실행 시간의 최적 균형을 제공함을 보였습니다.
4. 광범위한 실험 검증: 33 개의 데이터셋 (23 개 이진 분류, 10 개 다중 클래스 분류) 을 통해 일관된 성능 향상과 계산 효율성을 입증했습니다.
5. 하이퍼파라미터 최적화 (HPO) 에 대한 통찰: 베이스 모델의 HPO 가 초기 성능을 높이지만, 깊은 적층 단계에서는 HPO 를 적용하지 않은 (Untuned) 구성이 오히려 HPO 적용 구성을 추월하거나 경쟁력을 유지함을 발견했습니다. 이는 깊은 앙상블에서 베이스 모델의 '다양성'이 과도한 최적화보다 더 중요할 수 있음을 시사합니다.

4. 실험 결과 (Results)

• 성능 향상: 33 개 데이터셋 전반에서 적층 깊이가 깊어질수록 정확도가 선형적으로 증가하는 경향이 확인되었습니다.
  • 이진 분류: 최적 구성 (주기적 SFE + 경미한 노이즈 가지치기) 은 Level 10 에서 약 97.08% 의 정확도를 기록했습니다.
  • 다중 클래스 분류: 주기적 Attention + 노이즈 가지치기 구성이 Level 10 에서 **98.60%**의 최고 정확도를 달성했습니다.
• 벤치마크 비교:
  • RocketStack (Level 10) 은 Deep Forest 및 TabNet과 같은 최신 심층 테이블러 데이터 모델 (SOTA) 보다 HPO 를 적용하지 않은 상태에서도 더 높은 정확도를 기록했습니다.
  • 베이스 모델에 HPO 를 적용하더라도 깊은 레벨에서는 오히려 성능이 정체되거나 하락하는 경향이 있었습니다.
• 계산 효율성:
  • 주기적 특징 압축과 가지치기를 통해 특징 수와 모델 수가 깊이 증가함에 따라 통제되었습니다.
  • 실행 시간은 깊이 증가에 따라 선형보다 낮은 서브-선형 (Sub-linear) 성장세를 보였습니다.
• 통계적 유의성: 선형 혼합 효과 모델 (LMM) 분석을 통해 주기적 특징 선택과 확률적 가지치기가 통계적으로 유의미한 성능 향상을 가져옴을 입증했습니다.

5. 의의 및 결론 (Significance)

• 깊은 앙상블의 실현 가능성 입증: 기존에는 불가능하다고 여겨지던 깊은 재귀적 적층 (Deep Stacking) 이 특징 관리와 가지치기 메커니즘을 통해 계산적으로 실행 가능하고 성능적으로 우월함을 증명했습니다.
• 확장성과 모듈성: 모델 풀과 특징 공간이 진화함에 따라 확장 가능한 의사결정 융합의 기반을 제공합니다.
• 실용적 통찰:
  • 주기적 압축이 특징의 과도한 누적을 방지하면서도 정보 손실을 최소화하는 최적의 전략입니다.
  • **베이스 모델의 최적화 (HPO)**는 초기에는 유리하지만, 깊은 앙상블 구조에서는 오히려 예측의 불확실성 (Fuzziness) 과 다양성이 더 중요한 역할을 할 수 있음을 시사합니다.
  • 확률적 가지치기는 드롭아웃 (Dropout) 과 유사한 정규화 효과로 깊은 앙상블의 일반화 성능을 향상시킵니다.

이 연구는 RocketStack 을 통해 테이블러 데이터 처리에서 심층 앙상블 학습의 새로운 패러다임을 제시하며, 향후 더 복잡한 대규모 벤치마크와 심층 구조 (Hyper-deep ensembles) 로의 확장을 위한 토대를 마련했습니다.