KompeteAI: Accelerated Autonomous Multi-Agent System for End-to-End Pipeline Generation for Machine Learning Problems

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 기반의 AutoML 시스템은 자율적으로 엔드투엔드 파이프라인을 생성하는 능력을 보여주지만, 다음과 같은 중대한 한계에 직면해 있습니다.

• 탐색 전략의 한계: 기존 '원샷 (one-shot)' 방식은 다양성이 부족하며, 몬테카를로 트리 탐색 (MCTS) 기반 방법은 강력한 부분 해법들을 재결합 (recombine) 하는 데 실패합니다. 이로 인해 가치 있는 아이디어가 조기 폐기되거나, 서로 다른 분기에서 나온 유망한 아이디어들이 통합되지 못합니다.
• 실행 병목 현상 (Execution Bottleneck): 코드 유효성 검증을 위해 전체 코드를 실행하는 데 수 시간이 소요됩니다. 특히 디버깅 과정에서 late-stage 오류가 발생하면 전체 재학습이 필요하여 피드백 루프가 느려지고, 이는 반복적인 개선과 대규모 탐색을 억제합니다.
• 지식 고갈: 기존 RAG(검색 증강 생성) 방식은 초기 단계에서만 외부 지식을 활용하여, 파이프라인이 진행됨에 따라 새로운 지식이 유입되지 않고 지식의 고갈이 발생합니다.
• 벤치마크의 편향: 현재 유일한 공개 벤치마크인 MLE-Bench 는 테스트 데이터를 원본 학습 데이터에서 분할하여 생성하고, 비공개 리더보드 점수와 비교함으로써 평가 편향 (evaluation bias) 을 유발하며, 실제 Kaggle 리더보드 성능과 괴리가 큽니다.

2. 방법론 (Methodology)

저자들은 KompeteAI라는 새로운 자율적 멀티에이전트 프레임워크를 제안합니다. 이는 구조화된 다단계 파이프라인 생성을 위해 설계되었으며, 다음과 같은 핵심 메커니즘을 포함합니다.

A. 단계 분해형 멀티에이전트 아키텍처

ML 워크플로우를 EDA(탐색적 데이터 분석), FE(특성 공학), MT(모델 학습) 의 세 가지 단계로 분해하고, 각 단계에 특화된 에이전트들이 협력합니다.

• Insighter Agent: 외부 지식 (Kaggle, arXiv) 을 기반으로 아이디어를 생성합니다.
• Checker Agent: 생성된 아이디어의 논리적 일관성과 유효성을 검증합니다.
• Coder Agent: 아이디어를 실행 가능한 코드로 변환합니다.
• Debugger Agent: 런타임 오류를 해결하고 디버깅을 가속화합니다.

B. 동적 탐색 및 지식 통합 (Adding & Merging)

기존 MCTS 와 달리, KompeteAI 는 두 가지 핵심 연산자를 통해 탐색 공간을 확장하고 최적화합니다.

1. Adding (추가): 적응형 RAG(검색 증강 생성) 모듈을 통해 Kaggle 의 우승 솔루션과 arXiv 논문에서 실시간으로 관련 지식을 검색하여 새로운 FE 및 MT 노드를 동적으로 생성합니다. 이는 탐색 초기뿐만 아니라 전체 과정에서 외부 지식을 지속적으로 주입합니다.
2. Merging (병합): 기존 방법들이 전체 파이프라인을 단순히 합치는 것과 달리, KompeteAI 는 FE 노드와 MT 노드 수준에서 세분화된 병합을 수행합니다. 성공적인 부분 해법들을 지능적으로 결합하여 더 강력하고 일반화 가능한 구성을 만듭니다. 실패한 병합 시도를 단기/장기 메모리에 기록하여 중복을 방지하고 적응형 학습을 수행합니다.

C. 가속화된 평가 및 디버깅 패러다임

실행 병목 현상을 해결하기 위해 두 가지 기법을 도입했습니다.

• 예측 스코어링 모델 (Predictive Scoring Model): 전체 학습을 수행하기 전에, LLM 을 사용하여 모델의 성능을 예측합니다. 초기 학습 로그, 아키텍처 설명, 참조 아키텍처의 성능 등을 입력받아 최종 점수를 추정하여, 성능이 낮을 것으로 예상되는 후보를 조기에 제거 (Pruning) 합니다.
• 가속화된 디버깅: 디버깅 시 학습 반복 횟수 등 시간 민감 파라미터를 줄이고 작은 데이터 샘플을 사용하여 오류를 빠르게 발견한 후, 성공 시 원래 설정으로 복구합니다.

3. 주요 기여 (Key Contributions)

1. 최첨단 멀티에이전트 아키텍처: 외부 지식의 동적 통합과 새로운 트리 기반 연산자 (Adding, Merging) 를 통해 LLM 의 의사결정과 알고리즘적 탐색을 결합한 프레임워크를 제시했습니다.
2. 가속화된 평가 및 디버깅: 예측 스코어링 모델과 빠른 디버깅 루프를 결합하여 파이프라인 평가 시간을 획기적으로 단축했습니다.
3. 새로운 벤치마크 (Kompete-bench): MLE-Bench 의 한계 (데이터 분할, 편향된 평가) 를 극복하기 위해, 실제 Kaggle 리더보드와 직접 비교 가능한 최신 경쟁 (2024-2025 년) 과 기존 경쟁을 포함하는 새로운 벤치마크를 제안했습니다.

4. 실험 결과 (Results)

• MLE-Bench 성능: KompeteAI 는 MLE-Bench(Lite) 에서 기존 최첨단 방법들 (RD-agent, AIDE, ML-Master 등) 보다 평균 3% 포인트 더 높은 메달 획득률을 기록했습니다. (KompeteAI: 51.5% vs 차순위 48.5%)
• 가속화 효과: 예측 스코어링과 가속 디버깅을 적용한 결과, 동일한 시간 예산 내에서 파이프라인 평가 횟수가 6.9 배 증가했습니다.
• Kompete-bench 성능: 새로운 벤치마크에서 KompeteAI 는 인간 참가자보다 14% 더 높은 비율로 성과를 능가하는 결과를 보였으며, 이는 기존 방법들보다 우월한 성능을 입증했습니다.
• 실제 Kaggle 검증: MLE-Bench 에서는 높은 메달률을 보였으나 실제 Kaggle 리더보드에서는 차이가 발생함을 확인했습니다. 이는 MLE-Bench 의 평가 편향을 지적하고, Kompete-bench 의 필요성을 입증했습니다.
• Ablation Study: RAG 제거, 병합 기능 제거, 스코어링 모델 제거 실험을 통해 각 구성 요소가 성능에 필수적임을 확인했습니다. 특히 최근 경쟁 (Contemporary) 에서는 RAG 와 병합 기능의 중요성이 더욱 두드러졌습니다.

5. 의의 및 결론 (Significance)

KompeteAI 는 AutoML 분야에서 탐색의 다양성, 해법의 통합 능력, 그리고 실행 효율성이라는 세 가지 핵심 과제를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 기술적 혁신: 단순한 코드 생성을 넘어, 외부 지식을 동적으로 활용하고 부분 해법을 체계적으로 재결합하는 '지능적 탐색' 메커니즘을 구현했습니다.
• 실용적 가치: 실행 병목 현상을 해결함으로써 복잡한 ML 문제 해결을 위한 반복적 최적화를 현실적으로 가능하게 했습니다.
• 평가 기준의 개선: 기존 벤치마크의 편향을 지적하고, 실제 인간 경쟁자와의 비교가 가능한 더 엄격하고 신뢰할 수 있는 벤치마크 (Kompete-bench) 를 제안하여 향후 연구의 방향성을 제시했습니다.

결론적으로, 이 연구는 자율적 AI 에이전트가 실제 과학적 발견 및 데이터 과학 경쟁에서 인간 수준의 성과를 달성하기 위한 중요한 진전을 이루었음을 보여줍니다.