기술 요약: 초보자를 위한 공개 머신러닝 솔버 프레임워크

문제 정의

머신러닝(ML)은 금융, 의료, 마케팅과 같은 다양한 분야에서 지식 발견을 위한 핵심적인 도구입니다. 그러나 머신러닝 전문가의 심각한 부족 현상은 데이터를 활용하고자 하는 비즈니스 전문가들에게 병목 현상을 일으키고 있습니다. 전문가에게 자문을 구하는 과정은 종ically 시간이 오래 걸리며, 전문가들에게도 특정 요구 사항에 대한 최적의 솔루션을 식별하는 것은 시간이 많이 소요되는 작업입니다.

비전문가를 돕기 위한 기존 도구들은 크게 세 가지 범주로 나뉘며, 각각 한계점을 가지고 있습니다:

1. AutoML 시스템: 완전 자동화되어 있지만, 실행 속도가 느리고, 작업 범위가 좁으며(주로 분류/회귀에 집중), 평가 기준이 단일 지표(정확도 등)에 의존하여 제한적이고, 투명성이 부족하며(블랙박스 특성), 유연성이 떨어집니다.
2. 치트 시트(Cheat Sheets): 정적인 트리 기반 가이드라인(예: Microsoft 또는 Scikit-learn 제공)을 제공하지만, 확장성, 유연성 및 전처리 단계에 대한 상세한 안내가 부족합니다.
3. 선택 기준 시스템(Selection Criteria Systems): 대화형 선택 기능을 제공하지만, 단일 알고리즘 추천에 국한되는 경우가 많고, 소수의 저자의 지식에 의존하며, 연구 데이터의 서사적 성능 데이터를 처리하는 메커니즘이 부족합니다.

본 연구가 다루는 핵심 문제는 전문가의 지식과 비전문가 사용자 사이의 간극을 메우고, 단일 알고리즘 추천을 넘어 완전한 머신러닝 파이프라인을 제안하는 투명하고 구조화된 반자동 솔루션을 제공하는 것입니다.

방법론

저자들은 전문가가 정의한 선택 기준과 데이터 기반 분석 및 전이 학습을 통합한 새로운 플랫폼인 "I Solve My ML Problem"(isolvemymlproblem.org)을 제로합니다. 이 시스템은 다음과 같은 기술적 구성 요소를 통해 작동합니다:

1. 데이터 수집 및 특성 추출

사용자는 자신의 MySQL 데이터베이스에 연결하거나 Excel 파일을 업로드할 수 있습니다. 시스템은 다음을 포함한 데이터 특성을 자동으로 추출합니다:

• 속성 분산 및 값 분포.
• 결측치 존재 여부.
• 특성(feature) 수 및 데이터셋 크기.
• 속성 간 상관관계.
• 클래스 불균형.
  이러한 특성을 바탕으로 시스템은 학습 유형(예: 지도 학습 vs 비지도 학습, 분류 vs 회귀)을 자동으로 추론합니다.

2. 전이 학습을 통한 문제 이해

시스템은 사용자의 머신러닝 문제에 대한 텍축적 설명을 수용합니다. 시스템은 Sentence-BERT(사전 학습된 딥 뉴럴 네트워크)를 활용하여 사용자의 문제 설명과 기존 프로세싱 체인(파이프라인) 포트폴리오 간의 의미적 유사성 매칭을 수행합니다. 이를 통해 시스템은 네트워크 가중치를 수동으로 재학습할 필요 없이 적절한 파이프라인 구조를 식별할 수 있습니다.

3. 알고리즘 선택 및 순위 결정

핵심 선택 메커니즘은 전문가용 컴패니언 플랫폼(icontributetoml.org)을 통해 ML 전문가들이 채운 선택 기준 행렬에 기반합니다.

• 가중치 부여: 도메인 전문가들은 기준(예: 정확도, 해석 가능성, 훈련 시간)과 데이터 특성(예: 불균형 데이터, 고차원성)에 가중치를 할당합니다.
• 점수 계산: 시스템은 전문가 가중치 벡터와 지식 베이스 내 알고리즘의 기준값 간의 카테시안 곱(내적)을 사용하여 알고리즘 가중치를 계산합니다.
• 대안적 측정 방식: 프레임워크는 순위 결정을 위해 유클리드 거리와 코사인 유사성을 지원하며, 현재 이론적 단계인 나이브 베이즈(Naive Bayes) 접근 방식(전문가의 응답을 훈련 데이터로 취급하여 사후 확률을 계산)도 지원합니다.
• 출력: 알고리즘은 관련성이 높은 순서대로 내림차순 정렬됩니다.

4. 파이프라인 구축 및 정교화

시스템은 단일 알고리즘이 아닌 완전한 머신러닝 파이프라인을 생성합니다.

• 규칙 기반 정교화: Python의 Z3 솔버(Microsoft 제공)를 사용하는 1차 논리 엔진이 선택된 파이프라인을 정교화하기 위해 규칙을 적용합니다. 예를 들어, 선택된 알고리즘이 ID3(결정 트리)이고 데이터가 연속형인 경우, 시스템은 자동으로 이산화(discretization) 단계를 권장합니다.
• 시각화: 최종 파이프라인은 **비즈니스 프로세스 모델 및 표기법(BPMN)**을 사용하여 명확하고 구조화된 워크플로우로 시각화됩니다.
• 실행: 현재 시스템은 파이프라인을 사용자가 독립적으로 실행할 수 있는 문자열(코드/스크립트) 형태로 출력합니다. 모든 참조 알고리즘에 대한 전체 실행 스크립트는 아직 구현되지 않았습니다.

5. 지식 베이스 관리

시스템은 점진적이고 개방적으로 설계되었습니다. 컴패니언 플랫폼을 통해 ML 전문가들이 새로운 알고리즘, 선택 기준 및 행동 지식을 기여할 수 있습니다. 동기화 메커니즘을 통해 솔버 플랫폼이 최신 전문가 지식으로 최신 상태를 유지하도록 보장합니다.

주요 기여

• 반자동 파이프라인 추천: 단일 알고리즘을 추천하는 기존 도구와 달리, 본 프레임워크는 전처리, 특징 공학(feature engineering), 모델링 단계를 포함한 맞춤형 전체 ML 파이프라인을 제안합니다.
• 전이 학습과 논리의 통합: 의미적 유사성(Sentence-BERT 활용)을 통한 문제 매핑과 규칙 기반 파이프라인 정교화를 위한 1차 논리를 독특하게 결합했습니다.
• 투명성 및 통제권: 의사 결정 과정이 명시적입니다. 사용자는 특정 기준에 따른 알고리즘 순위를 확인할 수 있으며, 가중치를 조정하거나 파이프라인을 수동으로 수정할 수 있는 통제권을 유지합니다.
• 이중 플랫폼 구조: "솔버(Solver, 초보자용)"와 "컨트리뷰터(Contributor, 전문가용)" 플랫폼의 분리는 지식 베이스의 지속적이고 커뮤니티 중심적인 풍성함을 가능하게 합니다.
• 공개 접근성: 본 프레임워크는 구조화된 ML 문제 해결을 위해 전문가 지식을 체계적으로 운영하는 최초의 무료 공개 온라인 프레임워크로 제시됩니다.

결과

저자들은 선택 프로세스를 바탕으로 검증 결과를 보고합니다:

• 알고리즘 선택 정확도: 시스템은 6개의 알고리즘(나이브 베이즈, KNN, 베이지안 네트워크, 랜덤 포레스트, 신경망, SVM)을 대상으로 테스트되었습니다. 도메인 전문가가 제공한 선택 기준 값이 지식 베이스의 ML 전문가 값과 일치할 때, 시스템은 모든 테스트된 유사도 측정 방식(내적, 유클리드 거리, 코사인 거리)에서 의도된 알고리즘을 100%의 확률로 정확하게 추천했습니다.
• 파이프라인 생성: 시스템은 특정 문제 맥락에 맞춘 구조화된 파이프라인 설명(BPMN)을 성공적으로 생성합니다.
• 한계점: 저자들은 현재 파이프라인 정교화 및 구성 요소 선택의 성능이 기존 전문가 지식 베이스의 규모 제한에 영향을 받는다는 점을 인정합니다. 또한 시스템은 아직 파이프라인을 직접 실행하지는 않습니다.

의의 및 주장

본 논문은 이 연구가 머신러닝을 비전문가에게 접근 가능하게 만드는 데 있어 중요한 진전임을 주장합니다. 치트 시트(전문가 가이드라인)와 선택 기준 시스템(대화형 의사 결정 지원)의 강점을 결면함으로써, 본 프레임워크는 "블랙박스" 형태의 AutoML 시스템에 대한 구조적이고 투명한 대안을 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

• 최적화 중심의 AutoML와 비교하여 즉각적인 응답을 제공합니다.
• 설명 가능성을 우선시하여, 사용자가 특정 알고리즘이나 파이프라인이 왜 선택되었는지 이해할 수 있도록 합니다.
• 새로운 알고리즘과 기준을 재배포 없이도 원활하게 통합할 수 있는 확장성을 갖추고 있습니다.
• 비즈니스 전문가들이 사용할 수 있는 도구로 집단 전문가 지식을 운영함으로써 전문가 부족 문제를 해결합니다.

결론적으로, 본 논문은 최적화 기반의 AutoML 시스템 구현, 지식 베이스의 추가 확충, 직접적인 파이프라인 실행 기능 지원, 그리고 도메인 전문가를 통한 광범위한 테스트를 향후 과제로 제시하며 마무리됩니다.