An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

당신이 북적이는 동물원에서 다양한 동물들을 인식하도록 로봇을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 사자 사진을 보여주며 "저건 사자야"라고 말하고, 그다음 호랑이 사진을 보여주며 "저건 호랑이야"라고 말할 수 있습니다. 하지만 만약 로봇이 한 번에 수천 마리의 동물을 분류해야 하고, 어떤 동물들은 매우 비슷하게 생겼으며, 사진이 흐릿하거나 이상한 각도에서 찍혔다면 어떻게 될까요? 이것이 바로 머신러닝(machine learning), 그중에서도 데이터를 그룹으로 분류하는 법을 배우는 **분류(classification)**라는 분야의 세계입니다.

이를 위해 컴퓨터는 종종 **서포트 벡터 머신(Support Vector Machine, SVM)**이라는 영리한 도구를 사용합니다. SVM을 서로 다른 그룹을 나누기 위해 공중에 보이지 않는 선을 긋는 아주 똑똑한 심판이라고 생각해 보세요. 만약 동물들이 뒤섞여 엉망진탕인 상태라면, 심판은 사자와 호랑이를 구분하기 위해 가장 넓고 명확한 경로를 찾으려고 노력할 것입니다. 보통 이 심판은 데이터를 바라보는 단 하나의 '렌즈' 또는 **커널(kernel)**을 사용합니다. 어떤 렌즈는 모양을 보는 데 좋고, 어떤 렌즈는 색상을 보는 데 좋을 수 있지만, 두 가지 모두를 완벽하게 해내는 경우는 드뭅니다. 만약 데이터가 복잡하다면—예를 들어 줄무늬, 점박이, 털을 모두 가진 동물이 있는 동물원처럼—단일 렌즈는 세부 사항을 놓칠 수 있습니다.

여기에서 **다중 커널 학습(Multiple Kernel Learning, MKL)**이 등장합니다. 단 하나의 렌즈에 의존하는 대신, MKL은 컴퓨터가 여러 종류의 렌즈가 담긴 카메라 키트를 동시에 사용하여 가장 선명한 그림을 볼 수 있게 해줍니다. 하지만 문제가 하나 있습니다. 그 많은 렌즈를 방대한 양의 데이터에 사용하는 것은 엄청나게 느리고 계산 비용이 많이 듭니다. 이는 마치 모든 가능한 돋보기를 들고 동물원 전체를 한 마리씩 손으로 분류하려는 것과 같습니다. 과학자들이 던져온 질문은 이것입니다: 모든 동물을 일일이 확인하는 느리고 지치는 과정 없이도, 여러 개의 렌즈를 가진 듯한 초선명한 시야를 얻을 수 있을까?

---

새로운 "올인원" 슈퍼 심판

이 논문에서 연구자 Zijie Dong, Xingrui Gong, Fen Chen은 이러한 다중 클래스 분류기를 훈련시키는 더 빠른 새로운 방법을 제안합니다. 그들은 이 방법을 AIO-MSVM-WMK라고 부릅니다 (발음하기 어려우니, 그냥 "가중치 적용 올인원 심판"이라고 부르겠습니다).

그들의 핵심 아이디어는 두 가지 강력한 전략을 하나의 매끄러운 작업으로 결합하는 것입니다:

1. 가중치 적용 다중 커널 학습 (Weighted Multiple Kernel Learning): 단 하나의 렌즈를 사용하는 대신, 그들은 여러 가지 다른 렌즈(선형, 다항식, RBF 커널 등)를 혼합합니다. 하지만 여기서 비결은 이 렌즈들을 똑같이 섞는 것이 아니라는 점입니다. 그들은 각 렌즈가 업무를 수행하는 능력에 따라 '가중치'를 부여합니다. 만약 '모양' 렌즈가 사자를 포착하는 데 뛰어나다면 더 큰 투표권을 줍니다. 만약 '질감' 렌즈가 호랑이를 찾는 데 더 적합하다면 더 많은 무게를 둡니다. 이 과정은 미리 설정되는 것이 아니라 컴퓨터가 학습하는 동안 자동으로 이루어집니다.
2. 샘플 최적화 (Sample Optimization): 이것은 속도 향상 장치입니다. 컴퓨터가 동물원의 모든 동물을 공부하도록 강요하는 대신(이는 시간이 너무 오래 걸립니다), 알고리즘은 가장 중요한 샘플들을 지능적으로 선택합니다. 컴퓨터는 그룹의 경계에 있는, 즉 구분이 어려운 까다로운 동물들에 집중하고, 분류하기 쉬운 뻔한 동물들은 무시합니다. 이를 통해 엄청난 시간을 절약합니다.

어떻게 테스트했는가

새로운 심판이 실제로 더 나은지 확인하기 위해, 연구팀은 9개의 공개 데이터셋(손글씨 숫자, 뉴스 기사, 생물학적 데이터와 같은 실제 세계의 데이터 모음)에서 실험을 진행했습니다. 그들은 이 방법과 다른 네 가지 인기 있는 다중 클래스 분류 방식들을 비교했습니다:

• AIO-Mar: 이전의 "올인원" 방식.
• MK-MSVCR: 여러 커널을 사용하지만 방식이 다른 방법.
• WMK-OVO: 모든 클래스를 서로 일대일로 비교하는 방식 (One-vs-One).
• WMK-OVA: 각 클래스를 나머지 모든 클래스와 한꺼번에 비교하는 방식 (One-vs-All).

그들은 이 방법들을 두 가지 크기의 훈련 데이터, 즉 10,000개의 샘플과 26,000개의 샘플을 사용하여 테스트했습니다.

결과: 더 빠르고 더 똑똑하게

결과에 따르면, 새로운 AIO-MSVM-WMK 방식은 두 가지 주요 영역에서 명백한 승자였습니다.

1. 실수가 더 적었습니다.
데이터가 복잡할 때, 새로운 방식은 다른 방식들보다 더 정확하게 동물을 분류했습니다. 예를 들어, "Twitter" 데이터셋(텍스트를 분류하는 작업)에서 새로운 방식은 26,000개의 샘플을 사용했을 때 오차율이 단 **1.51%**였습니다. 반면, 그다음으로 좋은 방식은 **1.78%**의 오차를 보였고, 다른 방식들은 훨씬 못 미쳐 최대 **18.16%**까지 오류를 냈습니다. "Mnist" 데이터셋(손글씨 숫자)에서 새로운 방식은 **10.36%**의 오차율을 기록하며, 12.37%에서 15.28% 사이의 오차를 보인 다른 방식들을 앞질렀습니다.

2. 현저히 빨랐습니다.
여기서 "샘플 최적화"의 진가가 드러났습니다. 연구진은 중요한 샘플을 뽑는 시간과 모델을 훈련하는 데 걸린 총 시간을 측정했습니다.

• 10,000개 샘플 테스트에서, 새로운 방식은 모든 데이터셋에 대해 총 64,730초(약 18시간)가 걸렸습니다. 그다음으로 빠른 방식은 75,796초가 걸렸고, 가장 느린 방식은 90,162초가 걸렸습니다.
• 26,000개 샘플 테스트에서는 그 격차가 더 벌어졌습니다. 새로운 방식은 119,671.96초가 걸린 반면, 가장 느린 경쟁 상대는 181,262.97초가 걸렸습니다.

연구진은 이러한 차이가 단순히 운이 아니라는 것을 확인하기 위해 **윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)**이라는 통계 테스트를 사용했습니다. 이 테스트는 새로운 방식이 정확도와 속도 모두에서 네 가지 경쟁 모델보다 통계적으로 우수함을 입증했습니다.

이것이 의미하는 바

이 논문은 가중치 적용 다중 커널(최적의 렌즈 조합 사용)과 스마트 샘플 선택(까다로운 사례에만 집중)을 결합함으로써, 기존 방식보다 더 정확하면서도 훨씬 빠른 분류기를 구축할 수 있음을 시사합니다.

저자들은 이 접근 방식이 특히 "복잡하고 규모가 큰 다중 클래스 데이터"에 유용하다고 언급했습니다. 그들이 세상의 모든 문제를 해결한다고 주장한 것은 아니지만, 테스트한 데이터셋에 대해서는 추가적인 전처리 단계 없이도 기존 기술들을 능가했음을 보여주었습니다. 또한 향후 연구로서 이 아이디어를 딥 뉴럴 네트워크(Deep Neural Networks)에 적용하거나 병렬 컴퓨팅을 사용하여 더 빠르게 만드는 방향을 언급했지만, 현재로서는 "가중치 적용 올인원 심판"이 세상의 복잡한 데이터를 분류하는 데 있어 더 효율적인 방법입니다.