💻 computer science

Dynamic ensemble approach for multi-class classification based on neighborhood rough sets and sequential three-way decisions

본 논문은 Xu 등이 제안한 기존 모델의 고정된 참조 튜플 및 이진 제약의 한계를 극복하기 위해 근사 이웃 러프 집합을 순차적 3원 결정 및 조건부 동적 통합 전략과 결합한 동적 앙상블 프레임워크인 EM-S3WD를 제안하며, 이를 통해 적응적이고 경쟁력 있는 다중 클래스 분류 성능을 달성한다.

원저자: Wenyan Xu, Qiang Chen, Yangyang Guo

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenyan Xu, Qiang Chen, Yangyang Guo

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 과학의 세계에는 정보가 불완전하거나 지저지고 불확실할 때 기계가 어떻게 결정을 내리도록 가르칠 것인가에 대한 끊임없는 투쟁이 존재합니다. 일부는 멍이 들어 있고, 일부는 부분적으로 가려져 있으며, 조명이 어두운 바구니 속의 과일을 식별하려고 노력하는 상황을 상상해 보십시오. 단순한 "예" 또는 "아니오"라는 답변은 데이터가 너무 불확실하기 때문에 종종 실패하곤 합니다. 이를 처리하기 위해 연구자들은 '3원 결정(three-way decision)'이라 불리는 방법을 개발했습니다. 이 방식은 이진 선택을 강요하는 대신, 시스템이 "예", "아니오", 또는 "기다려 보기(wait and see)"라고 말할 수 있게 해줍니다. "기다림" 옵션은 현재의 증거가 최종 결정을 내리기에 충분하지 않다는 것을 인정하며, 기계가 무모하게 추측하는 것을 방지하는 데 매우 중요합니다. 이 개념은 순차적인 과정으로 더욱 정교해졌는데, 여기서 시스템은 데이터를 조금씩 다른 여러 개의 렌즈를 통해 살펴봄으로써, 확신 있는 결정을 내릴 수 있을 때까지 가능성을 점진적으로 좁혀 나갑니다.

이러한 토대를 바탕으로, 중국 시디안 대학교(Xidian University)의 연구팀은 이러한 시스템이 여러 범주를 동시에 처리할 때 발생하는 특정 한계를 해결했습니다. 기존 방식은 두 가지 선택지를 구별하는 데는 잘 작동했지만, 다양한 종류의 씨앗이나 의학적 상태를 식별하는 것과 같이 많은 선택지 중에서 골라야 할 때는 어려움을 겪었습니다. 기존의 접근 방식은 데이터 포인트를 동일하거나 완전히 다른 것으로 취급하는 경직된 규칙에 의존했는데, 이는 실제 수치에서 발견되는 미묘한 변화를 포착하는 데 자주 실패했습니다. 더욱이, 시스템이 여러 범주 중 올바른 범주를 추측하려고 할 때, 두 개 이상의 옵션이 똑같이 가능해 보여서 컴퓨터가 교착 상태에 빠지는 경우가 발생했습니다. 연구진은 이러한 교착 상태를 해결하고 원래 방법의 명확성을 잃지 않도록 설계된 EM-S3WD라고 불리는 새로운 프레임워크를 제안했습니다.

이 새로운 프레임워크의 핵심은 참조점(reference points)을 구축하는 방식에 있습니다. 이전 시스템에서 컴퓨터는 훈련 데이터로부터 고정된 "이상적인" 예시 목록을 만들었습니다. 일단 이 목록이 만들어지면, 데이터가 어떻게 분포되어 있는지 또는 환경이 얼마나 노이즈가 심한지에 관계없이 절대 변하지 않았습니다. 새로운 접근 방식은 이러한 경직성을 적응성으로 대체합니다. 엄격한 동일성 대신, 시스템은 '근방 러프 집합(neighborhood rough sets)'이라는 개념을 사용하여 데이터 포인트를 정확히 일치하는지가 아니라 서로 얼마나 가까운지에 따라 그룹화합니다. 이것은 마치 어떤 지역을 정의할 때 딱딱한 울타리를 치는 것이 아니라, 중심점에서 얼마나 멀리 걸어갔을 때 그 지역의 특성이 변하는지를 기준으로 정의하는 것과 같습니다. 이 근방의 크기를 조정함으로써, 시스템은 자신이 보고 있는 특정 데이터에 적합한 참조 예시를 선택할 수 있으며, 이를 통해 모델은 노이즈와 변화에 훨씬 더 강력해집니다.

시스템이 이러한 유연한 참조점을 갖추게 되면, 데이터를 여러 범주로 분류해야 하는 과제에 직면합니다. 연구진은 컴퓨터가 각 범주에 대해 별도의 결정자를 구축하여 "이 항목이 이 그룹의 일부인가, 아니면 다른 것인가?"라고 묻는 '일대다(one-versus-all)' 전략을 사용했습니다. 각 결정자는 신뢰도 점수를 출력합니다. 그러나 두 개 이상의 범주가 정확히 동일한 최고 점수를 줄 때 문제가 발생합니다. 과거에는 컴퓨터가 단순히 하나를 무작위로 선택했을 수 있는데, 이는 신뢰할 수 없는 방식입니다. 새로운 프레임워크는 스마트한 '조건부 구조 메커니즘(conditional rescue mechanism)'을 도입합니다. 이 메커니즘은 갈등이 감지될 때만 추가적인 도우미인 더 단순한 이차 분류기들을 활성화합니다. 점수가 명확하다면 시스템은 원래의 주요 결정 방식을 유지합니다. 하지만 충돌이 발생하면, 시스템은 도우미들을 불러와 의견을 구하며, 이때 도우미들의 입력값은 주 시스템과 얼마나 일치하는지, 그리고 과거에 얼마나 정확했는지를 바탕으로 가중치를 부여합니다. 이는 시스템이 반드시 필요할 때만 복잡성을 추가하도록 보장합니다.

연구진은 이 접근 방식을 씨앗이나 동물의 종류 식별부터 피부 질환 진단 및 지폐 분석에 이르기까지 9가지의 서로 다른 공개 데이터셋에 대해 테스트했습니다. 그들은 새로운 방법이 기존 시스템을 괴롭혔던 타이브레이킹(tie-breaking, 동점자 처리) 문제를 성공적으로 해결했음을 발견했습니다. 주 시스템이 두 가지의 동일하게 가능성 있는 답변 사이에서 막혔을 때, 조건부 동적 통합 전략은 추가적인 증거를 사용하여 무작위 추측이나 고정된 가중치 방식보다 훨씬 더 자주 올바른 범주를 선택해 냈습니다. 예를 들어, 마른 콩(dry beans) 데이터셋의 경우, 새로운 방법은 갈등을 정확히 파악하고 보조 정보를 사용하여 최종 정확도를 향상시켰습니다. 또한 이 연구는 참조점을 적응형으로 만듦으로써 시스템이 노이즈에 의해 손상된 데이터를 더 잘 처리하게 되었으며, 입력 데이터가 불완전하더라도 성능을 유지한다는 것을 보여주었습니다.

이러한 성공에도 불구하고, 저자들은 자신들의 방법이 다른 모든 기존 기술을 이기는 보편적인 해결책이라고 주장하는 데 신중합니다. 잘 알려진 다른 머신러닝 알고리즘들과의 직접 비교에서, 새로운 프레임워크는 경쟁력 있는 성능을 보였으며 종종 정확도와 일관성 같은 특정 지표에서 앞섰지만, 모든 데이터셋에 걸쳐 다른 모든 방법보다 통계적으로 압도적이지는 않았습니다. 연구진은 자신들의 접근 방식의 이점이 데이터가 복잡하거나 시스템이 어려운 타이브레이킹 상황에 자주 직면할 때 가장 눈에 띈다고 언급했습니다. 계산 비용 또한 요소인데, 시스템은 근방 관계를 계산하고 조건부 체크를 관리하기 위해 더 많은 처리 능력을 요구합니다. 궁극적으로, 이 연구는 참조점을 유연하게 만들고 갈등이 발생할 때만 추가 자원을 사용함으로써, 불확실한 상황에서 더 적응력이 뛰어나고 더 신뢰할 수 있는 다중 클래스 분류기를 구축할 수 있음을 보여줍니다.

기술 요약: 근방 근사 집합 및 순차적 3방향 결정에 기반한 다중 클래스 분류를 위한 동적 앙상블 접근 방식 (EM-S3WD)

1. 문제 정의
본 논문은 Xu 등[19]이 제안한 이진 순차적 3방향 결정(S3WD) 분류기를 다중 클래스 분류 작업으로 확장할 때 발생하는 두 가지 구체적인 한계점을 다룬다:

정적 참조 표현 (Static Reference Representation): 기존 모델은 참조 튜플을 생성하기 위해 고전적 근사 집합(Classical Rough Sets, CRS)에 의존한다. CRS는 엄격한 동치 관계에 의존하기 때문에, 이 참조 튜플들은 훈련 세트가 정의되면 고정된다. 이러한 경직성은 검증 성능에 따라 참조 표현을 조정할 수 없기 때문에, 연속형 데이터 및 변화하는 데이터 분포에 대한 분류기의 적응성을 제한한다.
다중 클래스 확장 시의 신뢰도 충돌 (Confidence Conflicts in Multi-class Extension): 이진 분류기를 다중 클래스 문제로 확장하는 자연스러운 방법은 "일 대 다(One-Versus-All, OVA)" 분해 전략이다. 그러나 OVA를 S3WD 분류기에 적용하면, 여러 이진 분류기가 동일한 최대 신뢰도 점수를 동일한 테스트 샘플에 할당하는 "신뢰도 충격"이 발생하는 경우가 많다. 표준적인 타이 브레이킹(tie-breaking, 동점 처리) 방법(예: 무작위 선택 또는 고정 가중치)은 결정 안정성을 저해하거나 샘플 특유의 증거를 무시할 수 있다.

2. 방법론: EM-S3WD 프레임워크
저자들은 근방 근사 집합(Neighborhood Rough Sets, NRS), OVA 분해, 그리고 조건부 동적 통합 전략을 결래한 동적 앙상블 프레임워크인 EM-S3WD를 제안한다. 방법론은 다음과 같이 세 가지 주요 단계로 진행된다:

NRS 기반 적응형 참조 튜플 구축:
CRS 대신, 본 프레임워크는 참조 튜플을 구축하기 위해 근방 근사 집합(NRS)을 사용한다. NRS에서 하한 근사(lower approximation)는 근방 반경( $\delta$ )에 따라 달라지므로, 참조 튜플은 연속형 데이터의 국소적 데이터 구조에 적응할 수 있다.
- 검증 유도 선택 (Validation-Guided Selection): 근방 반경( $\delta$ )과 유사도 임계값( $\sigma$ )은 수동으로 고정되지 않는다. 대신, 검증 정확도를 극대화하는 최적의 쌍 $(\delta^*, \sigma^*)$ 를 공동으로 선택하기 위해 그리드 탐색(grid search)이 수행된다. 이후 참조 튜플은 이 최적의 $\delta^*$ 를 기반으로 생성된다.
OVA 기반 다중 클래스 확장:
프레임워크는 $m$ -클래스 문제를 위해 $m$ 개의 이진 NRS 기반 S3WD 분류기를 구축한다. 각 분류기는 하나의 클래스를 나머지 전체와 구분한다.
- 유한 값 신뢰도 (Finite-Valued Confidence): 이론적 분석(명제 2)에 따르면, 이 분류기들이 생성하는 신뢰도 점수는 일치하는 속성의 개수와 결정 수준에 의해 결정되는 유한 집합에 속한다. 이러한 구조적 특성은 왜 서로 다른 분류기들이 빈번하게 동일한 최대 점수를 생성하여 신뢰도 충돌을 일으키는지 설명한다.
충돌 해결을 위한 조건부 동적 통합:
본 프레임워크는 기본 결정 메커니즘을 대체하지 않고 신뢰도 충돌을 처리하기 위한 조건부 전략을 도입한다:
- 비충돌 사례: OVA 기반 분류기들이 고유한 최대 신뢰도 점수를 생성하는 경우, 원래의 결정이 유지된다.
- 충돌 사례: 두 개 이상의 클래스가 최대 신뢰도 점수를 공유하는 경우, 보조 분류기(구체적으로 SVM 및 Naive Bayes)가 호출된다.
- 가중치 메커니즘: 최종 결정은 S3WD 주 분류기와 보조 분류기의 출력을 동적으로 가중치를 부여하여 이루어진다. 가중치는 다음을 통해 결정된다:
  1. 보조 분류기의 검증 정확도.
  2. 충돌하는 클래스들에 대한 S3WD 출력과 보조 출력 사이의 쿨백-라이블러(Kullback–Leibler, KL) 발산.
- 이를 통해 보조 증거가 필요할 때만 활성화되며, 주 모델과의 일관성 및 자체 신뢰도에 따라 가중치가 부여됨을 보장한다.

3. 주요 기여
본 논문은 네 가지 주요 기여를 기술한다:

적응형 참조 구축: 참조 튜플이 근방 과립도(granularity)에 의존하는 NRS 기반 메커로니즘을 개발하였다. 검증 유도 절차를 도입하여 근방 반경과 유사도 임계값을 공동 선택함으로써 데이터 분포에 대한 적응성을 높였다.
충돌의 구조적 분석: OVA 기반 S3WD 확장에서의 신뢰도 충돌이 신뢰도 점수의 유한한 값 특성(일치하는 속성 개수 및 결정 수준에 의해 결정됨)으로부터 자연스럽게 발생함을 입증하는 이론적 분석을 제시하였다.
조건부 동적 통합: 충돌 샘플에 대해서만 보조 분류기를 활성화하여 신뢰도 충돌을 해결하는 새로운 전략을 제공하며, 통합 과정에서 KL 발산과 검증 성능을 바탕으로 보조 출력을 동적으로 가중 처리함으로써 비충돌 샘플에 대한 원래의 S3WD 결정을 보존한다.
포괄적 평가: 유한 단계 종료 및 결정 보존에 관한 이론적 증명과 함께, 매개변수 민감도, 충돌 해결, 노이즈 강건성 및 전반적인 성능을 평가하기 위해 9개의 벤치마크 데이터셋에 대한 광범위한 실험을 수행하였다.

4. 실험 결과
실험은 MATLAB을 사용하여 9개의 UCI 벤치마크 데이터셋(예: Iris, Seeds, DryBean, PageBlocks)을 대상으로 수행되었다.

매개변수 민감도: 연구는 근방 반경( $\delta$ )과 유사도 임계값( $\sigma$ ) 모두 매우 민감한 매개변수임을 확인한다. 최적값은 데이터셋마다 크게 다르며, 이는 검증 유도 선택 과정의 필요성을 입증한다.
충돌 해결: 충돌이 발생한 샘플들에 대해 특별히 평가했을 때, EM-S3WD는 무작위 타이 브레이킹(SM-S3WD) 및 고정 가중치 통합(MM-S3WD)과 비교하여 9개 데이터셋 중 8개에서 가장 높은 평균 정확도를 달ien했다.
노이스 강건성: 적응형 참조 튜플 구축은 고정 참조 튜플 방식에 비해 여러 데이터셋(특히 Iris, Seeds, Dermatology, Abalone)에서 가우시안 노이즈에 대한 개선된 강건성을 보여주었다.
전반적인 성능: 6개의 대표적인 분류기(Random Forest, AdaBoost, KNN, 3WD-NRS 포함)와 비교했을 때, EM-S3WD는 경쟁력 있는 결과를 얻었다. DryBean 데이터셋의 모든 지표에서 모든 경쟁 모델을 앞질렀으며, Balance-scale 및 Abalone 데이터셋에서는 정확도(Accuracy)와 카파(Kappa) 지표에서 선두를 차지했다.
통계적 유의성: EM-S3WD는 강력한 성능을 보였으나, Friedman 및 Holm-조정 Wilcoxon 검정 결과, 가장 강력한 베이스라인들과 통계적으로 대등한 수준이며, 모든 데이터셋과 지표에서 모든 개별 경쟁 모델에 대해 통계적으로 유의미한 우위를 점하는 것은 아니었다.

5. 의의 및 주장
본 논문은 EM-S3WD를 Xu 등의 이진 S3WD 분류기에 대한 표적 모델 수준의 확장으로 규정한다. 본 모델의 주요 의의는 다음과 같다:

적응성: 정적 CRS 기반 참조 튜플에서 검증 유도 매개변수 선택을 통해 데이터 분포에 반응하는 적응형 NRS 기반 튜플로 전환하였다.
명시적 충돌 처리: 다중 클래스 S3WD 시나리오에서 임의의 타이 브레이킹에 의존하는 대신, 신뢰도 충돌을 해결하기 위한 구조화되고 샘플 의존적인 메커니즘을 제공한다.
해석 가능성: 다중 클래스 문제로 확장하면서도 S3WD 프레임워크의 해석 가능성을 유지한다.

저자들은 본 프레임워크의 기여가 적응형 참조 표현과 명시적 충돌 인지 결정 메커니즘에 있다고 겸허히 주장한다. 또한, 본 방법론이 경쟁력이 있지만, 모든 시나리오에서 기존의 모든 앙상블 또는 근사 집합 기반 분류기를 보편적으로 능가하는 것은 아님을 인정한다. 계산 비용은 근방 계산 및 매개변수 탐색으로 인해 제한점으로 언급되었으며, 향후 효율적인 탐색 메커니즘 및 대안적인 보조 모델 선택에 대한 연구를 제안한다.

유사한 논문