💻 computer science

Probabilistic Multi-dimensional Classification with Incomplete Data

본 논문은 혼합 및 불완전한 데이터를 포함하는 다차원 분류를 위해 새롭고 확장 가능하며 강건한 확률론적 접근 방식을 제안하며, 해당 알고리즘에 대한 이론적 토대와 다양한 결측 시나리오에 걸친 효과에 대한 경험적 증거를 제공한다.

원저자: Thu Ha Do, Kim-Dung Tran, Vu-Linh Nguyen, Yves Grandvalet, Sébastien Destercke

게시일 2026-09-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thu Ha Do, Kim-Dung Tran, Vu-Linh Nguyen, Yves Grandvalet, Sébastien Destercke

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

데이터 과학의 세계에서 컴퓨터는 종종 과거의 사례로부터 학습한 패턴을 바탕으로 예측을 수행하도록 요청받습니다. 의사가 환자를 진단하는 상황을 상상해 보십시오. 의사는 증상 목록, 혈액 검사 결과, 그리고 병력을 살펴보고 질병의 구체적인 유형, 중증도, 그리고 다양한 치료법에 대한 환자의 반응 등 여러 가지를 동시에 예측하려고 합니다. 이는 데이터가 혼합되어 있기 때문에 매우 복다한 작업입니다. 어떤 정보는 체온 수치와 같은 수치형인 반면, 다른 정보는 몇 가지 뚜렷한 범주 중 하나에 속하는 진단명과 같은 범주형입니다. 게다가 현실 세계의 데이터는 결코 완벽하지 않습니다. 환자가 증상을 보고하는 것을 잊어버릴 수도 있고, 실험실 검사 결과가 반환되지 않을 수도 있습니다. 컴퓨터 모델이 이러한 불완전한 기록으로부터 학습하려고 할 때, 특히 그 누락된 조각들이 범주 자체를 정의하는 범주형 데이터일 경우 모델은 종종 어려움을 겪습니다.

이러한 과제는 다차원 분류(multi-dimensional classification)라고 알려진 분야의 핵심에 자리 잡고 있습니다. 컴퓨터가 단일한 결과만을 예측하는 더 단순한 작업과 달리, 다차원 분류는 기계에게 일련의 결과 전체를 동시에 예측하도록 요구합니다. 데이터가 불완전할 때 이 난이도는 더욱 높아집니다. 만약 모델이 훈련 과정에서 특정 누락 정보의 조합을 본 적이 없다면, 나중에 그러한 상황이 발생했을 때 신뢰할 수 있는 추측을 내놓지 못할 수 있습니다. 연구자들은 서로 다른 정보들 사이의 미묘한 연결 고리를 찾는 능력을 잃지 않으면서도 이러한 지저집한 상황을 처리할 수 있는 모델을 구축하는 방법을 오랫동안 모색해 왔습니다.

프랑스의 콩피에그 기술 대학교(Université de Technologie de Compiègne)의 연구팀은 이 문제를 해결하기 위해 새로운 접근 방식을 개발했습니다. 그들은 하이브리드 확률적 다차원 분류기(Hybrid Probabilistic Multi-Dimensional Classifier)라는 시스템을 만들었습니다. 이 시스템을 컴퓨터가 서로 다른 정보들이 어떻게 연관되어 있는지 이해하기 위해 구축하는 유연한 지도라고 생각하십시오. 이전 방식에서 컴퓨터는 두 가지 어려운 선택지 중 하나를 강요받곤 했습니다. 즉, 변수 간의 복잡한 관계를 처리할 수는 있지만 데이터가 누락되면 작동이 멈추거나, 혹은 누락된 데이터를 처리할 수는 있지만 단순함을 유지하기 위해 변수 간의 미묘한 연결을 무시해야 하는 것이었습니다. 이 새로운 방법은 그 간극을 메워줍니다. 이 방식은 훈련 단계에서 일부 범주형 값이 누락된 상태에서도 컴퓨터가 데이터를 학습할 수 있게 하며, 동일한 값들이 누락된 상태에서도 컴퓨터가 예측을 수행할 수 있게 해줍니다.

연구진은 혼합된 유형의 데이터를 포함하는 세 가지 실제 데이터셋을 통해 이 시스템을 테스트했습니다. 한 데이터셋은 성인의 소득과 교육 수준 같은 정보를 포함하여 다양한 인구 통계적 범주를 예측하는 것이었습니다. 또 다른 하나는 신용 채무 불이행에 초점을 맞추었으며, 세 번째는 갑상선 질환 진단을 다루었습니다. 실험 과정에서 연구진은 기록에서 정보를 의도적으로 제거하여, 범주형 특성의 최대 80%가 누락되거나 결과의 특정 범주 전체를 알 수 없는 시나리오를 시뮬레이션했습니다. 그들은 누락된 데이터에 대해 단순히 가장 흔한 답을 추측하거나 추정치로 빈칸을 채우려 했던 기존의 기법들과 이 새로운 방법을 비교했습니다.

결과는 새로운 하이브리드 접근 방식이 훨씬 더 견고하다는 것을 보여주었습니다. 컴퓨터가 누락된 정보로 결과를 예측해야 할 때, 이 새로운 방법은 기존의 기준 모델들을 지속적으로 능가했습니다. 이 모델은 불확실성을 다루는 방식인 '낙관적(optimistic)' 전략과 '평균화(averaging)' 전략을 처리하는 데 특히 효과적이었습니다. 모델은 포기하거나 맹목적으로 추측하는 대신, 가용한 데이터로부터 학습한 관계를 사용하여 가장 가능성 높은 누락된 부분을 추론했습니다. 예를 들어, 하나의 결과가 압도적으로 흔했던 갑상선 데이터셋에서, 이 새로운 방법은 여전히 가장 중요한 데 성공해야 하는 희귀한 결과들에 대한 예측을 개선해 냈습니다. 연구진은 훈련 데이터 자체가 불완전한 시나리오에서도 시스템이 높은 정확도를 유지할 수 있음을 발견했는데, 이는 이전에 관리하기 매우 어려웠던 상황이었습니다.

핵심적인 발견 중 하나는 시스템이 잘 작동하기 위해 지나치게 복잡할 필요가 없다는 점이었습니다. 변수 간에 모델이 학습하려는 연결의 수를 제한함으로써, 연구진은 필수적인 의존성을 포착하면서도 계산을 관리 가능한 수준으로 유지했습니다. 또한 그들은 베이지안 정보 기준(Bayesian Information Criterion)이라고 알려진 특정 수학적 점수 규칙이 모델이 적절한 복잡도 수준을 선택하도록 도와, 데이터의 노이즈에 과적합(overfitting)되는 것을 방지한다는 사실을 발견했습니다. 이 시스템이 완벽한 것은 아니며 누락된 변수의 수가 극도로 많아질 경우 여전히 계산상의 어려움에 직면하지만, 이는 상당한 진전입니다. 이는 데이터가 지저분하고 불완전한 상황, 즉 누락된 정보이 오히려 예외가 아닌 규칙인 의료부터 금융에 이르는 다양한 분야에서 기계가 더 나은 결정을 내릴 수 있도록 돕는 실용적인 도구를 제공합니다.

기술 요약: 불완전한 데이터를 활용한 확률적 다차원 분류

문제 정의

다차원 분류(Multi-dimensional classification, MDC)는 각 인스턴스에 대해 여러 개의 클래스 변수를 동시에 예측하는 것으로, 다중 클래스(multi-class) 및 다중 레이블(multi-label) 분류를 모두 일반화한 개념이다. 확률적 그래피컬 모델(베이지안 네트워크)이 MDC를 위한 표준적인 접근 방식이지만, 혼합 데이터(이산형 및 연속형 속성을 모두 포함)와 불완전한 데이터(특성 또는 클래스 레이블이 누락된 경우)에 적용할 때는 상당한 어려움에 직면한다.

기존의 판별적 MDC(DMDC) 방식은 혼합 데이터를 효과적으로 처리하지만, 특히 예측 시점에 누락된 이산 변수를 관리하도록 설계되어 있지 않다. 반대로 생성적(generative) 접근 방식은 혼합 데이터의 계산 복잡성으로 인해 어려움을 겪으며 판별적 성능을 제공하지 못하는 경우가 많다. 따라서 혼합 데이터 유형, 다수의 클래스 변수, 그리고 결측치(missingness)가 결합된 환경은 실무적 적용에 필요한 확장성과 견고성 측면에서 여전히 미개척 영역으로 남아 있다.

방법론: 하이브리드 다차원 분류기 (HMDCs)

저자들은 DMDC를 확장하여 혼합 특성을 유지하면서도 불완전한 데이터를 처리할 수 있는 새로운 확률적 프레임워크인 **하이브리드 다차원 분류기(Hybrid Multi-dimensional Classifiers, HMDCs)**를 제안한다.

1. 모델 구조

HMDC는 특정 구조적 제약 조건을 가진 베이지안 네트워크로 정의된다:

하이브리드 특성: 클래스 변수나 연속형 특성으로부터 이산형 특성으로 향하는 에지(arc)를 금지하는 표준 DMDC와 달리, HMDC는 이 제약을 완화한다. 즉, 클래스 변수나 연속형 특성으로부터 이산형 특성으로 들어오는 에지를 허용한다.
제약 조건 보존: 이산형 변수에서 연속형 특성으로 향하는 에지는 여전히 금지된다.
근거: 이러한 설계는 모든 잠재적으로 누락될 수 있는 이산 변수가 적어도 하나의 관측된 부모(연속형 특성 또는 클래스 변수)를 갖도록 보장한다. 이를 통해 모델은 결측치를 단순히 대체(imputation)하는 대신 직접 예측할 수 있게 되어 MAP 추론의 견고성을 높인다.

2. 학습 단계

모델은 연속형 특성이 주어졌을 때 클래스 변수와 이산형 특성의 결합 분포에 대한 **조건부 로그 가능도(conditional log-likelihood)**를 최대화함으로써 학습된다:
$p(y, x_D | x_C) = p(y | x_D, x_C) p(x_D | x_C)$
이 목적 함수는 문제를 각 이산형 변수 $Z_j$ (클래스 변수 및 이산형 특사 포함)에 대한 독립적인 로컬 학습 작업으로 분해한다.

최적화: 학습 과정은 최적의 방향성 비순환 그래프(DAG) 구조와 파라미터를 찾는 과정을 포함한다. 저자들은 가설 공간을 관리하기 위해 BIC 점수에 기반한 가지치기(pruning) 전략과 결합된 GOBNILP(정수 선형 계획법을 사용하는 전역 최적 구조 학습 프레임워크)를 활용한다.
누락된 데이터 처리 (학습): 불완전한 학습 데이터에 대해, 논리적 원칙에 따라 두 가지 주요 접근 방식을 제안한다:
- 낙관적 원칙 (HMDC-OP): 누락된 데이터의 가능한 최선의 완성을 가정하여 가능도를 최대화한다. 이는 "Hard EM" 접근 방식과 동일하다.
- 평균화 원칙 (HMDC-AV): 가능한 모든 완성본에 대한 평균 가능도를 최대화한다. 저자들은 이를 누락된 인스턴스가 확률에 따라 가중치가 부여된 모든 가능한 완성본으로 확장된 확장 데이터셋에서 학습함으로써 달성할 수 있음을 증명한다.
로컬 분류기: 각 로컬 노드에 대해, 조건부 분포는 이산형 부모 구성에 따라 연속형 특성을 입력으로 받는 기본 분류기(예: 로지스틱 회귀)를 사용하여 모델링된다.

3. 추론 단계

누락된 이산 특성 또는 클래스 변수가 있는 인스턴스에 대한 예측은 학습된 DAG 상에서의 MAP 추론을 통해 수행된다.

낙관적 예측 (HMDC-OP): 누락된 값의 가장 유리한 완성 하에서 효용을 최대화하는 예측을 선택한다.
평균화 예측 (HMDC-AV): 모든 완성본에 대해 평균된 기대 효용을 최대화하는 예측을 선택한다.
근사화 (HMDC-MI): 이산 변수의 카디널리티(cardinality)가 높을 때 HMDC-OP의 계산 비용 문제를 해결하기 위해, 누락된 이산 특성을 먼저 가장 확률이 높은 수준으로 대체한 후 표준 MAP 추론을 수행하는 근사 방식을 제안한다.

이론적 결과(Proposition 10 및 11)는 표준 손실 함수(Hamming loss 및 0/1 subset loss)에 대해 이러한 최적 예측기들이 베이지안 네트워크의 이산 서브 그래프에 대한 표준 MAP 쿼리로 축소됨을 입증한다.

핵심 기여

프레임워크 확장: 본 논문은 혼합 데이터 및 누락된 이산 관측치를 처리하기 위해 특별히 설계된, 생성적 접근 방식과 판별적 접근 방식 사이의 간극을 메우는 모델인 HMDC를 소개한다.
이론적 토대: 저자들은 학습 문제가 로컬 학습 작업으로 분해된다는 점과, 특정 손실 함수 하에서 최적의 추론이 MAP 추론으로 축소된다는 것을 증명하는 이론적 결과를 도출하였다.
불완전한 데이터를 위한 알고리즘: 본 논문은 평균화 및 낙관적 원칙을 활용하여 완전한 학습 데이터 및 불완전한 학습 데이터로부터 HMDC를 학습시키기 위한 구체적인 알고리즘(알고리즘 1 및 2)을 상세히 설명한다.
포괄적 평가: 세 가지 실제 데이터셋(Adult, Default, Thyroid)을 사용하여 다양한 누락 시나리오(학습 중 및 추론 시 누락)와 누락 비율(클래스 변수의 경우 최대 100%)을 아우르는 광범 최의 실험적 평가를 제공한다.

실험 결과

실험은 10-겹 교차 검증(10-fold cross-validation)을 사용하여 Adult, Default, Thyroid 데이터셋에 대해 수행되었다.

성능: HMDC 기반 방법들(특히 HMDC-OP 및 HMDC-AV)은 최빈값 대체(Mode Imputation, MI) 및 이진 관련성(Binary Relevance, BR)을 포함한 베이스라인 방법들을 일관되게 능가했다.
견고성: 제안된 방법들은 다양한 누락율에 대해 견고함을 보여주었다. HMDC-OP와 HMDC-AV는 누락된 특성의 실제 값에 접근할 수 있는 "참조 분류기(Reference Classifier, RefC)"의 성능에 근접했으며, 때로는 이를 능가하기도 했다.
효율성 vs 정확도: HMDC-OP와 HMDC-AV는 구별할 수 없는 예측 점수를 보여주었으나, HMDC-AV가 계산적으로 더 저렴하다는 점이 언급되었다.
의존성의 영향: 이산 변수 간의 조건부 의존성(DAG 구조를 통해)을 모델링하는 것이 다수 클래스에 대한 편향을 완화함으로써 균형 정확도(balanced accuracy), 특히 소수 클래스에 대한 성능을 유의미하게 향상시킨다는 결과가 나타났다.
기본 분류기: 로지스틱 회귀(LR)가 배깅 변형이나 랜덤 포레스트와 같은 다른 분류기에 비해 성능과 계산 효율성의 균형을 제공하는 가장 효과적인 기본 분류기인 것으로 나타났다.

의의 및 주장

본 논문은 HMDC가 혼합 및 불완전한 데이터가 존재하는 상황에서 확률적 다차원 분류를 위한 확장 가능하고 견고한 솔루션을 제공한다고 주장한다. 이산-연속 연결에 대한 구조적 제약을 완화함으로써, 모델은 기존 DMDC 문헌의 중요한 공백을 메우는, 단순한 대체가 아닌 직접적인 특징 예측을 가능하게 한다.

저자들은 자신들의 연구가 불완전한 학습 데이터(단순히 추론 시점의 누락이 아닌)를 위한 학습 프레임워크를 도입하고 더욱 포괄적인 평가를 제공함으로써 이전의 기여(Do et al., 2026)를 확장하고 있음을 강조한다. 이 연구의 의의는 데이터 품질과 완결성을 보장할 수 없는 실제적인 MDC 응용 분야에서 계산 가능성을 유지하면서도 이론적으로 근거가 확실한 접근 방식을 제공한다는 데 있다. 본 연구는 HMDC가 데이터의 결손이 흔히 발생하는 실무적인 MDC 애플리케이션을 위한 실행 가능한 프레임워크임을 시사한다.