🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

이 논문은 다양한 데이터셋에 걸쳐 예측 집합의 너비와 서열적 미피복(ordinal miscoverage)의 심각도 사이의 균형을 효과적으로 맞추기 위해, 순위 확률 점수(ranked probability score)를 비적합도 척도로 사용하여 연속적이고 중앙값 중심적인 예측 집합을 생성하는 서열 분류를 위한 모델 불가지론적(model-agnostic) 등각 예측 방법을 소개한다.

원저자: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 안전망을 갖춘 예측하기

당신이 환자의 나이를 추측하려는 의사이거나, 기업의 위험 수준을 예측하려는 금융 분석가라고 상상해 보세요. 이런 상황에서 정답은 단순히 "빨강", "파랑", "초록" 같은 무작별한 카테고리가 아닙니다. 정답에는 "아기", "어린이", "청소년", "성인", "노인"과 같은 자연스러운 순서가 있습니다. 이를 **서수 분류(Ordinal Classification)**라고 합니다.

문제는 아무리 뛰어난 AI 모델이라도 실수를 할 수 있다는 점입니다. 때로는 실제로는 "노인"인데 "청소년"이라고 예측하기도 합니다. 의료나 금융처럼 중요한 분야에서는 그 실수의 크기가 매우 중요합니다. "성인" 대신 "노인"이라고 예측하는 것은 작은 실수이지만, "아기" 대신 "노인"이라고 예측하는 것은 매우 크고 위험한 실수입니다.

이 논문은 AI 예측에 대한 새로운 방식의 "안전망"을 구축하는 방법을 소개합니다. 단순히 하나의 답을 내놓는 대신, AI는 가능성 있는 답변의 범위(예측 집합)를 제공합니다. 목표는 실제 정답이 그 범위 안에 포함되도록 보장하면서도, 범위가 너무 넓어지거나 중간 단계들을 건너뛰지 않도록 하는 것입니다.

기존 방식의 문제점: "탐욕스러운" 접근법

기존의 대부분의 방법은 AI의 "최선의 추측"(가장 확률이 높은 답)에서 시작하여, 마치 탐욕스러운 식도락가가 옆에 있는 음식을 크게 한 입씩 베어 물듯 주변으로 범위를 확장하며 안전망을 만들려고 했습니다.

결함: AI가 어떤 환자를 보고 "청소년"일 확률 40%, "노인"일 확률 35%, "어린이"일 확률은 아주 낮다고 판단한다고 가정해 봅시다.

기존 방식: "청소년"에서 시작하여 다음으로 확률이 큰 "어린이"를 가져옵니다. 잠시 동안 "노인"은 무시합니다.
결과: 안전망은 {청소년, 어린이}가 될 수 있습니다. 만약 환자가 실제로 "노인"이라면, 안전망은 완전히 실패하며 그 오차는 엄청나게 커집니다(청소년에서 노인으로 급격히 도약). 기존 방식은 망의 크기(Size)에만 신경을 쓸 뿐, 실수의 거리(Distance)에는 신경 쓰지 않습니다.

새로운 해결책: "균형 잡힌 저울" (순위 확률 점수, RPS)

저자들은 **순위 확률 점수(Ranked Probability Score, RPS)**라는 개념을 사용하는 새로운 방법을 제안합니다. 이것은 균형 잡힌 저울 또는 줄타기 곡예사와 같습니다.

가장 확률이 높은 답에서 시작해 이웃을 잡아채는 대신, 이 방법은 가능성의 전체 분포를 살펴보고 중앙(중앙값)으로부터 바깥쪽으로 안전망을 구축합니다.

작동 방식:

중심 찾기: AI의 불확실성의 중심점을 찾습니다.
균형 있게 확장: 중심으로부터 좌우로 다음으로 확률이 높은 옵션들을 추가하며, 양쪽의 "무게"가 균형을 이루도록 노력합니다.
결과: 안전망은 항상 연속적인 블록(빈틈이 없는 형태)이 됩니다. AI가 확신이 없다면, 안전망은 중간 지대를 포함하도록 확장됩니다.

비유:
온도를 맞추려고 노력한다고 상상해 보세요.

기존 방식 (최빈값 중심): "70°F"라고 추측합니다(가장 확률이 높은 값). 그리고 그 근처인 "69°F"와 "71°F"를 추가합니다. 하지만 실제 온도가 "50°F"(한파)라면, 당신의 안전망 {69, 70, 71}은 아무런 쓸모가 없습니다. 추위(Cold)를 완전히 놓쳤기 때문입니다.
새로운 방식 (RPS/중앙값 중심): 전체 그림을 봅니다. 만약 AI가 "추움", "온화함", "더움" 사이에서 혼란스러워한다면, 새로운 방식은 극단적인 상황을 놓치지 않도록 "온화함" 전체 범위를 아우르는 안전망을 구축합니다. 이 방식은 오차의 거리를 최소화하는 것을 우선시합니다. 만약 틀리더라도, 아주 크게 틀리는 것이 아니라 조금만 틀리기를 원하는 것입니다.

왜 이것이 중요한가: "연속성" 규칙

서수(Ordinal) 문제에서 안전망은 반드시 단단한 하나의 블록이어야 합니다. "아기이거나 노인이지만, 어린이는 확실히 아니다"라는 식의 안전망은 말이 되지 않습니다.

이 논문은 새로운 방법이 항상 단단하고 끊김 없는 답변 블록을 만들어낸다는 것을 수학적으로 증명합니다. 데이터가 "종 모양(단봉형)"이라는 특별한 가정을 할 필요가 없습니다. 설령 AI가 혼란스러워하여 답이 두 가지 서로 다른 것(예: "아기"와 "노인", 그 사이에는 아무것도 없음)일지라도, 이 방법은 빈틈을 채워 안전망이 연속적이 되도록 보장합니다.

"속도"의 이점

보통 완벽한 안전망을 찾는 데는 많은 컴퓨터 연산(가능한 모든 숫자 조합을 시도하는 것과 같은)이 필요합니다. 저자들은 자신들의 방법이 매우 빠르다는 것을 보여줍니다. 이는 미로를 헤매며 탐색하는 대신, 단 한 번의 과정으로 완벽한 망을 계산할 수 있는 지름길을 가진 것과 같습니다. 이는 실제 현장에서 사용하기에 매우 실용적입니다.

결과: 더 나은 균형

저자들은 이미지(얼굴을 통한 연령 추정 또는 의료 스캔을 통한 질병 심각도 감지 등)와 데이터 테이블(신용 점수 등)을 통해 테스트했습니다.

효율성: 새로운 방법은 적절한 크기의 안전망(효율적임)을 만듭니다.
안전성: 결정적으로, 안전망이 실패했을 때(실제 답이 망 밖에 있을 때), 그 오차는 기존 방식보다 훨씬 작습니다.
- 기존 방식: "청소년이라고 예측했는데, 알고 보니 노인이었습니다." (거대한 오차).
- 새로운 방식: "청소년이라고 예측했는데, 알고 보니 성인이었습니다." (작은 오차).

요약

이 논문은 AI가 "100% 확신할 수는 없지만, 정답이 이 범위 안에 있을 것이라고 꽤 확신합니다"라고 말하는 더 똑똑한 방법을 소개합니다.

단순히 인기 있는 추측들을 맹목적으로 가져오는 대신, 이 방법은 균형 잡히고 연속적인 안전망을 구축하여, 만약 AI가 틀리더라도 치명적인 실수가 아닌 약간의 실수에 그치도록 보장합니다. 이는 마치 줄타기 곡예사가 항상 중앙에서 균형을 유지하여, 가장자리로 크게 발을 내디뎌 위험해지는 일을 방지하는 것과 같습니다.

기술 요약: 순위 확률 점수(Ranked Probability Score)를 이용한 신뢰할 수 있는 서열 분류용 콤포멀 예측

문제 정의

서열 분류(Ordinal Classification, OC)는 자연스러운 선형 순서(예: 질병 심각도, 연령대, 신용 등급)를 가진 이산 레이블을 예측하는 것을 포함한다. 점 예측(point prediction) 분야에서는 상당한 진전이 있었으나, 의료나 금융과 같은 고위험 도메인에서 불확실성 정량화(Uncertainty Quantification, UQ)는 여전히 미발달 상태이다. 표준 콤포멀 예측(Conformal Prediction, CP)은 분포에 무관한(distribution-free) 예측 집합을 제공하며 주변 피복률(marginal coverage) 보장을 제공하지만, 서열 설정에서는 다음과 같은 구체적인 과제에 직면한다:

연속성(Contiguity): 예측 집합은 레이블의 순서를 존중하기 위해 연속적인 구간(예: {아동, 청소년, 성인})이어야 한다. 비연속적인 집합(예: {아동, 노인})은 의미론적으로 부적절하다.
서열 리스크(Ordinal Risk): 실제 레이블이 예측 집합을 벗어날 때(미피복 발생 시), 오차의 심각도는 서열 거리(ordinal distance)에 따라 달라진다. 집합 크기를 최소화(효율성)하는 방법은 집합이 실패했을 때 실제 레이블을 큰 차이로 놓칠 수 있으며, 이는 치명적인 리스크 과소 추정으로 이어질 수 있다.
분포 가정(Distribution Assumptions): 기존 방법들은 연속성을 보장하기 위해 탐욕적 탐색(greedy search) 절차에 의존하거나 단봉성(unimodality, 예측 분포의 단일 정점)을 강제하는 경우가 많다. 이러한 가정은 복잡한 데이터(예: 전문가 의견 불일치로 인한 양봉 분포)에서 성립하지 않을 수 있으며, 편향된 불확실성 추정치를 초래할 수 있다.

현재의 접근 방식들은 예측 모델에 강력한 구조적 편향을 부과하지 않으면서 집합 효율성과 서열 미피복 크기의 최소화 사이의 균형을 맞추는 데 어려움을 겪고 있다.

방법론

저자들은 **순위 확률 점수(Ranked Probability Score, RPS)**를 기반으로 하는 모델 불가지론적(model-agnostic) 서열 분류용 CP 방법을 제안한다.

핵심 메커니즘:

비적합도 점수(Nonconformity Score): 본 방법은 최빈값 중심 점수(Least Ambiguous Set-valued Classifier 또는 Adaptive Prediction Sets와 같은) 대신 RPS를 비적합도 척도로 사용한다. RPS는 누적 예측 분포에 대해 정의된 엄격한 적정 점수 규칙(strictly proper scoring rule)이다:
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
여기서 $F_X(k)$ 는 예측 누적 분포 함수(CDF)이고 $K$ 는 클래스의 수이다.
예측 집합 구축: 테스트 인스턴스 $X_{n+1}$ 과 미피복률 $\alpha$ 에 대하여, 예측 집합은 다음과 같이 정의된다:
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
여기서 $\hat{q}_{1-\alpha}$ 는 캘리브레이션 세트에서 계산된 RPS 점수의 경험적 $(1-\alpha)$ -분위수이다.

이론적 특성:
본 논문은 RPS 기반 콤포멀 집합에 대한 세 가지 핵심 속성을 입증한다:

주변 피복률(Marginal Coverage): 이 방법은 교환 가능성(exchangeability) 가정을 충족할 때, 기저 예측 모델에 관계없이 표준적인 주변 피복률 보장( $P(Y \in C(X)) \geq 1-\alpha$ )을 만족한다.
연속성 및 중앙값 중심(Median-Centering): 최빈값 기반 접근 방식과 달리, RPS 기반 집합은 구조적으로 연속적이다. RPS 점수 함수는 예측 분포의 중앙값(median) 주변에서 V자 형태를 띤다. 결과적으로, 예측 집합은 최빈값이 아닌 중앙값을 중심으로 하는 연속적인 구간이 된다. 이는 양봉 분포(multimodal distributions)에서도 성립하며, 최빈값과 중앙값이 서로 다른 경우에도 유효하다.
서열 리스크 최적화(Ordinal Risk Optimality): 오라클 조건부 피복(oracle conditional coverage) 설정(즉, 실제 조건부 분포가 알려진 경우) 하에서, RPS 기반 집합은 실제 레이블과 예측 집합 사이의 기대 $L_1$ 거리(서열 리스크)를 최소화한다. 이 방법은 단순히 집합의 카디널리티를 줄이는 것이 아니라 서열 리스크의 감소를 최적화한다.

계산 효율성:
본 방법은 계산적으로 효율적이다. 모든 $K$ 개의 레이블에 대해 나이브하게 RPS를 계산하면 $O(K^2)$ 이 소요되지만, 저자들은 모든 점수를 선형 시간 $O(K)$ 내에 계산할 수 있는 재귀 관계를 보여준다. 전체 복잡도는 캘리브레이션 포인트의 수와 레이블 수 모두에 선형적으로 비례하여 확장된다.

주요 기여

새로운 비적합도 척도: 서열 콤포멀 예측을 위해 모델 불가지론적이고 적절한(proper) 비적합도 척도로서 순위 확률 점수(RPS)를 도입하였다.
이론적 보장: RPS 기반 집합이 주변 피복률을 만족하고, $\alpha$ 에 대해 중첩(nested)되며, 단봉성 가정을 요구하지 않고도 본질적으로 연속적이며 중앙값 중심임을 증명하였다.
리스크 최적화: RPS 기반 집합이 최빈값 중심 방법들이 집합 효율성을 우선시하는 것과 대조적으로, 오라클 조건부 피복 하에서 서열 리스크(집합 기반 $L_1$ 오차)를 직접 최적화함을 입증하였다.
효율성: 기존의 서열 CP 방법들에서 요구되는 탐욕적 탐색이나 이진 탐색 절차를 피하는 선형 시간 구현 알고리즘을 제공한다.
경험적 검증: 서열 이미지(BACH, RetinaMNIST, FGNet) 및 테이블 데이터셋을 사용하여 min-CPS, COPOC (LAC/APS), OCDF와 같은 베이스라인과 비교하며 포괄적인 평가를 수행하였다.

실험 결과

저자들은 효율성과 서열 리스크를 모두 포착하는 지표를 사용하여 여러 데이터셋에서 방법을 평가하였다:

미피복 크기(Miscoverage Magnitude): 평균 절대 미피복 크기(MAMM)와 최악의 경우 절대 미피복 크기(WAMM)로 측정되었다. RPS 기반 집합은 최빈값 중심 방법(min-CPS, COPOCL, COPOCA)보다 일관되게 낮은 MAMM 및 WAMM을 달로, 오차가 발생하더라도 실제 레이블이 예측 집합에 더 가깝다는 것을 나타냈다.
효율성 vs. 리스크 트레이드오프: 넓은 구간과 큰 미피복 거리에 모두 페널티를 주는 평균 구간 점수 손실(Average Interval Score Loss, AISL)로 측정되었다. RPS 기반 집합은 베이스라인보다 우수한 성능을 보이며 유리한 균형을 달성했다.
연속성: 모든 RPS 기반 집합은 연속적이었으나(CV = 0), 비서열 베이스라인(LAC, APS)은 빈번하게 연속성을 위반하였다.
강건성: 양봉 예측 분포(예: 양봉 형태의 전문가 의견)가 있는 경우, 최빈값 중심 방법은 단일 최고 확률 정점에 집중하여 서열 리스크를 과소 추정하는 경향이 있는 반면, RPS는 견고한 성능을 유지하였다.

의의 및 주장

본 논문은 RPS 기반 콤포벌 예측이 강건하고 다재다능한 솔루션을 제공한다고 주장한다. 주요 의의는 다음과 같다:

충실한 불확실성 표현: 설계상 중앙값 중심이며 연속적이기 때문에, 최빈값 기반 접근 방식이 실패할 수 있는 왜곡되거나 양봉인 분포의 경우에도 서열 구조와 관련 리스크를 정확하게 반영한다.
고위험 적용 가능성: 이 방법은 오차의 비용이 서열 거리에 비례하는 의료 진단이나 금융 리스크 평가와 같은 도메인에서 필수적인 미피복의 심각도를 최소화한다.
실용성: 특정 구조적 제약(단봉성 등)이나 값비싼 탐색 절차에 의존하지 않는 계산 효율적이고 모델 불가지론적인 프레임워크를 제공하여, 모든 확률적 예측기에 적용 가능하다.

저자들은 RPS 기반 집합이 항상 가장 작은 예측 집합(효율성 극대화)을 생성하지는 않을 수 있지만, 구간 너비와 서열 미피복 크기 사이의 탁월한 균형을 맞춤으로써 실세계의 서열 예측 작업에 있어 더욱 신뢰할 수 있는 선택지가 된다고 결론짓는다. 향후 연구로는 이 프레임워크 내에서 불확실성을 인식론적(epistemic) 성분과 알레아토리(aleatoric) 성분으로 분해하는 것을 제안하였다.