🤖 machine learning

Unimodality-Promoting Regularized Learning for Ordinal Regression

본 논문은 이전 방식들에서 발견된 척도 관련 편향을 교정하여 단봉성을 더욱 엄격하게 강제함으로써, 특히 소규모 데이터셋에서 예측 성능을 향상시키는 서열 회귀를 위한 새로운 단봉성 촉진 정규화 학습 방법을 제안한다.

원저자: Ryoya Yamasaki

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

원저자: Ryoya Yamasaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 흐릿한 사진을 보고 용의자의 나이를 추측하려는 형사라고 상상해 보십시오. 당신은 용의자가 성인이라는 것을 알고 있으므로 "아기"나 "노인"은 제외하고, "20대", "30대", 또는 "40대" 사이에서 추측해야 합니다. 이것은 단순한 무작위 추측이 아닙니다. 이 범주들은 자연스러운 순서를 가지고 있습니다. 컴퓨터 과학의 세계에서는 이를 **서열 회귀(ordinal regression)**라고 부릅니다. 이는 기계가 영화 평점("싫음"에서 "좋음"까지)이나 질병의 단계("경증"에서 "중증"까지)처럼 순위나 순서가 있는 개념을 이해하도록 가르치는 기술입니다.

연구자들이 던져온 핵심적인 질문은 이것입니다: 데이터가 백만 장의 사진처럼 아주 많지 않을 때, 어떻게 컴퓨터가 이 추측을 정확하게 하도록 가르칠 것인가? 보통 데이터가 부족하면 컴퓨터는 불안정해지며 매우 일관성 없는 추측을 내놓습니다. 이를 해결하기 위해 과학자들은 컴퓨터에게 하나의 "경험칙"을 제공하려고 노력했습니다. 즉, 특정 연령대(또는 평점)에 속할 확률이 예쁘고 매끄러운 단일 봉우리 형태를 이룬다고 가정하는 것입니다. 만약 어떤 사람이 30세일 가능성이 높다면, 29세나 31세일 가능성도 어느 정도 있지만, 10세나 60세일 가능성은 매우 낮다는 논리입니다. 이 모양을 **단봉형(unimodal)**이라고 합니다. 이 "단일 봉우리" 형태를 따르도록 강제함으로써, 컴퓨터는 데이터가 제한적일 때도 더 안정적으로 작동하며 당황하여 엉뚱한 예측을 하는 일을 줄일 수 있습니다 있습니다.

하지만 여기 반전이 있습니다. 새로운 연구에 따르면 기존의 규칙들이 도움이 되긴 했지만, 다소 지나치게 강압적이었다는 것입니다. 연구진은 이전 방식들이 단순히 "불안정함"을 잡아주는 데 그치지 않고, 컴퓨터를 지나치게 조심스럽게 만들어 추측을 너무 모호하고 넓게 퍼지게 만든다는 것을 발견했습니다. 마치 형사가 "20세에서 50세 사이의 누구라도 될 수 있습니다!"라고 말하는 것처럼 말이죠. 이 새로운 논문은 안정성을 유지하면서도 컴퓨터가 스스로를 불확실하게 느끼지 않도록 만드는, 더 날카롭고 정밀한 도구를 소개합니다.

탐정의 딜레마: 너무 과한 매끄러움?

서열 회귀의 세계에서 우리는 종-종 **단봉성 촉진 정규화 학습(Unimodality-Promoting Regularized Learning, UPRL)**이라는 개념에 의존합니다. 이것을 컴퓨터의 훈련 코치라고 생각해 보십시오. 코치는 컴퓨터에게 이렇게 말합니다. "이봐, 네 추측은 여러 개의 봉우리가 있는 울퉁불퉁한 모습이 아니라, 예쁘고 매끄러운 단일 산봉우리 모양이어야 해." 이는 컴퓨터가 적은 양의 데이터(작은 훈련 데이터)를 접했을 때도 차분하고 일관되게 유지되도록 돕습니다.

한동안 이 방식은 잘 작동하는 듯 보였습니다. 하지만 이 논문의 저자인 야마사키 료야(Ryoya Yamasaki)는 이 코치가 실제로 어떻게 일을 하고 있는지 자세히 들여다보기로 했습니다. 그는 놀라운 사실을 발견했습니다. 기존의 코칭 방식은 두 가지 일을 동시에 수행하고 있었습니다.

추측이 단일한 산 모양이 되도록 성공적으로 만들었습니다(단봉형).
하지만 동시에 산을 너무 넓고 평평하게 만들었습니다.

당신이 온도를 맞추려고 노력한다고 상상해 보십시오. 좋은 추측은 "약 75°F인 것 같습니다"가 될 것입니다. 기존 방식은 마치 코치가 "네 추측이 단일 봉우리 형태가 되도록 하되, 또한 그 봉우리가 매우 넓어야 한다고, 즉 너무 확신하지 말라고" 말하는 것과 같았습니다. 그 결과는 어땠을까요? 컴퓨터는 필요 이상으로 "확신이 없어지거나" "매끄러워졌습니다." 컴퓨터는 "60°F에서 90°F 사이 어디든 될 수 있습니다"라고 추측하기 시작했습니다. 이것이 안전해 보일 수는 있지만, 실제로는 **척도 관련 편향(scale-related bias)**이라는 새로운 종류의 오류를 유발합니다. 컴퓨터는 틀리는 것이 너무 두려운 나머지 정밀함을 포기하게 된 것입니다.

새로운, 더 날카로운 도구

야마사키의 논문은 Strict UPRL이라 불리는 새로운 방법을 제안합니다. 만약 기존의 코치가 "매끄럽고 안전하게 행동하라"고 말했다면, 새로운 코치는 "단일 산 모양을 유지하되, 단지 그 이유만으로 봉우리를 깎아내려 평평하게 만들지는 마라"고 말합니다.

연구자는 새로운 수학적 "정규화 항(regularizer)"(학습 과정에 추가되는 규칙)을 구축했습니다. 이는 울퉁불퉁하고 여러 개의 봉우리가 있는 추측은 엄격하게 처벌하지만, 날카롭고 자신감 있는 봉우리는 처벌하지 않습니다.

기존 방식: 만약 컴퓨터가 날카로운 봉우리를 추측한다면, 기존의 규칙은 여전히 "아니야, 더 넓게 만들어!"라고 말할 수 있습니다.
새로운 방식: 만약 컴퓨터가 데이터와 일치하는 날카롭고 단일한 봉우리를 추측한다면, 새로운 규칙은 "완벽해, 바로 우리가 원하는 거야. 벌칙은 없어"라고 말합니다.

실험 결과

이를 테스트하기 위해 연구팀은 자동차 가격부터 질병 단계에 이르기까지 21개의 실제 데이터셋을 사용하여 시뮬레이션을 실행했습니다. 그들은 25개의 매우 작은 데이터 세트부터 800개의 큰 데이터 세트까지 다양한 양의 훈련 데이터를 활용했습니다.

결과는 다음과 같았습니다:

기존 방식의 스윗 스팟(Sweet Spot): 훈련 데이터가 매우 적을 때(예: 25개), 특히 데이터가 본래 "넓게 퍼져 있는(large scale)" 경우 기존 방식이 꽤 잘 작동했습니다. 지나치게 매끄럽게 만드는 경향이 데이터 부족으로 인한 격한 추측을 안정시키는 데 도움이 되었기 때문입니다.
새로운 방식의 스윗 스팟: 훈련 데이터가 늘어남에 따라(400개 또는 800개), 기존 방식은 흔들리기 시작했습니다. "지나치게 매끄럽게 만드는" 습관이 약점이 되어, 잠재적인 정확도보다 낮은 성능을 보였습니다. 그러나 새로운 Strict UPRL 방식은 여기서 빛을 발했습니다. 이 방식은 "과도한 매끄러움"의 함정을 피하면서도, 특히 데이터 자체가 "조밀하거나 작은 척도(small scale)"인 경우 더 정확한 예측을 제공했습니다.
결론: 이 연구는 기존 방식의 성공이 단순히 "단일 산" 규칙을 강제했기 때문이 아니라, 부분적으로는 "모호하게 만들기"를 의도치 않게 강제했기 때문임을 시사합니다. 새로운 방식은 "단일 산" 규칙의 안정성을 얻으면서도 "모호함"이라는 대가를 치르지 않아도 된다는 것을 증명했습니다.

이것이 왜 중요한가

이것은 단순한 수학 문제가 아니라, 자신의 도구를 언제 믿어야 하는지에 관한 문제입니다. 이 논문은 많은 실세계 문제에서 "단봉형"이라는 아이디어가 강력한 도구임을 보여줍니다. 하지만 우리는 이를 주의해서 사용해야 합니다. 만약 데이터가 아주 적다면, 약간의 "모호한 매끄러움"이 실제로 도움이 될 수 있습니다. 하지만 데이터가 더 많거나 데이터 자체가 정밀하다면, "단일 산"의 형태는 존중하되 컴퓨터를 불확실하게 만들지는 않는 방법이 필요합니다.

저자는 새로운 방식이 계산하는 데 시간이 조금 더 걸린다는 점을 인정하지만, 현재로서는 속도보다 수학적 정확성을 맞추는 것이 더 중요하다고 주장합니다. 그들은 향후에 "안전함"과 "정밀함" 사이의 균형을 조절하여 구형과 신형 방식을 혼합하여 사용할 수 있을 것이라고 제안합니다.

요약하자면, 이 논문은 "매끄러운 것"이 항상 "옳은 것"과 같지는 않다는 교훈을 줍니다. 게임의 규칙을 정교하게 다듬음으로써, 우리는 컴퓨터가 안정적이면서도 날카로운 추측을 할 수 있도록 도와, 영화 평점부터 질병 진단에 이르기까지 더 나은 예측을 할 수 있게 할 수 있습니다.

기술 요약: 서수 회귀를 위한 단봉성 촉진 정규화 학습 (Unimodality-Promoting Regularized Learning)

문제 정의
서수 회귀(Ordinal Regression, OR)는 타겟 범주가 자연스러운 순서(예: 리커트 척도, 연령대)를 갖는 데이터를 분류하는 작업이다. 많은 실제 서수 데이터셋의 핵심적인 특징은 설명 변수가 주어졌을 때 타겟 변수의 조건부 확률 분포(CPD)가 단봉형(unimodal)이거나 단봉형에 가깝다는 점이다. 기존 연구들은 특히 훈련 데이터 크기가 작을 때 예측 성능을 향상시키기 위해 이러한 "단봉성 가설(unimodality hypothesis)"을 활용해 왔으나, 기존의 단봉성 촉진 정규화 학습(UPRL) 방법들은 이론적인 결함을 가지고 있다. 이러한 방법들은 단봉성을 장려할 뿐만 아니라 의도치 않게 예측된 CPD의 "매끄러움(smoothness)"(또는 더 큰 스케일/낮은 확신도)을 조장한다. 이러한 의도치 않은 매끄러움 조장은 스케일 관련 편향(scale-related bias)을 유발하며, 이는 밑바닥의 CPD 스케일이 작은 데이터나 훈련 데이터 크기가 커지는 경우 성능을 저하시킬 수 있다.

방법론
본 논문은 이전 접근 방식에서 발견된 의도치 않은 스케일 관련 편향을 유발하지 않으면서 단봉성을 강제하도록 설계된 새로운 "엄격한 UPRL(strict UPRL)"이라 명명된 UPRL 방법을 제안한다.

이전 방법론 분석: 저자는 연속적인 확률 차이에 대한 ReLU 기반 페널티의 합으로 정의되는 기존 UPRL 연구들(예: [13]–[17])의 정규화 항을 분석한다. 저자는 이론적 분석과 시뮬레이션을 통해, 이 정규화 항이 (분포가 완벽하게 균등하지 않는 한) 예측된 CPD가 실제 단봉형 CPD와 일치할 때 최솟값을 달eric지 못한다는 것을 입증한다. 대신, 이 정규화 항은 더 매끄러운 분포를 선호하며, 결과적으로 단봉형임에도 불구하고 높은 확신도(작은 스케일)를 가진 예측을 효과적으로 페널티를 부여한다.
엄격한 UPRL (Strict UPRL): 이를 해결하기 위해, 저자는 예측된 CPD와 단봉형 확률 질량 함수 집합( $\hat{\Delta}_{K-1}$ ) 사이의 하우스도르프 거리( $D_H$ )를 기반으로 하는 새로운 정규화 항을 제안한다. 이 정규화 항은 다음과 같이 정의된다:
$\Omega_{stri}(g) = \frac{1}{n} \sum_{i=1}^{n} D_H(Q(g(x_i)), \hat{\Delta}_{K-1})$
이 공식은 예측된 CPD가 단봉형이라면 스케일에 관계없이 기대값에 대한 정규화 항의 기여도가 최소값(0)이 되도록 보장한다.
최적화: 제안된 방법은 경사 하강법(gradient descent)과 이차 계획법(quadratic programming)을 포함하는 3단계 반복 최적화 과정을 활용한다. 각 데이터 포인트에 대해, 알고리즘은 현재 예측에 가장 가까운 단봉형 분포를 계산하여 정규화 항의 기울기를 구한다.
실험 설정: 본 연구는 비정규화 학습(MLR), 기존 UPRL 방법, 그리고 단봉성 기반 우도 모델(UL 및 AUL)을 대상으로 제안된 방법을 평가한다. 실험은 다양한 훈련 크기( $n_{tra} = 25$ ~ $800$)와 다양한 데이터 스케일(밑바닥 CPD의 퍼짐 정도로 측정)을 가진 21개의 실제 서수 데이터셋에서 수행되었다.

주요 기여

이론적 통찰: 본 논문은 기존 UPRL 방법들이 의도치 않은 "매끄러움 조장" 편향을 유발하며, 이것이 단봉성의 진정한 기여도 평가를 혼란스럽게 한다는 점을 식별하고 증명한다.
새로운 알고리즘: 예측의 스케일(확신도)을 페널티를 주지 않으면서 단봉성을 엄격하게 강제하는 새로운 엄격한 UPLR 방법을 도입하여, 스케일 관련 편향을 제거한다.
경험적 검증: 광범위한 실험을 통해 다음을 검증한다:
- 단봉성 촉진은 일반적으로 훈련 데이터가 적을 때 성능을 향상시킨다.
- 기존 UPRL 방법은 훈련 크기가 작고 밑바닥 데이터의 스케일이 큰 경우(데이터가 넓게 퍼진 경우) 성능이 더 좋은데, 이는 아마도 그들의 매끄러움 조장 특성 때문이다.
- 제안된 엄격한 UPRL 방법은 불필요한 매끄러움 조장으로 인한 편향을 피함으로써, 스케일이 작은 데이터와 훈련 데이터 크기가 더 큰 경우에서 기존 UPRL 방법보다 우수한 성능을 보인다.

결과
21개의 실제 데이터셋에 대한 수치 실험 결과는 다음과 같다:

기존 및 엄격한 UPRL 방법 모두 비정규화 학습에 비해 단봉성 편차(UD)를 성공적으로 감소시킨다.
기존 UPRL 방법은 엄격한 UPRL 방법보다 일관되게 더 큰 스케일(더 매끄러운 분포)의 예측을 생성한다.
예측 성능(NLL 및 MZE) 측면에서:
- 훈련 크기가 작을 때( $n_{tra} \le 100$ ), AUL 모델과 UPRL의 조합이 효과적이다. 기존 UPRL은 스케일이 큰 데이터셋에서 우세한 경향이 있는 반면, 엄격한 UPRL은 스케일이 작은 데이터셋에서 우세하다.
- 훈련 크기가 클 때( $n_{tra} \ge 400$ ), 엄격한 UPRL 방법(종종 제한 없는 MLR과 결함)이 기존 UPRL 방법보다 뛰어난 성능을 보이는데, 이는 편향 감소가 분산 감소보다 더 중요해지기 때문이다.
- 훈련 크기가 더 커지면( $n_{tra} = 800$ ) 비정규화 학습이 경쟁력을 갖거나 더 우수해진다.

의의 및 주장
본 논문은 단봉성 촉진 자체가 특히 데이터가 부족할 때 서수 회귀를 개선하기 위한 유효하고 효과적인 전략이라고 주장한다. 그러나 저자는 기존 UPRL 방법의 성공이 부분적으로 의도치 않은 매끄러움 조장과 혼동되었음을 주장한다. 단봉성 촉진을 매끄러움 촉진으로부터 분리함으로써, 제안된 엄격한 UPRL 방법은 더 이론적으로 견고한 접근 방식을 제공한다.

저자는 제안된 방법이 가장 가까운 단봉형 분포를 찾기 위해 필요한 이차 계획법으로 인해 높은 계산 비용이 발생한다는 점을 겸허히 언급하며, 이를 향후 연구에서 해결해야 할 약점으로 인정한다. 저자는 제안된 방법이 단봉성 개념의 엄밀성을 우선시하지만, 향후 연구는 계산 효율적인 구현을 개발하고 단봉성과 매끄러움 촉진 사이의 균형을 가중치 조합을 통해 조정하는 데 집중해야 한다고 결론짓는다.

탐정의 딜레마: 너무 과한 매끄러움?

새로운, 더 날카로운 도구

실험 결과

이것이 왜 중요한가

유사한 논문