📊 statistics

Exact Reformulation and Optimization for Direct Metric Optimization in Binary Imbalanced Classification

본 논문은 매끄러운 근사치에 의존하지 않고 이진 불균형 분류에서 정밀도, 재현율 및 F1-스코어를 직접적이고 효과적으로 최적화할 수 있게 하는 정확한 제약 재구성 및 최적화(ERO) 프레임워크를 소개하며, 여러 벤치마크 데이터셋에 걸쳐 최신 기법들보다 우수한 성능을 입증한다.

원저자: Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

머신러닝의 세계에서 컴퓨터는 도서관 사서가 책을 장르별로 분류하는 것과 유사하게 사물을 카테고리로 분류하는 법을 배웁니다. 분류(classification)라고 알려진 이 과정은 의료 진단부터 사기 탐지에 이르기까지 현대 기술의 근간을 이루는 핵심 요소입니다. 그러나 현실 세계는 결코 카테고리의 완벽한 균형을 이루지 않습니다. 많은 중요한 상황에서 한 그룹이 다른 그룹보다 훨씬 더 작습니다. 은행은 수백만 건의 정상 거래를 보지만 단 몇 건의 사기 거래만을 목격할 수 있으며, 병원은 수천 명의 건강한 환자를 치료하지만 희귀 질환을 가진 환자는 극소수일 수 있습니다. 이러한 불균형은 표준 컴퓨터 프로그램에 함정을 만듭니다. 만약 시스템이 매번 다수 클래스(majority class)를 단순히 예측한다면, 그 양적인 규모 덕분에 매우 높은 정확도를 보이는 것처럼 보이겠지만, 가장 중요한 임무인 희귀하고 결정적인 사례를 찾아내는 데는 완전히 실패하게 될 것입니다.

이를 해결하기 위해 과학자들은 컴퓨터가 희귀한 그룹에 더 신경을 쓰도록 가르치기 위해 오랫동안 노력해 왔습니다. 그들은 단순한 정확도를 넘어, 희귀 항목을 얼마나 잘 찾아내는지(재현율, recall이라 불리는 척도)와 찾아냈다고 주장할 때 얼마나 확신이 있는지(정밀도, precision이라 불리는 척도)에 초점을 맞춘 다양한 성공 측정 방식을 개발했습니다. 문제는 이러한 목표들이 종종 서로 상충한다는 점에 있습니다. 지나치게 조심스러운 시스템은 오보를 피하기 위해 많은 희귀 사례를 놓칠 수 있고, 너무 의욕적인 시스템은 모든 사례를 잡아내기는 하겠지만 너무 많은 무고한 사례까지 경고할 수 있습니다. 수십 년 동안 연구자들은 특히 특정 성능(예를 들어, 모든 사기의 95% 이상을 포착하면서 동시에 낮은 오보율을 유지하는 것)을 보장해야 할 때, 이러한 구체적인 목표를 직접 최적화할 수 있는 알고리즘을 구축하기 위해 고군분투해 왔습니다. 이를 수행하는 데 필요한 수학적 도구들은 결정 규칙이 들쭉날쭉하고 불연속적이어서, 대부분의 컴퓨터 학습이 의존하는 부드럽고 단계적인 개선 방식으로는 다루기 까다롭기로 악명이 높았습니다.

한 연구팀은 이제 이러한 수학적 어려움을 뚫고 이 문제들을 직접 해결할 수 있는 새로운 접근 방식을 개발했습니다. 이전의 방법들처럼 결정 규칙의 거친 모서리를 부드럽게 다듬는 대신, 그들은 컴퓨터가 굴곡진 지형을 있는 그대로 탐색할 수 있도록 문제를 재구성하는 방법을 찾아냈습니다. 그들의 연구는 실제 응용 분야에서 매우 중요한 세 가지 시나리오에 초점을 맞춥니다: 높은 확신도를 보장하면서 희귀 항목의 발견을 극대화하는 것, 높은 발견도를 보장하면서 확신도를 극대화하는 것, 그리고 이 둘 사이의 최적의 균형을 찾는 것입니다. 이 과업들에 대한 정밀한 수학적 재구성을 통해, 그들은 이전에는 이러한 날카롭고 이진적인 결정들을 처리할 수 없었던 강력한 최적화 도구들을 사용할 수 있게 했습니다.

연구진은 의료 영상, 텍텍스트 기록, 금융 거래 로그를 포함한 다양한 실제 데이터셋을 통해 새로운 방법을 테스트했습니다. 이 테스트에서 그들은 현재 사용 가능한 최고의 기존 도구들과 비교했습니다. 결과는 놀라웠습니다. 기존의 방법들은 종-종 엄격한 요구 사항을 충족하지 못했으며, 때로는 실제 적용이 수학적으로 불가능한 솔루션을 생성하기도 했지만, 새로운 방법은 제약 조건을 만족하는 솔루션을 일관되게 찾아냈습니다. 예를 들어, 양성 사례의 최소 90%를 찾으면서 높은 정밀도를 유지하라는 과업이 주어졌을 때, 새로운 접근 방식은 다른 방식들이 실패한 지점에서 성공하며 실행 가능하면서도 매우 효과적인 모델을 제공했습니다. 정밀도와 재현율 사이의 균형을 찾는 시나리오에서도 새로운 방법은 경쟁자들을 압도하며 더 신뢰할 수 있는 시스템으로 이어지는 더 나은 절충안을 찾아냈습니다.

이 성공의 핵심은 연구진이 '지시 함수(indicator function)'를 어떻게 처리했느냐에 달려 있습니다. 지시 함수는 예측이 올바른지에 따라 켜지거나 꺼지는 수학적 스위치입니다. 기존의 시도들은 이 날카로운 스위치를 계산을 쉽게 만들기 위해 마치 정사각형 원을 그리려는 것과 유사한 부드러운 곡선 근사치로 대체했습니다. 이는 수학을 쉽게 만들었지만, 특히 엄격한 규칙이 개입될 때 결과의 신뢰성을 떨어뜨리는 오류를 초래했습니다. 새로운 방법은 이러한 함정을 완전히 피합니다. 이들은 보조 변수(auxiliary variables) 세트를 도입하여 컴퓨터가 그래디언트(gradient, 개선 방향)를 계산할 수 있는 능력을 잃지 않으면서도 날카롭고 정확한 규칙을 다룰 수 있는 가교 역할을 하게 했습니다. 이를 통해 알고리즘은 근사 오류로 인해 길을 잃거나 경로를 벗어나지 않고 최적의 솔루션을 향해 올라갈 수 있습니다.

연구팀은 또한 그들의 방법이 다양한 유형의 데이터에 걸쳐 견고하다는 것을 입증했습니다. 뼈의 영상, 의료 상태를 설명하는 텍스트, 또는 신용카드 사용 기록을 다루든 상관없이 이 접근 방식은 유효했습니다. 많은 경우, 기존 방법들은 서류상으로는 좋아 보이지만 새로운 데이터를 테스트할 때 기본 요구 사항을 충족하지 못하는 모델을 만들어냈습니다. 반면, 새로운 방법은 훈련 데이터에 대해 최적의 솔루션을 찾을 뿐만 아니라 새로운 상황에 적용될 때도 그 성능을 유지했습니다. 이는 이 방법이 단순히 데이터를 맞추기 위한 수학적 트릭을 찾는 것이 아니라, 더 신뢰할 수 있는 의사결정 방식을 실제로 학습한다는 것을 시사합니다.

연구진은 현재의 작업이 결정론적(deterministic)이며 대규모 데이터셋으로 확장하기 위해 추가적인 개발이 필요할 수 있음을 인정하면서도, 제시된 결과는 중대한 진전이라고 밝혔습니다. 그들은 근사치의 불안정한 토대에 의존하지 않고도 이러한 어려운 실제 지표들을 직접 최적화하는 것이 가능하다는 것을 보여주었습니다. 이는 희귀한 사건을 놓치거나 오보를 내는 것이 심각한 결과를 초래할 수 있는 고위험 분야에서 더 신뢰할 수 있는 AI 시스템을 구축할 수 있는 문을 열어줍니다. 문제를 정확하고 매끄럽지 않은 특성 그대로 다룰 수 있는 프레임워크를 제공함으로써, 이 연구는 데이터가 심하게 치우쳐 있고 이해관계가 걸려 있는 상황에서도 요구되는 대로 정확히 수행할 수 있는 지능형 시스템을 구축하는 더 명확한 경로를 제시합니다.

기술 요약: 이진 불균형 분류에서의 직접 메트릭 최적화를 위한 정확한 재정식화 및 최적화

문제 정의
이진 불균형 분류(IC)에서 정확도(accuracy)와 같은 표준 메트릭은 종종 오해의 소지가 있습니다. 기존 방법들은 균형 정확도(balanced accuracy)를 최적화하거나 정밀도(precision), 재현율(recall), F1-score와 같이 미분 불가능한 메트릭을 처리하기 위해 매끄러운 근사치(smooth approximations)를 자주 사용하지만, 이러한 접근 방식은 상당한 한계에 직면합니다. 구체적으로, 클래스의 중요도가 변하거나 특정 메트릭 수준을 보장해야 하는 경우(예: 재현율 $\ge$ 95%를 보장하면서 정밀도를 최대화하는 경우), 수치적 불일치와 기울기 소실(vanishing gradients)로 인해 실행 불가능한 해(infeasible solutions)나 하위 최적 운영 지점(suboptimal operating points)이 발생할 수 있습니다.

본 논문은 이진 IC에 대한 세 가지 직접 메트릭 최적화(Direct Metric Optimization, DMO) 문제를 다룹니다:

FPOR: 정밀도를 고정하고 재현율을 최적화 (정밀도 $\ge \alpha$ 라는 조건 하에 재현율 최대화).
FROP: 재현율을 고정하고 정밀도를 최적화 (재현율 $\ge \alpha$ 라는 조건 하에 정밀도 최대화).
OFOS: F1-score를 최적화 (F1 메트릭을 직접 최대화).

핵심적인 기술적 과제는 이러한 메트릭들이 지시 함수(indicator functions, $1\{f_\theta(x) > t\}$ )를 포함하고 있어, 거의 모든 곳에서 기울기가 0이 되어 표준 경사 기반 최적화 기법을 적용할 수 없다는 점입니다. 또한, FPOR 및 FROP의 제약 조건은 비볼록(non-convex) 및 비선형적(non-linear)이어서 실행 가능한 지점을 찾는 것이 어렵습니다.

방법론
저자들은 매끄러운 근사치를 전혀 사용하지 않는 정확한 재정식화 및 최적화(Exact Reformulation and Optimization, ERO) 프레임워크를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다:

정확한 연속 재정식화 (Exact Continuous Reformulation):
지시 함수를 시그모이드(sigmoid)로 근사하는 대신, 저자들은 보조 연속 변수 $s \in [0, 1]^N$ 를 도입하고, 조각마다 선형인 함수(piecewise linear functions)를 이용한 새로운 등가 관계를 통해 지시 제약 조건 $s_i = 1\{f_\theta(x_i) > t\}$ 를 재정식화합니다.

$a \neq t$ 일 때, $s = 1\{a > t\}$ 라는 조건은 $s + [s + a - 1 - t]_+ - [s + a - t]_+ = 0$ (여기서 $[\cdot]_+ = \max(\cdot, 0)$ )과 동일함을 입증했습니다.
이 변환은 불연속적인 지시 함수를 거의 모든 곳에서 비제로 기울기를 갖는 연속적인 조각 선형 함수( $H_t$ )로 대체하여, 경사 기반 방법의 사용을 가능하게 합니다.
계산 안정성을 확보하고 $f_\theta(x_i) = t$ 인 특이점(singular points)을 피하기 위해, 등식 제약 조건을 부등식 제약 조건으로 완화하고, $s$ 와 $f_\theta$ 가 극단값(0 또는 1)에서 서로 정렬되도록 유도하는 교차 엔트로피(cross-entropy) 기반의 배리어 스타일 정규화 항을 목적 함수에 추가합니다.

이론적 등가성 (Theoretical Equivalence):
저자들은 완만한 조건(특히 비특이성 $f_\theta(x_i) \neq t$ ) 하에서 재정식화된 문제의 전역 해(global solutions)가 원래의 DMO 문제의 전역 해와 동일함을 증명합니다. 이는 재정식화된 문제를 최적화하는 것이 원래의 메트릭 제약 조건에 유효한 해를 얻는 것을 보장함을 의미합니다.
정확한 페널티 최적화 (Exact Penalty Optimization):
결과적으로 발생하는 제약 최적화 문제를 해결하기 위해, 저자들은 $\ell_1$ 유형의 페널티 함수를 사용하는 **정확한 페널티 방법(exact penalty method)**을 채택합니다. 이차 페널티 방법이나 라그랑주 방법(TFCO 프레임워크에서 사용됨)이 점근적으로만 실행 가능성을 보장하거나 특정 승수 조건을 요구하는 것과 달리, 정확한 페널티 방법은 충분히 큰(그러나 유한한) 페널티 파라미터를 통해 실행 가능한 해를 얻을 수 있음을 보장합니다. 알고리즘은 투영 경사법(projected gradient methods, 예: ADAM)을 사용하여 비제약 하위 문제를 반복적으로 해결합니다.

주요 기여

새로운 재정식화: 지시 함수를 매끄러운 근사치 없이 처리하며, 거의 모든 곳에서 유의미한 기울기를 유도하는 최초의 정확한 제약 재정식화 기법입니다.
이론적 보장: 원래의 DMO 문제와 재정식화된 버전 사이의 등가성을 증명하여, 하나에 대한 전역 해가 다른 하나의 전형적인 전역 해에 대응함을 확립했습니다.
알고리즘 프레임워크: 비볼록, 비선형 제약 조건에 대해 실행 가능한 지점을 안정적으로 찾아내는 정확한 페널티 방법을 사용하는 통합 최적화 프레임워크를 제공합니다.
경험적 우월성: 이미지, 텍스트, 표 형식 데이터를 아우르는 4개의 벤치마크 데이터셋(Eyepacs, MURA, ADE-Corpus-V2, CreditCard)에 대한 광범위한 실험을 수행했습니다.

결과
ERO 방법은 매끄른 근사치와 라그랑주 방법을 사용하는 TensorFlow Constrained Optimization (TFCO) 라이브러리와 다양한 손실 기반 또는 샘플링 기반 베이스라인(WCE, Focal Loss, LDAM 등)을 포함한 최신 기술(SOTA)들과 비교되었습니다.

최적화 성능: ERO는 메트릭 제약 조건(예: 정밀도 $\ge$ 0.9)을 만족하는 실행 가능한 해를 찾는 데 있어 모든 경쟁 방법들을 일관되게 능가했습니다. 반면, 비-DMO 베이스라인들은 종종 실행 가능한 해를 생성하는 데 실패했으며, TFCO는 특히 FPOR 작업에서 자주 실행 불가능한 상태로 남았습니다.
일반화: ERO는 모든 작업에서 테스트 셋에 대해 최고 또는 최상위권의 성능을 달립다. 일반화 격차(불균형 분류의 공통 문제)가 존재하긴 하지만, ERO는 목적 함수와 제약 조건 사이에서 가장 경쟁력 있는 트레이드오프를 유지했습니다.
구체적 발견:
- FPOR (정밀도 고정)에서 ERO는 모든 데이터셋에서 일관되게 실행 가능성을 달성한 유일한 방법이었습니다.
- FROP (재현율 고정)에서 ERO는 실행 가능한 해들 중 가장 높은 목적 함수 값을 달성했습니다.
- OFOS (F1 최적화)에서 ERO는 훈련 중 가장 높은 F1 점수를 지속적으로 달성했으며 테스트 셋에서도 최상위 수준을 유지했습니다.

의의 및 주장
본 논문은 ERO 프레임워크가 수치적 불일치와 기울기 소실을 유발하기 쉬운 매끄러운 근사치에 대한 의존성을 제거함으로써 기존 DMO 접근 방식보다 중요한 진전을 이루었다고 주장합니다. 정확한 재정식화를 제공함으로써, 이 방법은 최적화된 메트릭이 사용자가 정의한 제약 조건을 엄격히 준수하도록 보장하며, 이는 의료 및 금융과 같은 고위험 분야에서 필수적인 요구사항입니다.

저자들은 현재의 연구가 이진 IC와 세 가지 특정 메트릭에 집중되어 있지만, 기반 기술은 다른 메트릭(예: 정확도, NDCG, precision@k) 및 다른 학습 설정(다중 클래스, 객체 탐지)으로 일반화될 수 있다고 언급했습니다. 또한 대규모 데이터셋을 위한 확률적 최적화(stochastic optimization)로의 확장과 과잉 매개변수화된 모델에서의 제약된 딥러닝의 일반화 특성을 이해하는 것을 향후 연구 과제로 꼽았습니다. 연구를 촉진하기 위해 코드는 공개되었습니다.

유사한 논문