💻 computer science

Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification

본 논문은 표본 분류를 위한 Prior-data Fitted Networks(PFN) 에서의 클래스 불균형 문제를 해결하기 위해 고전적인 완화 기법을 적용하여, 임계값 설정이 PFN 보정을 활용하여 우수한 성능을 발휘하는 반면, 다운샘플링은 추론 비용이 감소한 상태에서 동등한 결과를 제공한다는 사실을 규명합니다.

원저자: Samuel McDowell, Nathan Stromberg, Lalitha Sankar

게시일 2026-05-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Samuel McDowell, Nathan Stromberg, Lalitha Sankar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

PFN이라는 이름의 초지능 사전 훈련된 탐정이라고 상상해 보세요. 이 탐정은 훈련 기간 동안 수백만 개의 가짜 이야기를 읽었고, 몇 가지 단서만 보고도 새로운 사건을 해결하는 데 탁월합니다 (이 기술을 "맥락 학습 (In-Context Learning)"이라고 합니다). 그들은 매번 새로운 업무를 위해 뇌를 재훈련할 필요가 없습니다. 대신 당신이 제공하는 증거만 보고 추측을 할 뿐입니다.

하지만 이 탐정에게는 치명적인 맹점이 하나 있습니다: **클래스 불균형 (Class Imbalance)**입니다.

문제: "다수결" 편향

이 탐정에게 1,000 개의 동전 더미 속에서 희귀한 특정 동전을 찾아달라고 요청한다고 가정해 보세요.

950 개의 동전은 흔한 페니 (다수 클래스, Majority Class) 입니다.
50 개의 동전은 희귀한 금화 (소수 클래스, Minority Class) 입니다.

탐정은 훈련 과정에서 너무 많은 페니를 보았기 때문에 게을러집니다. 새로운 동전을 볼 때마다 그들은 매번 "페니"라고 추측합니다.

결과: 그들은 95% 의 확률로 맞습니다 (대부분의 동전이 페니이기 때문입니다).
하지만: 그들은 단 한 개의 금화도 놓칩니다. 만약 당신이 그 희귀한 금화 (예를 들어 희귀 질환이나 사이버 공격) 를 찾고 있다면, 이 탐정은 쓸모없습니다.

이 논문은 묻습니다: 재훈련 (새로운 시험을 공부하는 것) 을 할 수 없는 이 탐정을 어떻게 고칠 수 있을까요?

해결책: 탐정을 교정하는 세 가지 방법

연구자들은 탐정이 희귀한 동전에 주의를 기울이도록 만들기 위해 세 가지 다른 "요령"을 시도했습니다.

1. "기준 낮추기" 요령 (임계값 조정, Thresholding)

일반적으로 탐정은 "이게 금화일 확률이 51% 이니 금화라고 부르겠다"라고 말합니다. 하지만 페니에 편향되어 있기 때문에 금화에 대해 그 51% 의 확신을 거의 갖지 못합니다.

연구자들은 탐정이 실제로 자신의 확신 수준에 대해 매우 정직하다는 점 (즉, "잘 보정되어 있다"는 점) 을 깨달았습니다. 그들은 단지 약간의 자극만 필요할 뿐입니다.

해결책: 51% 확신을 기다리는 대신, 탐정에게 이렇게 말합니다: "금화일 확신이 10% 만 있어도 금화라고 부르세요!"
비유: 시험의 합격 기준을 낮추는 것과 같습니다. 학생이 보통 90% 를 받아야 합격하지만 시험이 어렵다면, 모두가 낙제하지 않도록 기준을 60% 로 낮출 수 있습니다.
결과: 이 방법은 놀라울 정도로 잘 작동했습니다. 탐정은 페니를 많이 잃지 않으면서 희귀한 금화를 잡기 시작했습니다. 이것이 가장 간단하고 효과적인 해결책이었습니다.

2. "페니 숨기기" 요령 (다운샘플링, Downsampling)

규칙을 바꾸는 대신 증거를 바꿉니다. 1,000 개의 동전 더미에서 페니 900 개를 버리고, 페니 50 개와 금화 50 개만 남깁니다.

해결책: 이제 더미가 균형 잡혔습니다. 탐정은 더 이상 "페니"라고 추측만 해도 대부분 맞을 수 없으며, 실제로 단서를 살펴봐야 합니다.
추가 이점: 볼 동전이 줄어들기 때문에 탐정은 사건을 더 빠르게 해결합니다 (더 적은 컴퓨팅 파워가 필요합니다).
결과: 이 방법도 "기준 낮추기" 요령만큼이나 매우 잘 작동했습니다.

3. "가짜 동전" 요령 (오버샘플링 및 합성 업샘플링, Oversampling & Synthetic Upsampling)

여기서 다른 방법들이 도움을 주려 했습니다.

오버샘플링 (Oversampling): 금화 50 개를 가져와 500 개가 될 때까지 복사합니다.
합성 업샘플링 (Synthetic Upsampling): 로봇을 이용해 실제 금화와 똑같이 보이는 새로운 가짜 금화를 발명하여 더미에 추가합니다.
결과: 이 방법들은 실패했습니다.
- 동전을 복사하는 것 (오버샘플링) 은 더미가 이상하고 "뾰족해" 보이게 만들어 탐정을 혼란스럽게 했습니다.
- 가짜 동전 (합성) 은 탐정에게 새로운 것을 가르칠 만큼 충분하지 않았습니다. 오히려 탐정이 진짜 희귀한 동전을 찾는 능력을 떨어뜨렸습니다.

핵심 교훈

이 논문은 이 문제를 해결하기 위해 복잡한 AI 마법이 필요하지 않다고 밝혔습니다.

가짜 데이터를 생성하지 마세요. 그것은 상황을 더 혼란스럽게 만들 뿐입니다.
결정 규칙을 조정하세요. 모델에게 "희귀한 것을 추측하는 데 더 기꺼이 하라"고 단순히 말하는 것이 거의 어떤 것보다 더 잘 작동합니다.
흔한 데이터를 제거하세요. 흔한 것이 너무 많다면 일부는 버리세요. 이는 모델을 더 빠르고 공정하게 만듭니다.

요약하자면: 이 초지능 탐정은 희귀한 항목에 대해 너무 신중했을 뿐입니다. 단순히 그들에게 조금 덜 신중하도록 말하거나 (임계값 낮추기), 더 작고 공정한 증거 더미를 제공함으로써 (다운샘플링), 그들이 놓치고 있던 희귀한 것을 찾는 데 탁월해졌습니다.

기술 요약: 표 분류를 위한 사전 데이터 피팅 네트워크의 클래스 불균형 교정

문제 제기
사전 데이터 피팅 네트워크 (PFN), 특히 TabPFN 은 모델 가중치를 업데이트하지 않고 컨텍스트 학습 (ICL) 을 활용하여 표 분류 작업에서 최첨단 성능을 입증해 왔습니다. 그러나 많은 분류기와 마찬가지로 PFN 은 클래스 불균형 데이터에 적용될 때 심각한 성능 저하를 겪습니다. 이러한 시나리오에서는 평균 정확도가 높게 유지될 수 있지만, 소수 클래스에 대한 성능이 급격히 저하되어 희귀 질병 또는 사이버 공격 탐지와 같은 중요한 응용 분야에서 이러한 모델의 활용도를 제한합니다.

클래스 불균형을 완화하기 위한 표준 전략은 손실 기반 (가중치 재조정), 데이터 기반 (재샘플링), 결정 기반 (임계값 조정) 세 가지 범주로 나뉩니다. 그러나 PFN 의 고유한 ICL 역학은 추론 중 모델 가중치가 업데이트되지 않기 때문에 손실 기반 전략을 불가능하게 만듭니다. 또한, 소수 클래스의 합성 샘플을 생성하는 것과 같은 기존 데이터 기반 접근법은 이 설정에서 제한된 효과와 높은 계산 비용을 보여 왔습니다. PFN 프레임워크 내에서 불균형을 해결하는 검증된 기술은 부재합니다.

방법론
저자들은 ICL 과 호환되는 교정 전략을 개발하고 평가하기 위해 PFN 의 고유한 보정 특성을 조사합니다. 본 연구는 네 가지 특정 기술에 초점을 맞춥니다:

임계값 조정 (결정 수준): 표준 0.5 임계값에서 결정 경계를 조정합니다. 저자들은 소수 클래스의 사전 확률 ( $\pi_1$ ) 과 동일한 임계값 $\tau$ 를 설정하면 데이터 불균형을 상쇄할 수 있으며, 이는 위음성 (false negatives) 과 위양성 (false positives) 의 불균등한 비용으로 정의된 기대 위험 $R$ 을 효과적으로 최소화한다고 가정합니다.
다운샘플링 (데이터 수준): 컨텍스트 세트 내 다수 클래스 샘플의 수를 소수 클래스 크기에 맞게 줄여 새로운 데이터를 생성하지 않고 사전 확률을 균등화 ( $\pi_0 = \pi_1$ ) 합니다.
오버샘플링 (데이터 수준): 컨텍스트 세트 내 소수 클래스 샘플을 반복하여 사전 확률을 균형 있게 만듭니다.
합성 업샘플링 (데이터 수준): 생성 모델을 사용하여 인공적인 소수 샘플을 생성하여 컨텍스트 세트를 보충합니다.

실험은 OpenML-CC18 벤치마크의 11 개 이진 분류 작업에서 TabPFN-2.5 를 활용합니다. 데이터셋은 소수 사전 확률 ( $\pi_1$ ) 이 0.05 에서 0.3 사이로 인위적으로 불균형하게 설정되었으며, 테스트 세트는 균형 잡힌 상태로 유지됩니다. 성능은 클래스별 정확도, 균형 잡힌 정확도, 그리고 최악의 클래스 정확도 (WCA) 를 사용하여 평가됩니다.

주요 발견 및 결과
본 연구는 PFN 의 동작과 교정 방법의 효과에 관한 몇 가지 중요한 관찰 결과를 도출합니다:

보정 특성: 과신되거나 과소신하는 많은 비선형 분류기와 달리, PFN 은 특정 편향을 보입니다. 균형 잡힌 데이터에서는 잘 보정되지만 데이터가 불균형할 때는 다수 클래스로 편향됩니다. 이 편향은 일관되고 예측 가능하므로 간단한 임계값 조정이 이를 효과적으로 교정할 수 있음을 시사합니다.
임계값 조정 성능: 실험 결과는 균형 잡힌 정확도를 극대화하는 최적의 결정 임계값이 소수 클래스 사전 확률 ( $\tau = \pi_1$ ) 과 밀접하게 일치함을 확인합니다. 이 방법은 전체적인 균형 잡힌 정확도에서 최상의 성과를 거두며, 다수 클래스 정확도의 최소한의 감소만으로 소수 클래스 성능을 크게 향상시킵니다.
다운샘플링 효과성: 다운샘플링은 균형 잡힌 정확도 측면에서 임계값 조정과 유사한 성능을 발휘하며, 최악의 클래스 정확도 (WCA) 에서 가장 높은 수치를 달성합니다. 다운샘플링의 뚜렷한 장점은 TabPFN 의 쿼리 복잡도가 컨텍스트 크기에 따라 이차적으로 증가하므로 추론 계산 비용을 줄일 수 있다는 점입니다.
재샘플링의 비효율성: 오버샘플링과 합성 업샘플링 (TabPFGen) 모두 기본 모델보다 성능이 떨어집니다. 오버샘플링은 반복된 샘플로 인해 "뾰족한" (spiky) 후분포 적합을 초래하는 반면, 합성 업샘플링은 생성된 샘플이 동일한 모델 클래스와 데이터 분포에서 비롯되어 새로운 정보를 제공하지 않기 때문에 정확도 향상에 실패합니다.

의의 및 주장
본 논문은 최첨단 PFN 모델의 불균형 표 데이터에 대한 성능이 복잡한 아키텍처 변경이나 데이터 생성이 아닌 단순하고 원칙적인 교정을 통해 크게 향상될 수 있다고 주장합니다.

주요 기여는 PFN 의 다수 클래스에 대한 특정 보정 편향이 임계값 조정 ( $\tau = \pi_1$ 설정) 과 다운샘플링을 통해 효과적으로 교정될 수 있음을 규명한 것입니다. 저자들은 이러한 방법들이 다음과 같음을 강조합니다:

구현이 간단함: 사전 훈련된 모델의 재학습이나 미세 조정이 필요하지 않음.
효과적임: 높은 균형 잡힌 정확도를 유지하면서 소수 클래스 탐지를 획기적으로 개선함.
계산적으로 효율적임: 특히 추론 비용을 줄이는 다운샘플링의 경우.

저자들은 이러한 단순한 방법들이 불균형의 즉각적인 문제를 해결하지만, PFN 의 고유한 강점에 맞춰 설계된 방법을 통해 향후 성능 향상의 여지가 있을 수 있다고 결론지었습니다. 또한 이러한 전략을 다중 클래스 분류로 확장하는 것은 향후 연구의 중요한 과제로 남아 있다고 지적합니다.