🤖 machine learning

Counterfactual Residual Data Augmentation for Regression

이 논문은 미세한 특징 변화 하에서도 잔차의 불변성을 활용하여 현실적인 훈련 샘플을 생성함으로써, 데이터가 부족하거나 노이즈가 많은 환경에서 평균 제곱 오차를 크게 줄여주는 표 형식 회귀를 위한 모델 불가지론적 기법인 반사실적 잔차 데이터 증강(CRDA)을 제안한다.

원저자: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 집값을 예측하는 법을 가르치려 한다고 상상해 보세요. 당신에게는 사진 몇 장과 가격표(데이터)라는 작은 더미뿐입니다. 로봇은 사진을 살펴보고, 큰 집이 좋은 동네에 있으면 더 비싸다는 것을 학습하며 추측을 시작합니다. 하지만 가끔은 틀리기도 합니다. 예를 들어, 특정 구매자가 매우 급하게 집을 사야 했거나, 판매자가 절박한 상황이었다는 사실을 몰랐을 수도 있습니다. 이러한 "실수" 또는 "놀라움"을 **잔차(residuals)**라고 부릅니다.

보통 데이터가 부족할 때, 로봇은 가진 몇 안 되는 예시를 그냥 통째로 외워버리는데, 이는 좋지 않은 방법입니다. 이를 해결하기 위한 전통적인 방식(이미지 편집 등에서 쓰이는 방식)은 사진을 뒤집거나 색상을 바꾸는 것이지만, 집값이나 의료 통계와 같은 숫자에는 잘 맞지 않습니다.

이 논문은 CRDA(Counterfactual Residual Data Augmentation, 반사실적 잔차 데이터 증강)라는 새로운 기술을 소개합니다. 이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명해 보겠습니다.

1. "체계적인 부분" vs "노이즈"

로봇의 예측을 두 부분으로 된 레시피라고 생각해 보세요:

체계적인 부분 (The Systematic Part): 예측 가능한 것들. "집이 2,000평방피트라면, 가격은 X달러이다." 로봇은 이것을 잘 학습합니다.
잔차 (The Residual/Noise): 예측 불가능한 것들. "하지만 잠깐, 이 특정 집은 구매자의 감정적인 이유 때문에 X달러 + 5,000달러에 팔렸다."

논문의 핵심 아이디어는 이렇습니다: "감정적인 구매자" 부분(노이즈)은 다른 세부 사항을 바꾼다고 해서 변하지 않는다는 것입니다.

2. "만약에" 게임 (반사실적 상황)

차고와 정원이 있는 집을 상상해 보세요.

로봇은 더 큰 차고가 보통 더 높은 가격을 의미한다는 것을 압니다 (체계적인 부분).
또한 로봇은 이 특정 집이 "입찰 경쟁" 때문에 기이한 가격 상승이 있었다는 것도 알고 있습니다 (잔차).

CRDA는 질문합니다: "만약 이 집의 차고 마감재가 달랐더라도, '입찰 경쟁' 상황은 그대로였다면 어땠을까?"

논문은 차고 마감재를 바꾸면 기본 가격은 변하겠지만, "입찰 경쟁"이 일어났다는 사실 자체는 변하지 않는다고 주장합니다. "입찰 경쟁"(잔차)은 차고와는 독립적이기 때문입니다.

3. CRDA가 새로운 데이터를 만드는 법

단순히 숫자를 추측하는 대신, CRDA는 다음과 같이 수행합니다:

원본 데이터로 기본 로봇을 훈련시킵니다.
"안전한" 특징 찾기: 탐정(알고리-즘)을 사용하여 어떤 특징(예: 차고 마감재)이 "입찰 경쟁"(잔차)을 망치지 않고 변경될 수 있는지 알아냅니다. 입찰 경쟁과 관련된 특징(예: 구매자의 절박함)은 건드리지 않습니다.
"만약에" 시나리오 만들기: 실제 집 하나를 가져와서 "안전한" 특징(예: 차고 마감재)을 바꾸고, 새로운 기본 가격을 계산한 뒤, 원래 집에서 가져온 똑같은 "입찰 경쟁" 노이즈를 다시 더해줍니다.
결과: 이제 로봇이 이전에 본 적 없지만, 현실의 규칙을 그대로 따르는 새롭고도 현실적인 집 예시가 탄생했습니다.

4. 왜 이 방법이 더 나은가?

기존 방식 (데이터 혼합): 뉴욕의 집과 텍사스의 집을 가져와서 섞어 "뉴텍스(New-Tex)" 집을 만든다고 상상해 보세요. 그 집은 존재하지 않는 집이며 로봇을 혼란스럽게 만듭니다.
생성형 AI (딥러 Learning): 로봇이 무에서 유를 창조하여 집을 발명하려고 노력하는 것과 같습니다. 로봇은 그럴듯한 집을 만들 수는 있지만, 원래 데이터의 특정한 "노이즈"를 잊어버려 말도 안 되는 가격을 책정할 수 있습니다.
CRDA: 실제 집을 가져와서 페인트 색을 바꾸되, 그 집이 왜 그 가격에 팔렸는지에 대한 이야기는 그대로 유지하는 것과 같습니다. 이는 데이터가 원래의 패턴에 **충실(faithful)**하도록 만듭니다.

5. 안전장치

이 기술은 로봇이 "체계적인 부분"을 먼저 이해할 만큼 충분히 똑똑해야만 작동한다는 점을 인정합니다. 만약 로봇이 너무 멍청하다면, 계산된 "노이즈"는 그저 쓰레기에 불과할 것이고, 특징을 바꾸는 것이 도움이 되지 않을 것입니다.

그래서 CRDA에는 안전 점검이 포함되어 있습니다:

새로운 데이터를 테스트에 적용해 봅니다.
만약 새로운 데이터가 로봇을 더 똑똑하게 만든다면, 그것을 채택합니다.
만약 새로운 데이터가 로봇을 혼란스럽게 만든다면, 버리고 원래 데이터만 사용합니다.

결과

저자들은 9가지의 실제 데이터셋(집값 예측, 와인 품질, 에너지 효율 등)을 통해 테스트를 진행했습니다.

신경망(MLP)의 경우: 오류를 평균 약 23% 줄였습니다.
트리 모델(XGBoost)의 경우: 오류를 평균 약 6% 줄였습니다.
CRDA는 오히려 성능을 악화시키기도 하는 다른 화려한 데이터 생성 방식들을 일관되게 앞질렀습니다.

요약하자면: CRDA는 특정 세부 사항에 대해 "만약에"라는 질문을 던져 데이터의 범위를 넓히되, 그 이야기의 "예측 불가능한" 부분은 정확히 그대로 유지하는 방법입니다. 이는 로봇에게 거짓말을 하지 않으면서도 더 많은 연습을 시킬 수 있는 간단하고 안전한 방법입니다.

기술 요약: 회귀를 위한 반사실적 잔차 데이터 증강 (Counterfactual Residual Data Augmentation)

문제 정의

의학, 금융, 제조와 같은 도메인의 실제 회귀 작업은 빈번하게 데이터 희소성, 높은 데이터 수집 비용, 그리고 노이즈가 섞인 관측치 문제에 직면합니다. 데이터 증강은 컴퓨터 비전과 자연어 처리에서 성공의 초석이지만, 기존 기술(예: 기하학적 변환, Mixup)은 표 형식(tabular)의 회귀로 자연스럽게 전이되지 않는 레이블 보존 대칭성이나 도메인 특화된 불변성에 의존하는 경우가 많습니다. 결과적으로, 지도 학습 모델은 훈련 예시가 제한적일 때 기저의 프로세스를 포착하는 데 실패하며, 이는 과적합과 일반화 성능 저하로 이어집니다.

방법론: 반사실적 잔차 데이터 증강 (CRDA)

저자들은 잔차 노이즈(residual noise)의 불변성을 활용하여 표 형식 회고를 위한 새롭고 현실적인 훈련 샘플을 합성하기 위해 설계된 모델 불가지론적(model-agnostic) 프레임워크인 **반사실적 잔차 데이터 증강(Counterfactual Residual Data Augmentation, CRDA)**을 제안합니다.

핵심 통찰

이 방법은 회귀 모델이 데이터의 체계적 성분(systematic component)을 모델링하고 나면, 남은 노이즈(잔차)가 신중하게 선택된 특징들의 미세한 섭동(perturbation) 하에서도 불변하는 성분으로 간주될 수 있다는 관찰에 근거합니다. CRDA는 이 잔차를 보존하면서 특정 특징들을 수정함으로써, 추가적인 실제 데이터 없이도 기저의 데이터 분포를 따르는 반사실적 샘플을 생성합니다.

이론적 토대

CRDA는 가법 노이즈 구조적 인과 모델(Additive-Noise Structural Causal Model, SCM) 가정하에 작동합니다:
$Y = g(X_P, X_R) + Z$
여기서:

$Y$ 는 타겟 변수입니다.
$g(X_P, X_R)$ 은 체계적 성분(조건부 기대값)입니다.
$Z$ 는 구조적 노이즈(잔차)입니다.
$X_P$ 는 **섭동 가능한 특징(perturbable features)**을 나타내며, $X_R$ 은 **고정된 특징(fixed features)**을 나타냅니다.

이 방법은 **가정 3.1 (잔차 불변성)**에 의존합니다: 잔차 $Z$ 는 고정된 특징 $X_R$ 이 주어졌을 때 섭동 가능한 특징 $X_P$ 와 조건부 독립입니다 ( $P(Z | X_P, X_R) = P(Z | X_R)$ ). 이는 $X_P$ 를 섭동시키는 것이 체계적 예측은 변화시키지만, 인스턴스 고유의 노이즈는 변경하지 않음을 의미합니다.

알고리즘 워크플로우

CRDA 파이프라인(알고리즘 1)은 다음과 같이 진행됩니다:

베이스라인 훈련: 원본 데이터셋 $D_{train}$ 에 대해 베이스 회귀 모델 $\hat{g}$ (예: MLP 또는 XGBoost)를 훈련합니다.
잔차 계산: 경험적 잔차를 계산합니다: $\hat{z}_i = y_i - \hat{g}(x_i)$ .
특징 선택 (독립성 필터링): 가정 3.1을 충족하기 위해, 알고리즘은 잔차 $\hat{Z}$ $\hat{Z}$ 와 독립적일 가능성이 높은 특징의 부분 집합 $X_P$ $X_{P}$ 를 식별합니다. 이는 다음을 통해 수행됩니다:
- PC 알고리즘: 잔차 $\hat{Z}$ 로 향하는 직접적인 에지를 제거하기 위한 인과 그래프 체크.
- 상관관계 체크: $\hat{Z}$ 와 강하게 상관된 특징 제거.
- 남은 특징들이 $X_P$ 를 형성하며, 나머지는 $X_R$ 을 형성합니다.
반사실적 생성: 각 훈련 샘플에 대해 $M$ $M$ 개의 합성 샘플을 생성합니다:
- 균등 스케일링 인자를 사용하여 $X_P$ 를 섭동시킵니다: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$ , 여기서 $\delta \sim \text{Unif}[-p, p]$ .
- $X_R$ 은 고정합니다.
- 원래의 잔차를 보존하여 반사실적 레이블을 계산합니다: $y'_i = \hat{g}(x'_i) + \hat{z}_i$ .
안전성 검증: 최종 재훈련 전, K-폴드 교차 검증을 통해 증강된 데이터로 훈련된 모델과 베이스라인 모델의 성능을 **윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)**으로 비교합니다. 만약 p-값이 통계적으로 유의미한 개선을 나타내지 않으면, 증강을 거부하고 베이스라인을 유지합니다.
최종 재훈련: 검증을 통과하면, 원본 데이터와 증강된 데이터의 합집합으로 최종 모델을 훈련합니다.

주요 기여

새로운 데이터 증강 프레임워크: 도메인 특화된 휴리스틱을 피하고, 반사실적 추론과 잔차 불변성에 중심을 둔 표 형식 회귀를 위한 모델 불가지론적 전략을 제시합니다.
잔차 불변성 원리: 특정 특징들을 어떻게 섭동시켜도 노이즈 구조를 손상시키지 않는지에 대한 이론적 근거를 제공하며, 이를 통해 특징 선택을 위한 이론적 기반을 마련했습니다.
실증적 검증: 다양한 샘플 크기를 가진 합성 벤치마크 및 실제 데이터셋(UCI, PMLB, Kaggle)에 대한 포괄적인 평가를 통해 신경망(MLP) 및 앙상블(XGBoost) 모델 전반에서 일관된 개선을 입증했습니다.

실험 결과

저자들은 9개의 벤치마크 데이터셋에 대해 CRDA를 다음 모델들과 비교하여 평가했습니다:

베이스라인: 증강 없음.
경쟁 모델: 최신 회귀 증강 기술(C-Mixup, ADA) 및 딥 생성 모델(CTGAN, TVAE, TabDDPM).

주요 결과:

성능 향상: 모든 데이터셋에서 평균적으로 CRDA는 MLP 회귀 모델의 경우 MSE를 22.9%, XGBoost 회귀 모델의 경우 6.4% 감소시켰습니다.
강건성: 일부 케이스에서 MSE를 100% 이상 증가시키는 등 치명적인 실패 모드를 보인 기하학적 방법(예: ADA, C-Mixup)이나 성능을 저하시키는 경향이 있는 딥 생성 모델과 달리, CRDA는 유의미한 성능 저하 없이 일관되게 성능을 개선하거나 유지했습니다.
샘플 크기 의존성: 이 방법은 샘플 크기가 특정 "스위트 스팟"(예: MLP의 경우 2.5k–20k)일 때 가장 효과적입니다. 즉, 베이스 모델이 주요 신호를 학습했지만 여전히 국소적인 특징 공간 탐색의 이득을 얻을 수 있는 단계입니다. 매우 작은 데이터셋의 경우 베이스 모델이 의미 있는 잔차를 생성하기에 너무 부정확하며, 매우 큰 데이터셋의 경우 베이스라인이 이미 최적 상태입니다.
안전 메커니즘: 윌콕슨 안전 게이트(safety gate)는 약한 선형 회귀 베이스라인을 사용하는 경우처럼 증강이 도움이 되지 않는 상황에서 증강을 성공적으로 차단하여, 증강 가정이 위반되거나 베이스 모델이 불충분할 때 성능이 저하되는 것을 방지했습니다.

의의 및 주장

본 논문은 CRDA를 노이즈가 많은 소규모 샘플 회귀 환경을 위한 단순하고 효율적인 해결책으로 규정합니다. 그 의의는 다음과 같습니다:

실용성: 도메인 지식이나 복잡한 생성 모델링을 요구하지 않으므로 다양한 회귀 모델에 쉽게 적용할 수 있습니다.
이론적 근거: 증강을 인과적 반사실 및 잔차 불변의 관점에서 프레이밍함으로써, 휴리스틱한 보간법에 대한 원칙 있는 대안을 제공합니다.
신뢰성: 내장된 안전 검증을 통해, 잔차 독립성 가정이 위반되거나 베이스 모델이 불충분한 시나리오에서 성능 저하를 방지하는 "가드레일" 역할을 수행합니다.

저자들은 결론적으로 CRDA가 추가적인 실제 데이터 없이도 데이터셋을 확장하는 강력한 접근법을 제공하며, 효과적으로 분산을 줄이고 데이터가 부족한 환경에서 모델 적합도를 개선한다고 주장합니다. 향후 연구로는 이러한 원칙을 분류 작업으로 확장하고, 특징 분할을 위한 더 강력한 인과 발견 알고리즘을 탐구하는 것이 제안되었습니다.