🤖 AI

A time-series classification framework for individual-level absenteeism prediction under severe class imbalance

본 논문은 단순히 실현된 결과를 재현하는 기존 방식의 한계를 극복하고, 불균형이 심한 데이터셋에서 진정으로 선제적이고 개인 수준의 결근 예측을 가능하게 하기 위해 LSTM-FCN 구조와 최적화된 손실 함수를 사용하는 시계열 분류 프레임워크를 제안한다.

원저자: Kwong Ho Li, Matthew Roughan, Wathsala Karunarathne

게시일 2026-07-01

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kwong Ho Li, Matthew Roughan, Wathsala Karunarathne

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 바쁜 병원이나 배송 회사의 관리자라고 상상해 보십시오. 당신의 가장 큰 골칫거리는 무엇입니까? 바로 **결근(Absenteeism)**입니다. 직원이 출근하지 않으면 모든 것이 멈춰버립니다. 당신은 그들이 자리를 비우기 전, 누가 아파서 결근할 가능성이 있는지 미리 알아내어 대비해야 합니다.

이 논문은 직원의 근태를 위한 "수정구슬"을 만드는 것에 관한 연구이지만, 매우 구체적인 차이점이 있습니다. 단순히 현재 일어나는 일을 보는 것이 아니라, 과거를 통해 미래를 예측하려고 시도한다는 점입니다.

이 연구의 이야기를 쉬운 개념으로 나누어 설명하겠습니다.

1. 문제점: 백미러만 보고 운전하기

현재 대부분의 결근 예측 프로그램은 자동차를 운전할 때 백미러만 보고 운전하는 것과 같습니다. 이들은 "오늘"의 데이터(예: 직원의 연령이나 거주지와의 거리)를 가져와서 오늘 결근했는지 여부를 예측하려고 합니다.

저자들은 이것이 계획을 세우는 데 있어 무용지물이라고 말합니다. "오늘"의 데이터를 파악했을 때쯤이면, 직원은 이미 결근할지 출근할지 결정을 내린 상태이기 때문입니다. 이미 발생한 인력 부족 현상을 해결할 수는 없습니다.

해결책: 그들은 시계열 분류(Time Series Classification) 프레임을 제안합니다. 이것은 앞유리 너로 앞을 내다보는 것과 같습니다. "존(John)이 지금 결근 중인가?"라고 묻는 대신, "지난 40일 동안 존의 근태 패턴을 바탕으로 볼 때, 향-후 5일 이내에 결근할 가능성이 있는가?"라고 묻는 것입니다. 이를 통해 관리자는 사후 대응이 아닌 선제적 대응을 할 수 있습니다.

2. 데이터의 장벽: "디지털 트윈" 구축하기

실제 직원의 근태 기록은 개인정보 보호가 필요한 민감한 정보입니다(의료 기록처럼 말이죠). 인터넷에서 그냥 다운로드할 수 있는 것이 아닙니다.

이를 해결하기 위해 연구진은 시뮬레이션된 데이터셋을 구축했습니다. 브라질의 한 물류 회사에서 얻은 작은 실제 데이터셋을 "씨앗(seed)"으로 삼았다고 상상해 보십시오. 그런 다음 수학적 방법을 사용하여, 실제 직원들과 통계적으로 정확히 동일하게 행동하는 1,000명의 "디지털 직원"이라는 거대한 숲을 키워냈습니다. 이를 통해 누군가의 프라이버시를 침해하지 않으면서 시스템을 테스트할 수 있었습니다.

3. "클래스 불균형(Class Imbalance)"의 함정

여기에는 까다로운 부분이 있습니다. 거의 모든 회사에서 직원들은 97%의 시간 동안 출근합니다. 결근하는 시간은 약 3%에 불과합니다.

머신러닝에서는 이를 **심각한 클래스 불균형(severe class imbalance)**이라고 부릅니다. 이는 개에게 사자를 볼 때만 짖도록 가르치는 것과 같습니다. 그런데 99%의 시간 동안 고양이만 보여준다면, 개는 그냥 조용히 있을 것(결근하지 않는다고 예측)을 배우게 됩니다. 왜냐냐하면 그렇게 예측하는 것이 99%의 확률로 맞기 때문입니다.

이 경우, 컴퓨터 모델은 매일 "모두 출근함"이라고 예측하기만 해도 97%의 정확도를 달성할 수 있습니다. 하지만 이는 실제 결근자를 파악해야 하는 관리자에게는 재앙입니다. 목표는 단순한 '정확도(Accuracy)'가 아니라, 헛다리를 짚지 않고 드문 '결근' 사례를 정확히 포착해내는 **특이도(Specificity)**입니다.

4. 손실 함수(Loss Function)의 대결: "집중형" vs "자기 교정형"

이 불균형을 해결하기 위해 연구진은 AI를 훈련시키기 위해 두 가지 다른 "선생님"(수학적 공식인 손실 함수)을 테스트했습니다.

선생님 A: 이진 포컬 손실 (Binary Focal Loss, BFL).
- 비유: 낙제하는 학생들에게만 집중하려는 선생님을 상상해 보십시오. 하지만 이 선생님은 자신이 얼마나 집중해야 할지 알기 위해 특정 지침서(알파( $\alpha$ )라는 파라미터)가 필요합니다.
- 발견: 일반적인 지침서(대부분의 사람들이 사용하는 방식)는 오히려 상황을 악화시켰습니다! 그 지침서는 선생님에게 엉뚱한 그룹에 집중하라고 명령했습니다. 연구진은 결근이 얼마나 희귀한지를 바탕으로 한 특정 공식을 사용하여 지침서를 다시 작성해야 했습니다. 그렇게 했을 때, 선생님은 결근하는 직원을 훨씬 더 잘 찾아냈습니다. 하지만 이는 관리자가 사전에 복잡한 수학적 계산을 미리 알고 있어야 한다는 것을 의미했습니다.
선생님 B: 기하 평균 (Geometric Mean, G-Mean) 손실.
- 비유: 이 선생님은 자기 교정 본능을 가지고 있습니다. 만약 수업이 낙제하는 학생들을 무시하기 시작하면, 이 선생님은 복잡한 지침서 없이도 자동으로 주의를 그들에게 돌립니다.
- 발견: 이 선생님은 복잡한 수학적 조정 없이도 "포컬 손실" 선생님만큼 잘 수행되었습니다. 그냥 자동으로 작동했습니다.

승자: 둘 다 성능이 좋았지만, G-Mean이 승자였습니다. 왜냐하면 복잡한 균형 숫자를 먼저 계산할 필요가 없는 "플러그 앤 플레이(plug-and-play)" 방식이었기 때문입니다.

5. 최적의 아키텍처: 하이브리드 엔진

연구진은 데이터를 처리하기 위해 세 가지 다른 "엔진"(AI 모델)을 테스트했습니다.

LSTM: 긴 이야기(일기 같은 것)를 기억하는 데 능숙합니다.
CNN: 이미지의 패턴(또는 이 경우 시간의 패턴)을 포착하는 데 능숙합니다.
LSTM-FCN: 이 두 가지를 결합한 하이브리드 모델입니다.

결과: **하이브리드(LSTM-FCN)**가 명백한 승자였습니다. 이는 일기를 읽을 줄 알면서 동시에 특정 필체 패턴까지 잡아낼 수 있는 탐정을 고용한 것과 같았습니다. 이 모델은 약 **80%의 균형 정확도(balanced accuracy)**를 달-성했는데, 이는 너무 많은 오보를 내지 않으면서도 결근을 매우 잘 예측했다는 것을 의미합니다.

6. 미세 조정: 얼마나 많은 과거 데이터가 필요한가?

그들은 또한 AI가 얼마나 먼 과거를 돌아봐야 하는지도 테스트했습니다.

너무 짧으면 (5일): AI가 맥락을 잊어버립니다.
너무 길면 (160일): AI가 오래되고 관련 없는 과거 기록 때문에 혼란을 겪습니다.
최적의 구간 (Sweet Spot): 40일에서 80일 사이를 보는 것이 완벽한 창이었습니다. 이 기간은 AI가 충분한 역사적 맥락(예: "존은 야간 근무를 할 때마다 아픈 경향이 있다")을 파악하면서도, 너무 오래된 과거에 얽매이지 않게 해주었습니다.

연구 결과 요약

백미러를 보지 마십시오: 과거의 시퀀스를 바탕으로 미래의 결근을 예측하는 것이 진정으로 선제적인 대응을 할 수 있는 유일한 방법입니다.
"표준" 설정은 실패합니다: 희귀한 이벤트를 처리하기 위한 기본 설정을 사용한다면, 결근을 포착하는 데 실패할 것입니다. 수학을 조정하거나 자기 교정 방식을 사용해야 합니다.
하이브리드 모델이 승리합니다: 서로 다른 AI 기술을 결합하는 것(LSTM-FCN)이 이 특정 문제에 가장 효과적입니다.
마법의 구간: 40~80일을 돌아보는 것이 가장 좋은 결과를 줍니다.
마법 지팡이는 없습니다: 실제 데이터는 프라이버시 문제로 사용할 수 없었기에 가짜 데이터를 사용했지만, 이 방법이 실제 통계에 맞춰진 시뮬레이션에서 작동함을 입증했습니다.

요약하자면, 이 논문은 직원의 최근 근태 이력을 살펴보고 "이 패턴을 보니, 이 사람은 다음 주에 결근할 가능성이 높습니다"라고 말할 수 있는 시스템을 구축하기 위한 청사진을 제공하며, 이를 통해 관리자가 문제가 발생하기 전에 대처할 수 있도록 돕습니다.

기술 요약: 심각한 클래스 불균형 하에서의 개인별 결근 예측을 위한 시계열 분류 프레임워크

문제 정의

본 논문은 고수요 환경(예: 의료, 응급 서비스, 물류)에서 개인별 스태프의 결근을 예측하는 운영상의 과제를 다룹니다. 기존의 머신러닝 접근 방식은 두 가지 결정적인 구조적 한계를 가집니다:

시간적 미정렬 (Temporal Misalignment): 기존의 회귀 및 분류 방법은 시간 $t$ 에서 관찰된 특징을 동일한 시간 $t$ 의 레이블에 매핑합니다. 이는 모델이 미래의 이벤트를 예측하기보다는 이미 실현된 결과를 재현하게 만들어, 선제적(proactive)이기보다는 사후 대응적(reactive)인 모델을 만듭니다.
순차적 구조의 손실 (Loss of Sequential Structure): 기존 방법들은 개인의 행동을 인구 통계적 요약으로 집계하여, 예측 정보를 포함하고 있는 직원의 출석 이력 내 순차적 패턴(예: 누적된 피로 또는 반복되는 건강 문제)을 폐기합니다.

또한, 이 문제는 심각한 클래스 불균형을 특징으로 합니다. 연구된 맥락에서 출근(재직)은 기록의 약 97.69%를 차지하는 반면, 결근은 소수 클래스(2.31%)로, 불균형 비율 $\rho \approx 42.31$ 을 나타냅니다. 표준 손실 함수는 모델을 다수 클래스 쪽으로 편향시켜, 인력 계획에서 치명적인 실패 모드인 낮은 특이도(specificity, 결근한 직원을 올바르게 식별하는 능력)를 초래합니다.

방법론

데이터 시뮬레이션

공개적으로 사용 가능한 종단적 개인 수준의 출석 데이터의 부재로 인해, 저자들은 재현 가능한 시뮬레이션 데이터셋을 구축했습니다. 이 데이터셋은 UCI "Absenteeism at Work" 벤치마크의 분포적 특성에 맞춰 조정되었습니다.

확장: 36명의 직원에 대한 월간 집계 데이터를 일일 이진 시퀀스(1,027일)로 확장했습니다.
합성: 분포 보존 샘플링을 통해 964명의 합성 직원을 추가 생성하여 총 1,000명의 직원을 구성했습니다.
정식화: 문제를 시계열 분류(TSC) 과제로 재정의했습니다. 슬라이딩 윈도우 접근 방식을 사용하여, 입력 시퀀스 $X$ 는 $n$ 일간의 연속적인 과거 출근 기록으로 구성되며, 타겟 레이블 $y$ 는 이후 $m$ 일 동안의 결근 상태(예측 지평)를 나타냅니다.

모델 아키텍처

세 가지 딥러닝 아키텍처를 평가했습니다:

LSTM: 시계열 의존성을 포착하기 위해 시퀀스를 처리하는 순환 신경망입니다.
CNN (FCN): 계층적 특징을 추출하기 위해 1D 컨볼루션을 사용하는 완전 컨볼루션 네트워크입니다.
LSTM-FCN: 로컬 패턴을 위한 컨볼루션 브랜치와 순차적 의존성을 위한 순환 브랜치를 결합하고, 출력층 이전에 표현(representation)을 결합하는 하이브리드 아키텍처입니다.

손상 함수 및 이론적 분석

연구는 심각한 불균형 상황에서 두 가지 손실 함수를 엄격하게 분석했습니다:

이진 포컬 손실 (Binary Focal Loss, BFL): 집중 파라미터 $\gamma$ $γ$ 와 클래스 균형 계수 $\alpha$ $α$ 를 도입합니다.
- 이론적 발견: 저자들은 초기 단계에서의 출근 클래스와 결근 클래스 간의 초기 그래디언트 비율이 $\rho \alpha / (1-\alpha)$ 임을 도출했습니다. 그들은 집중 파라미터 $\gamma$ 가 초기화 상태( $p=0.5$ )에서 효과가 없음을 증명했습니다.
- 교정(Calibration): 그래디언트 균형을 달성하려면 $\alpha$ 를 $\alpha^* = 1/(1+\rho) \approx 0.023$ 로 설정해야 합니다. 표준 파라미터 설정(예: $\alpha=0.75$ )은 다수 클래스의 지배력을 증폭시켜 모델 붕괴를 유발합니다.
기하 평균 (Geometric Mean, G-Mean) 손실: 참 양성률(TPR)과 참 음성률(TNR)의 기하 평균을 최적화합니다.
- 이론적 발견: G-Mean은 자기 교정적 그래디언트 구조를 보입니다. 전체 그래디언트 기여도의 비율은 $\widehat{TNR}/\widehat{TPR}$ 에 달려 있으며, 이는 불균형 비율 $\rho$ 와 무관합니다. 모델이 모든 경우를 "출근"으로 예측하며 붕괴할 때, 결근 클래스의 그래디언트가 자연스럽게 우세해지며 수동 파라미터 튜닝 없이도 복구력을 제공합니다.

실험 설정

지표: 특이도(주 지표), 균형 정확도(Balanced Accuracy), 정밀도(Precision), 재현율(Recall) 및 F1-score.
하이퍼파라미터: 배치 크기, 윈도우 크기, 손실 함수 파라미터에 대한 체계적인 탐색을 수행했습니다.
환경: PyTorch를 사용하여 NVIDIA RTX 4090 GPU에서 학습되었습니다.

주요 결과

1. 손실 함수 성능

표준 BFL 실패: 표준 BFL 설정( $\alpha=0.75, \gamma=2$ )은 특이도가 0.124에 불과했으며, 이는 모델이 거의 모든 직원을 "출근"으로 예측했음을 의미합니다.
교정된 BFL: $\alpha$ 를 이론적으로 도출된 $\alpha^* \approx 0.023$ 로 설정하고 $\gamma=0$ 으로 설정했을 때, 특이도는 0.813, 균형 정확도는 0.888로 개선되었습니다.
G-Mean 성능: G-Mean은 파라미터 교정 없이도 0.844의 특이도와 0.734의 균형 정확도를 달성했습니다.
결론: $\rho$ 를 알 수 없거나 수동 교정을 피하고자 할 때는 G-Mean이 더 바람직합니다. 교정된 BFL( $\alpha^*, \gamma=0$ )은 경쟁력이 있지만 불균형 비율에 대한 정확한 지식이 필요합니다.

2. 아키텍처 및 하이퍼파라미터

아키텍처: LSTM-FCN 하이브리드 모델이 다양한 구성에서 가장 일관된 정밀도와 특이도를 보여주었습니다.
배치 크기: 성능은 배치 크기가 $\ge 64$ 일 때 안정화되었습니다. 작은 배치는 소수 클래스 샘플을 신뢰성 있게 포함하지 못해 G-Mean의 자기 교정 메커니즘이 붕괴되었습니다. 배치 크기 1,024가 가장 높은 특이도를 나타냈습니다.
윈도우 크기: 5일 예측 지평의 경우, 윈도우 크기가 40에서 80일 사이일 때 성능과 안정성 간의 최적의 트레이드오프를 제공했습니다. 더 큰 윈도우(예: 160일)는 F1-score와 균형 정확도의 하락을 초래했습니다.
배경 정보: 정적 직원 배경 정보(예: 연령, BMI)를 통합하는 것은 출근 시퀀스만을 사용하는 것과 비교하여 성능을 크게 향상시키지 못했습니다.

3. 테스트 세트 평가

보류된(held-out) 테스트 데이터에서, G-Mean 손실, 40~80일의 윈도우 크기, 1,024의 배치 크기를 가진 LSTM-FCN 모델은 약 80%의 균형 정확도를 달s성했습니다. 모델은 잘 일반화되었으며, 이는 학습된 시간적 패턴이 과적합되지 않았음을 나타냅니다.

의의 및 기여

본 논문은 네 가지 주요 기여를 주장합니다:

TSC 정식화: 결근 예측을 순차적 지식 문제로 재구성하여, 역사적 시퀀스를 미래 레이블과 명시적으로 분리함으로써 기존의 사후 대응적 모델과 대조되는 진정한 선제적 의사결정 지원을 가능하게 합니다.
손실 함수의 이론적 분석: 심각한 불균형 하에서의 그래디언트 역학에 대한 엄격한 이론적 도출을 제공합니다. 표준 BFL 파라미터 설정이 양성 클래스가 다수인 경우 실패함을 증명하고, 균형을 위해 필요한 정확한 $\alpha$ 의 해석적 값을 도출합니다. 또한 G-Mean 손실의 자기 교정 특성을 규명합니다.
체계적 평가: 불균형한 순차적 예측을 위한 실질적인 설계 가이드라인을 수립하여, LSTM-FCN을 견고한 아키텍처로 식별하고 최적의 배치 크기 및 윈도우 크기 범위를 정의합니다.
재현 가능한 시뮬레이션 프레임십: 공개된 개인 수준의 종단적 데이터의 부재 문제를 해결하기 위해, 합성 종단적 출석 데이터를 생성하는 교정된 시뮬레이션 방법론을 공개하여 향후 연구를 위한 베이스라인을 제공합니다.

저자들은 본 연구가 시뮬레이션된 데이터를 사용했다는 점에 한계가 있으나, 본 프레임워크가 인력 관리, 의료 및 부정 탐지 분야의 심각하게 불균형한 이진 분류에 대한 실질적인 지침을 제공한다고 결론짓습니다. 향후 연구는 실제 조직 데이터를 통해 이러한 발견을 검증하고 다변량 시퀀스로 확장하는 데 집중될 것입니다.