📊 statistics

A Kolmogorov-Smirnov-Type Test for Dependently Double-Truncated Data

본 논문은 이중 절단된 수명 데이터의 모수적 분포군에 대한 콜모고로프-스미르노프 유형의 검정을 제안하며, 의존성을 설명하기 위해 코퓰러 모델을 활용하고 시뮬레이션과 독일 기업 수명에 대한 적용을 통해 연령 균질한 폐쇄 위험 가설을 기각함으로써 그 효과를 입증한다.

원저자: Anne-Marie Toparkus, Rafael Weissbach

게시일 2026-07-22

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Anne-Marie Toparkus, Rafael Weissbach

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사라진 시간의 미스터리

당신이 특정 유형의 물건이 보통 얼마나 오래 지속되는지 알아내려는 탐정이라고 상상해 보십시오. 그것은 전구일 수도 있고, 스마트폰일 수도 있으며, 심지어는 기업일 수도 있습니다. 통계학의 세계에서 이것은 "수명(lifespans)"을 연구하는 것이라고 불립니다. 하지만 여기에는 함정이 있습니다. 모든 물건이 죽을 때까지 기다렸다가 그것이 얼마나 살았는지 확인할 수는 없다는 점입니다. 당신은 시간의 스냅샷을 보아야 합니다.

여기서 "절단(truncation)"이라는 개념이 등장합니다. 이것은 특정 방에 이미 서 있는 사람들의 사진만 찍는 카메라와 같습니다. 만약 당신이 현재 대기실에 있는 사람들만 촬영한다면, 아직 도착하지 않은 사람들(좌측 절단)과 이미 떠나버린 사람들(우측 절단)을 놓치게 됩니다. 현실 세계에서 이런 일은 항상 일어납니다. 예를 들어, 2014년에 폐업한 기업들을 연구한다면, 당신은 2014년 당시에 이미 존재하고 있었던 기업들만을 보게 됩니다. 2015년에 시작된 기업들은 놓치게 되고, 2010년에 폐업한 기업들도 놓치게 됩니다.

보통 통계학자들은 무언가가 '언제 시작되었는지'가 그것이 '얼마나 오래 지속될지'와는 아무런 관련이 없다고 가정합니다. 그들은 1990년에 설립된 기업이나 2010년에 설립된 기업이나 빠르게 폐업할 가능성이 동일하다고 가정합니다. 하지만 현실 세계에서 상황은 그렇게 단순하지 않은 경우가 많습니다. 기대 수명은 시간이 흐름에 따라 변하며, 무언가를 시작하는 시점이 그것이 얼마나 생존할지에 실제로 영향을 미칠 수도 있습니다. 이 논문은 시작 시간과 종료 시간이 비밀스럽게 연결되어 있는 두 무용수처럼, 수명이 예측 가능한 패턴을 따르는지 테스트하는 까다로운 문제를 다룹니다.

이중 절단 데이터의 춤

로스토크 대학교의 통계학자인 안네-마리 토파쿠스(Anne-Marie Toparkus)와 라파엘 바이스바흐(Rafael Weißbach)는 이 무도회장의 미스터리를 해결하기 위해 새로운 도구를 만들기로 했습니다. 그들은 "콜모고로프-스미르노프 유형 검정(Kolmogorov-Smirnov-Type Test)"을 개발했는데, 이는 멋진 말로 표현하자면 이론적인 추측이 복잡한 실제 데이터와 얼마나 잘 부합하는지를 측정하는 매우 민감한 자를 만든 것입니다.

그들의 주요 임무는 특정 가설을 테스트하는 것이었습니다. 기업의 수명이 "지수 분포(exponential distribution)"를 따르는가? 쉬운 말로 설명하자면, 지수 분포는 무언가가 문을 닫을 위험이 일정하다는 것을 시사합니다. 그것은 마치 방사성 원자와 같습니다. 그것이 얼마나 오래되었든 상관없이, 다음 초에 붕괴할 확률은 항상 동일합니다. 만약 이것이 기업에 적용된다면, 20년 된 회사가 내일 망할 확률은 1년 된 회사와 동일할 것입니다.

하지만 저자들은 이것이 전체 이야기가 아닐 것이라고 의심했습니다. 그들은 "절단 시점의 연령(truncation age, 연구가 시작되는 시점)"과 "수명(lifespan, 기업이 지속되는 기간)"이 서로 의존적인 경우가 많다는 것을 알고 있었습니다. 이 연결 고리를 모델링하기 위해 그들은 "코풀라(copula)", 구체적으로는 "팔리-검벨-모르겐슈테른(Farlie-Gumbel-Morgenstern, FGM) 코풀라"라는 수학적 도구를 사용했습니다. 코풀라는 두 개의 별개 확률 곡선을 하나로 붙여서 함께 움직이게 만드는 접착제라고 생각하면 됩니다. FGM 코풀라는 두 곡선이 같은 방향으로 움직이든 반대 방향으로 움직이든 상관없이 그들을 결합할 수 있다는 점에서 특별합니다.

독일 기업 실험

이 새로운 자를 테스트하기 위해 저자들은 방대한 데이터셋인 55,279개의 독일 기업 데이터를 살펴보았습니다. 이 기업들은 1990년에서 2013년 사이에 설립되었으며, 연구는 2014년에서 2016년 사이에 문을 닫은 기업들을 조사했습니다. 데이터에는 2014년에 살아있었지만 2016년까지 폐업한 기업들만 포함되었기 때문에, 이 데이터는 시작과 끝 양쪽에서 잘려 나간 "이중 절단(doubly truncated)"된 상태였습니다.

연구진은 테스트를 두 번 실행했습니다. 첫째, 시작 날짜와 수명이 완전히 독립적이라고 가정했습니다("쉬운" 버전). 그런 다음, 나이가 많은 기업이 다르게 행동할 수 있다는 점을 고려하여 FGM 코풀라를 사용하여 다시 테스트를 수행했습니다.

결론: 시계는 일정하지 않다

결과는 명확하고 결정적이었습니다. 저자들이 자신들의 데이터를 "지수 분포"(위험이 시간에 따라 일정하다는 아이디어)와 비교했을 때, 검정 통계량은 매우 컸습니다. 사실, 그것은 시뮬레이션을 통해 계산된 임계값을 훨씬 초과할 정도로 컸습니다.

이 논문은 독일 기업의 수명이 일정한 위험률을 가진 지수 분포를 따른다는 가설을 명시적으로 기각합니다. 즉, 데이터는 기업이 폐업할 위험이 연령에 관계없이 동일하지 않다는 것을 증명합니다. "연령 동질적 폐업 위험(age-homogeneous closure hazard)"(연령이 중요하지 않다는 생각)은 분명히 틀렸습니다.

저자들은 또한 시작 날짜와 수명 사이의 의존성이 실재한다는 것을 발견했습니다. 그들은 약 0.023의 "켄달의 타우(Kendall's tau)"를 계산했는데, 이 수치는 작아 보이지만 논문은 이것이 통계적으로 유의미하다고 확인합니다. 이러한 양의 의존성은 기대 수명의 부정적인 시간적 추세를 시사합니다. 즉, 시간이 흐를수록 이 기업들의 기대 수명은 실제로 감소했습니다.

어떻게 해냈는가 (커튼 뒤의 마법)

당신은 그들이 어떻게 이토록 정밀하게 계산했는지 궁금할 수 있습니다. 저자들은 단순히 추측한 것이 아니라 엄격한 수학적 엔진을 구축했습니다. 그들은 "함수 델타 방법(functional delta method)"과 "돈스커 클래스 논법(Donsker-class arguments)"이라는 방법을 사용했습니다. 이것이 헛소리처럼 들린다면, 데이터가 완벽하고 매끄러운 선이 아니라 55,000개의 개별 점들로 이루어진 울퉁불퉁하고 거친 덩어리라는 점을 처리하는 방법이라고 생각하십시오.

그들은 그래프상의 특정 "교차점(intersection points)"과 "투영(projections)"을 확인하여 숫자를 처리할 수 있는 알고리즘(알고리즘 1)을 개발했습니다. 모든 시점의 점들을 일일이 확인하는 대신(그러면 시간이 너무 오래 걸릴 것입니다), 그들의 영리한 수학은 자신의 추측과 실제 사이의 가장 큰 차이를 찾기 위해 유한한 수의 지점들만 확인하면 된다는 것을 보여주었습니다.

결과가 실제로 유의미한 것인지 아니면 단지 우연인지 파악하기 위해, 그들은 "임계값(critical value)"을 시뮬레이션해야 했습니다. 이 복잡하고 의존적인 데이터에 대해서는 간단한 공식이 없었기 때문에, 그들은 지수 분포 가설이 참일 경우 검정 통계량이 어떻게 나타나야 하는지 확인하기 위해 "브라운 다리(Brownian bridges, 일종의 무작위 행보)"를 생성하며 컴퓨터 시뮬레이션을 1,000번 실행했습니다. 실제 데이터는 이 시뮬레이션 범위를 너무나 크게 벗어나 있었기에, 기각은 부인할 수 없는 사실이었습니다.

핵심 요약

이 논문은 단순히 "패턴을 발견했다"라고 말하는 것이 아닙니다. "우리는 독일 기업에 대해 일정한 위험이라는 단순한 생각이 틀렸음을 수학적으로 증명했다"라고 말합니다. 저자들은 이러한 기각의 이유가 단순히 기업이 시작된 시점의 무작위적인 분포 때문이라기보다, 시간이 흐름에 따라 변화하는 비즈니스 환경의 특성 때문일 가능성이 높다고 제안합니다.

이 논문은 독일 기업에 초점을 맞추고 있지만, 그들이 만든 도구는 시작 시간과 종료 시간이 연결된 모든 종류의 수명 데이터에 대해 이론을 테스트할 수 있는 강력한 새로운 방법입니다. 이는 데이터의 세계에서 사물들이 결코 독립적이지 않으며, 때로는 미래를 이해하는 가장 좋은 방법은 과거와 현재가 함께 춤추고 있음을 인정하는 것임을 상기시켜 줍니다.

기술 요약: 종속적 이중 절단 데이터를 위한 콜모고로프-스미르노프(Kolmogorov-Smirnov) 유형의 검정

문제 정의
본 논문은 데이터가 이중 절단(좌측 및 우측 모두)되어 있고, 절단 메커니즘이 수명( $X$ )에 종속적인 경우, 수명의 모수적 분포 군(family)에 대한 적합도 검정(goodness-of-fit test)을 수행하는 문제를 다룬다. 표준 생존 분석에서는 관심 변수와 절단 시간 사이의 독립성을 가정하는 경우가 많다. 그러나 인구 통계학 및 경제학적 맥락(예: 기업의 수명)에서는 기대 수명이 비정상성(non-stationary)을 보이는 경우가 많아, 수명과 연구 진입 시점(절단 연령, $T$ ) 사이에 의존 관계가 발생한다. 기존 문헌은 주로 독립적 절단에 대한 비모수적 기여나 특정 모수적 모델을 다루었으나, 종속적 이중 절단 하에서 $X$ 의 분포를 위한 엄밀한 비모수적 검정은 부족한 실정이었다.

방법론
저자들은 종속적 이중 절단의 이변량 설정에 적합하도록 조정된 콜모고로프-스미르노프(KS) 유형의 검정 통계량을 제안한다.

모델 프레임워크:
- 모집단은 길이 $G$ 인 시간 창 내에서 태어난 단위들로 구성된다.
- 수명 $X$ 와 절단 연령 $복 T$ 는 결합 분포 $F_\theta(x, t) = C_\vartheta(F^X_\theta(x), F_T(t))$ 로 모델링된다. 여기서 $C_\vartheta$ 는 의존 구조를 포착하는 코풀라(특히 주요 예시에서는 파를리-검벨-모르겐슈테른(FGM) 코풀라)이며, $\vartheta$ 를 통해 의존성을 나타낸다.
- 관측치는 평행사변형 $D = \{(x, t) : 0 < t \le x \le t+s, t \le G\}$ 내로 제한된다. 이는 출생 기간 $s$ 이후의 연구 기간을 나타낸다.
검정 통계량 구축:
- 검정은 관측된 절단 표본의 경험적 분포를 이론적 조건부 분포 $F^{obs}_\theta$ 와 비교한다.
- 통계량은 다음과 같이 정의된다:
  $\sqrt{M_n} \frac{1}{\sqrt{\hat{\alpha}_{\hat{\theta}_n}} } \sup_{(x,t) \in S} \left| \hat{P}_{n,D}([0, x] \times [0, t]) - \hat{\alpha}_{\hat{\theta}_n} F^{obs}_{\hat{\theta}_n}(x, t) \right|$
  여기서 $M_n$ 은 관측된 단위의 무작위 수, $\hat{\theta}_n$ 은 (의존성 파라미터를 포함한) 파라미터의 일치 추정량, $\hat{\alpha}$ 는 관측 확률의 추정치이다.
- 계산: 저자들은 supremum(상한) 계산을 유한한 횟수의 연산으로 줄이는 알고리즘(Algorithm 1)을 도출한다. 최대 편차는 관측된 점들, 경험적 분포와 이론적 경계의 교점, 지지 집합 $D$ 의 가장자리로의 투영, 그리고 특정 모서리들에서 평가된다.
점근 이론(Asymptotic Theory):
- 논문은 Donsker-class 논법과 **함수 델타 방법(functional delta method)**을 활용하여 귀무가설( $H_0$ ) 하에서의 검정 통계량의 점근 분포를 도출한다.
- 극한 프로세스는 브라운 브리지(Brownian bridge)의 변형인 가우시안 프로세스 $H_{P_{\theta_0}}$ 로 나타난다. 이 프로세스는 파라미터( $\theta$ )의 추정과 관측 확률의 추정(이를 통해 무작위 표본 크기 $M_n$ 을 처리함)을 모두 고려한다.
- 이 극한 프로세스의 공분산 함수를 명시적으로 도출하여, 이를 통해 임계값을 시뮬레이션할 수 있도록 하였다.
임계값 결정:
- 점근 분포가 미지의 파라미터에 의존하므로, 임계값은 시뮬레이션(Algorithm 2)을 통해 계산된다. 이는 지지 집합 $D$ 상의 격자(grid) 위에서 도출된 공분산 행렬을 기반으로 가우시안 벡터를 생성하는 과정을 포함한다.

주요 기여

종속적 절단 검정: 본 논문은 종속적 이중 절단 데이터에 특화된 최초의 KS 유형 적합도 검정을 제공하며, 기존 문헌에 만연했던 독립성 가정을 넘어선다.
알고리즘 구현: 이중 절단의 평행사변형 지지 집합에 맞춰 이전의 단변량 및 독립 이변량 방법을 적응시켜, supremum이 발생하는 유한한 점들을 식별함으로써 검정 통계량을 계산하는 계산 가능한 알고리즘을 제공한다.
점근적 도출: 복합 검정 통계량(파라미터가 추정되는 경우)의 극한 분포를 엄밀하게 도출하여, 특정 가우시안 프로세스로의 수렴과 필요한 공분산 구조를 확립하였다.
실제 데이터 적용: 방법론을 55,279개의 독일 기업 수명 데이터셋(1990–2013년 설립, 2014–2016년 폐업)에 적용하였다.

결과

시뮬레이션 및 적용: 저자들은 독일 기업 데이터에 이 검정을 적용하여 수명이 지수 분포를 따르는지 확인하였다.
- 독립성(곱 코풀라, Product Copula) 가정 하에서 검정 통계량은 1.651이었고, 종속성(FGM 코풀라) 가정 하에서는 1.6917이었다.
- 99% 수준에서 시뮬레이션된 임계값은 각각 약 0.3558(독립성)과 0.2914(종속성)였다.
가설 기각: 두 경우 모두 검정 통계량이 임계값을 크게 상회하였으며, 이는 지수 분포 가설을 명확히 기각함을 의미한다.
해석: 저자들은 이러한 기각이 이론적으로 설립일(출생)의 균등 분포 가정에서 비롯될 수 있다고 언급했으나, 선행 연구에 따르면 균질한 푸아송 과정(homogeneous Poisson process)은 균등한 $T$ 를 생성한다. 따라서 기각은 기업 수명에 대한 지수 분포의 부적절함, 특히 연구 시작 연령과 수명 사이의 양의 의존성(수명의 음의 시간 추세)을 반영하는 결과로 보는 것이 타당하다.

의의 및 주장
본 논문은 종속적 이중 절단이 존재하는 상황에서 파라미터 가족에 대한 엄격한 적합도 검정을 가능하게 한다는 점을 주요 기여로 주장한다. 이는 인구 통계학 및 경제학에서 흔히 발생하지만 이전에는 비모수적으로 테스트하기 어려웠던 시나리오이다.

이론적 겸손함: 저자들은 이론적 요구 사항이 최소한이며, 표준적인 파라미터 분석 가정에 영향 함수 $\phi_{\theta_0}$ 의 유한성(가정 A5)을 추가한 것뿐이라고 밝힌다.
실용적 유용성: 실제 적용 결과, 의존성을 무시하는 것(이 데이터셋에 대한 이전 연구들처럼)이 오해의 소지가 있는 결론을 초래할 수 있음을 보여준다. 본 검정은 의존성을 적절히 모델링했을 때 "연령 균질 폐쇄 위험(age-homogeneous closure hazard, 지수 분포)" 가설이 기각됨을 성공적으로 탐지하였다.
한계: 저자들은 소표본의 경우 검정의 검정력(power)과 실제 유의 수준(actual level)을 확인하기 위해 추가적인 시뮬레이션 연구가 필요함을 인정한다. 또한 현재의 계산 방식(Cholesky 분해)이 3차 복잡도를 가지지만, 더 빠른 대안들이 존재함을 언급한다. 본 논문은 모든 절단 문제(예: 센서링(censoring)의 완전한 통합)를 해결한다고 주장하는 것이 아니라, 종속적 이중 절단이라는 구체적인 간극에 집중한다.