Left-truncated discrete lifespans: The AFiD enterprise panel
이 논문은 독일 AFiD 기업 패널 데이터를 활용하여 기하분포를 기반으로 한 기업 수명 모델을 제안하고, 관측 가능성에 대한 조건부 우도를 통해 추정량의 일관성과 점근적 정규성을 증명하며 2018~2019 년 약 140 만 개 기업의 평균 수명을 10 년으로 추정했습니다.
상상해 보세요. 독일 전역에 수백만 개의 기업이 있습니다. 이 기업들은 마치 **'동전 던지기 게임'**을 하고 있습니다.
게임 규칙: 매년 동전을 던집니다.
앞면 (성공): 기업은 다음 해까지 살아남습니다.
뒷면 (실패): 기업은 문을 닫습니다 (파산, 휴업 등).
저자들의 가설: 이 게임에서 동전이 뒷면이 나올 확률 (닫힐 확률) 은 기업의 나이나 연도에 상관없이 매년 똑같다고 가정합니다. (기하급수적 분포 모델)
하지만 여기서 문제가 생깁니다. 통계청 (DESTATIS) 은 2018 년부터만 이 게임의 기록을 꼼꼼히 챙기기 시작했습니다.
왼쪽 잘림 (Left Truncation): 2018 년 이전에 문을 닫은 기업들은 기록에 없습니다. 우리는 그들을 볼 수 없죠. 마치 2018 년에 게임장에 들어와서, 이미 게임이 끝난 사람들을 못 본 것처럼요.
오른쪽 잘림 (Right Censoring): 2019 년까지 살아남은 기업들은 아직 게임이 끝나지 않았습니다. 우리는 그들 중 일부가 언제 문을 닫을지 아직 모릅니다.
2. 해결책: "보이지 않는 과거"를 잊는 마법
연구자들은 이런 질문을 던집니다.
"2018 년 이전에 문을 닫은 기업들을 기록에서 아예 빼버리면, 살아남은 기업들의 수명을 계산할 때 편향 (Bias) 이 생기지 않을까?"
예를 들어, 2013 년에 창업해서 2015 년에 망한 기업은 기록에 없습니다. 하지만 2013 년에 창업해서 2019 년까지 살아남은 기업은 기록에 있습니다. 연구자들은 **"살아남은 기업들에게는 2018 년 이전의 '숨겨진 시간'도 잊어버리자"**라고 제안합니다.
비유: 마치 2018 년이라는 새로운 게임 판을 깔고, 그날부터 살아남은 기업들에게 **"너희는 2018 년에 태어난 새 기업이야"**라고 말해주는 것과 같습니다.
효과: 이렇게 하면, 2018 년 이전에 문을 닫은 기업들이 기록에서 사라지는 것과, 2018 년 이후에 살아남은 기업들의 '관측 가능 시간'이 줄어드는 것이 서로 상쇄됩니다. 결과적으로 공정한 계산이 가능해집니다.
3. 핵심 도구: "예측 불가능한 마법 시계" (Martingale)
이 논문이 정말 특별한 이유는 이 복잡한 계산을 **'마팅글 (Martingale)'**이라는 수학적 도구를 이용해 해결했다는 점입니다.
마팅글이란? "내일의 예상값이 오늘과 같다"는 뜻입니다. 즉, 과거의 데이터를 아무리 분석해도 미래를 정확히 예측할 수 없는, 완전한 공정한 게임을 의미합니다.
이 연구에서의 역할: 기업들이 언제 문을 닫을지 예측하는 과정에서, 연구자들은 "이 기업은 아직 살아있으니, 내년에 문을 닫을 확률은 여전히 일정하다"는 논리를 마팅글 이론으로 엄밀하게 증명했습니다.
마치 주사위를 던질 때, "이전 10 번이 모두 6 이 나왔더라도, 다음 번에 6 이 나올 확률은 여전히 1/6 이다"라는 원리를 수학적으로 증명하는 것과 같습니다.
이를 통해 연구자들은 **오차 범위 (표준 오차)**를 매우 정확하게 계산할 수 있었습니다.
4. 연구 결과: 독일 기업의 수명은?
연구진은 2013~2017 년 사이에 설립된 약 140 만 개의 독일 기업 데이터를 분석했습니다.
결론: 독일 기업의 평균 수명은 약 10 년입니다.
정확도: 이 수치는 놀라울 정도로 정밀합니다. 신뢰구간 (95% 확률로 이 안에 들어갈 범위) 의 폭이 약 2 개월밖에 되지 않습니다.
즉, "10 년"이라고 말했을 때, 실제 수명은 9 년 10 개월에서 10 년 2 개월 사이일 가능성이 매우 높다는 뜻입니다.
5. 다른 나라와 비교하면?
논문은 독일의 결과를 다른 나라들과 비교했습니다.
일본: 과거에는 폐업 속도가 느렸지만, 최근에는 두 배로 빨라졌습니다.
포르투갈: 독일보다 폐업 속도가 더 빠릅니다 (중앙값 4 년).
미국: 독일보다 약간 빠릅니다 (중앙값 5 년).
독일: 상대적으로 튼튼합니다 (중앙값 7 년, 평균 10 년).
요약: 이 논문이 우리에게 주는 메시지
불완전한 데이터도 쓸모있다: 과거 기록이 부족하거나 (왼쪽 잘림), 미래 기록이 없는 (오른쪽 잘림) 데이터라도, 올바른 통계적 방법 (조건부 우도, 마팅글) 을 쓰면 정확한 결론을 낼 수 있습니다.
기업은 10 년을 산다: 독일 기업의 평균 수명은 10 년이며, 이는 매우 정밀하게 계산된 수치입니다.
수학의 힘: 복잡한 기업 생존 문제를 해결하기 위해 '마팅글'이라는 고급 수학 이론을 활용하여, 단순한 비율 계산으로는 불가능했던 높은 정확도의 오차 범위를 도출해냈습니다.
이 논문은 **"데이터가 불완전해도, 올바른 수학적 사고를 통해 진실에 도달할 수 있다"**는 통계학의 아름다움을 보여주는 사례입니다.
논문 요약: 왼쪽 절단 (Left-truncated) 이산 수명 데이터에 대한 AFiD 패널 분석
1. 연구 배경 및 문제 정의 (Problem)
연구 목적: 독일 기업 (AFiD 패널 데이터) 의 향후 1 년 내 폐업 (파산 또는 기타 사유) 확률 (θ) 을 추정하고, 이를 통해 기업의 기대 수명을 산출하는 것입니다.
핵심 문제:
왼쪽 절단 (Left-truncation): 패널 데이터의 관측 시작 시점 (2018 년) 이전에 설립된 기업들은 관측 시작 시점에 이미 존재하고 있습니다. 즉, 설립부터 관측 시작 전까지의 생존 기간은 관측되지 않습니다. 기존 데이터를 무시할 경우 편향 (Immortal time bias) 이 발생할 수 있습니다.
관측 불완전성: 2018 년 이전에 폐업한 기업들은 데이터에 포함되지 않아 (Missing), 표본 선택 편향 (Sample selection bias) 문제가 발생합니다.
이산 시간 및 종속성: 기업 수명은 연속적인 시간이 아닌 '년 (Epoch)' 단위의 이산 시간으로 기록되며, 동일 기업의 연도별 생존 실험은 독립적이지 않고 종속적입니다. 또한, 기업별 관측 기간 (수명) 이 무작위적으로 다르기 때문에 표준적인 중심극한정리 적용이 어렵습니다.
데이터 특성: 독일 통계청 (DESTATIS) 의 AFiD 패널 데이터 (2018-2019 년 관측, 2013-2017 년 설립 기업 대상) 를 사용하며, 데이터는 왼쪽 절단 (2018 년 이전 폐업 미관측) 과 오른쪽 절단 (2019 년 이후 폐업) 이 동시에 존재합니다.
2. 방법론 (Methodology)
모델 가정:
기업 수명 (X) 은 **기하 분포 (Geometric Distribution)**를 따릅니다. 즉, 매년 폐업할 확률 θ는 기업의 나이와 시간에 무관하게 일정하다고 가정합니다.
설립 연도 (T) 와 수명 (X) 은 서로 독립적이라고 가정합니다.
통계적 접근:
조건부 우도 (Conditional Likelihood): 관측 가능한 데이터 (2018 년 이후 생존한 기업) 에만 초점을 맞추기 위해, 관측 가능성 조건 (X≥T+1) 하에서 우도를 구성합니다. 이를 통해 설립 분포에 대한 가정이 불필요한 반모수적 (Semi-parametric) 분석이 가능해집니다.
마팅갈 (Martingale) 이론의 적용:
관측된 생존 과정을 '카운팅 프로세스 (Counting Process)'로 모델링합니다.
관측 시작 시점 (T) 이후의 과정을 정의하고, 이를 **마팅갈 (Martingale)**로 변환합니다.
우도 함수를 마팅갈의 변환 (Martingale transform) 으로 표현하여, 추정량의 일관성 (Consistency) 과 점근적 정규성 (Asymptotic Normality) 을 증명합니다.
특히, 다양한 분산을 가진 무작위 표본 크기 (기업별 관측 기간 차이) 로 인해 발생하는 Lindeberg-Lévy 조건 위반 문제를 해결하기 위해 Rebolledo 의 마팅갈 극한 정리를 활용합니다.
추정량 도출:
조건부 우도 함수를 최대화하여 모수 θ의 추정량 (θ^) 을 도출합니다.
추정량은 "관측된 폐업 건수"를 "관측 가능한 위험 시간 (Time at risk) 의 합"으로 나눈 비율로 해석됩니다.
오른쪽 절단 (Right-censoring) 된 데이터 (2019 년 이후 폐업) 도 보정하여 포함합니다.
3. 주요 기여 (Key Contributions)
이산 시간 왼쪽 절단 데이터에 대한 엄밀한 통계적 프레임워크: 기존 연속 시간 모델 (Doob-Meyer 분해 등) 과 달리, 이산 시간 (연도 단위) 데이터에 특화된 마팅갈 기반 추정 이론을 정립했습니다.
설립 분포에 대한 무관성 (Invariance): 조건부 우도 (Conditional Likelihood) 를 사용하여 설립 연도 분포를 명시적으로 모델링하지 않아도 되게 하여, 반모수적 추정이 가능하게 했습니다.
점근적 성질의 증명: 무작위 절단 (Random truncation) 과 이산 시간 종속성을 고려하여, 추정량의 일관성과 점근적 정규성을 엄밀하게 증명했습니다.
실증적 적용: 140 만 개의 기업 데이터를 대상으로 실제 추정치를 산출하고 신뢰구간을 제시했습니다.
4. 연구 결과 (Results)
데이터: 2013-2017 년에 설립된 약 140 만 개 독일 기업 데이터 (2018-2019 년 관측).
추정값:
연간 폐업 확률 (θ) 의 추정치: 약 0.1009 (95% 신뢰구간: [0.1005, 0.1013]).
기업 기대 수명: 약 10 년 (95% 신뢰구간: [9.88, 9.95] 년).
신뢰구간의 폭은 약 2 개월로 매우 정밀하게 추정되었습니다.
비교 분석:
기존 연구 (독일, 일본, 포르투갈, 미국 등) 와 비교 시, 독일 기업의 폐업률은 일본보다 높고 포르투갈이나 파키스탄보다 낮은 중간 수준임을 확인했습니다.
특히 25% 분위수 (2 년) 와 50% 분위수 (7 년) 등 기존 연구 결과와 기하 분포 모델의 예측치가 잘 부합함을 보였습니다.
시뮬레이션: 대용량 (n>100만) 데이터에서 추정량의 평균 제곱 오차 (MSE) 가 매우 작음을 확인하여 일관성을 검증했습니다.
5. 의의 및 의의 (Significance)
방법론적 혁신: 기업 인구통계학 (Business Demography) 분야에서 흔히 발생하는 왼쪽 절단과 오른쪽 절단이 공존하는 이산 시간 데이터에 대해, 마팅갈 이론을 적용한 정교한 추정 방법을 제시했습니다. 이는 기존의 단순한 비율 계산이나 복잡한 생존 분석 모델을 넘어선 통계적 엄밀성을 제공합니다.
정책적 활용: 독일 기업들의 평균 수명과 폐업 위험을 매우 정밀하게 (오차 범위 2 개월 내) 추정함으로써, 기업 지원 정책 및 금융 리스크 관리에 기초 데이터를 제공합니다.
확장성: 이 연구는 이산 시간 이벤트 히스토리 데이터 분석에 대한 일반적인 프레임워크를 제공하며, 다른 국가나 다른 산업군으로의 적용 가능성을 열어줍니다. 또한, 예측 (Forecasting) 분야에 통계학적 기여를 했다는 점도 강조됩니다.
결론적으로, 이 논문은 독일 기업 데이터의 복잡한 구조 (왼쪽 절단, 이산 시간, 무작위 표본 크기) 를 마팅갈 이론을 통해 해결하고, 기업 수명에 대한 정밀한 통계적 추정을 가능하게 한 방법론적 및 실증적 성과입니다.