Life Sequence Transformer: Generative Modelling of Socio-Economic Trajectories from Administrative Data

기술 요약: 라이프 시퀀스 트랜스포머 (Life Sequence Transformer)

문제 정의

종단적 행정 기록에는 개인의 노동 시장, 보건, 교육 및 기타 사회경제적 영역에 걸친 궤적에 관한 풍부한 정보가 포함되어 있다. 그러나 이러한 데이터는 생성 모델링에 적합한 순차적 구조로 다뤄지는 경우가 드물다. 트랜스포머 기반 생성 모델은 물리학, 화학, 보건(예: 질병 결과 예측) 분야의 동적 시스템을 시뮬레이션하는 데 성공해 왔으나, 사회경제적 생애사에 대한 적용은 여전히 미개척 분야로 남아 있다. Life2Vec(Savcisens et al., 2024)과 같은 기존 모델은 예측 작업(예: 사망률 예측)에는 뛰어나지만, 미래의 시퀀스를 시뮬레이션할 수 있는 생성 능력은 부족하다. 또한 CAREER(Vafa et al., 2024)나 TransformEHR(Yang et al., 2023)와 같은 다른 모델들은 세밀한 시간적 해상도가 부족하거나 사전에 정의된 이벤트 타이밍을 요구하므로, 모델이 이벤트의 발생 시점(when)과 지속 기간(how long)을 결정하는 유연한 반사실적 생애 경로를 시뮬레이션하는 것을 방지한다.

방법론

데이터 소스 및 전처리

본 모델은 이탈리아 사회보장국(INPS)의 1:15 표본인 **워크 히스토리 이탈리아 패널(WHIP)**을 사용하여 학습된다. 이 데이터셋은 1990~2015년을 포괄하며 400만 명 이상의 개인을 포함한다. 저자들은 약 165만 개의 생애 궤적을 유지하기 위해 엄격한 선택 기준을 적용하였으며, 이는 2015년까지의 완전한 정보, 충분한 관찰 기간, 그리고 타당한 노동력 부착 상태를 보장한다.

새로운 인코딩 체계

핵심 기여는 표 형식의 행정 데이터를 구조화된 사회경제적 상태의 시퀀스로 변 변환하는 새로운 인코딩 방법이다. 시간을 고정된 그리드나 부가적인 속성으로 취급하는 기존 방식과 달리, 이 방법은 명시적인 달력 구조를 부여한다:

• 시간적 구조: 이력은 연 단위 세그먼트로 나뉘며, 다시 12개월 간격으로 세분화된다.
• 이벤트 표현: 각 노동 이벤트는 다음을 포함하는 이산 단위로 인코딩된다:
  • 시작 월: <MONTH_X> (1–12).
  • 이벤트 유형: <TYPE_X> (예: 고용, 실업).
  • 수식어: 섹터(<ATECO_X>), 직함(<WRK_TITLE_X>), 강도를 나타내는 선택적 토큰.
  • 지속 기간: <DUR_X> (월 단위), 연도 내에서 가변적인 이벤트 길이를 허용한다.
  • 소득: 100개 분위수로 이산화됨.
• 시퀀스 마커: 생애의 시작(<BOL>), 연도의 끝(<EOY>), 생애의 종료(<EOL>)를 나타내는 특수 토큰.
• 정적 속성: 인구통계학적 배경(성별, 출생 연도, 지역)은 시퀀스 시작 부분에 토큰으로 인코딩된다.
• 위치 임베딩: 모델은 절대 위치(연도), 상대 위치(연령), 그리고 표준 토큰 위치 임베딩을 활용한다.

모델 아키텍처

저자들은 시퀀스의 다음 토큰을 자기회귀적으로 예측하도록 학습된 디코더 전용(decoder-only) 트랜스포머를 제안한다. 주요 아키텍처 수정 사항은 다음과 같다:

1. Performer Attention: 선형 복잡도를 통해 학습 가능한 파라미터를 줄이고 계산 효율성을 높이기 위해 표준 어텐션을 대체한다.
2. Rotary Position Embeddings (RoPE): 시간적 패턴을 더 잘 포착하기 위해 Performer 어텐션과 함께 작동하도록 조정되었다.
3. RMS Normalization: 어텐션 및 피드포워드 레이어 이전에 적용되어 학습을 안정화한다.
4. 시간 임베딩: 수정된 Time2Vec 접근 방식을 사용한다. 결정적으로, 저자들은 Time2Vec의 선형 및 주기적 구성 요소를 적응시켰다: "연도" 임베딩(짧은 25년 범위)에는 더 많은 선형 용량을 할당하고, "연령" 임베딩(70년 범위)에는 더 많은 주기적 용량을 할당하여, 훈련 기간을 벗어난 외삽 시 모델이 일관성을 잃는 것을 방지한다.

모델은 10개의 디코더 레이어, 8개의 어텐션 헤드(6개 로컬, 2개 글로벌), 그리고 약 1,010만 개의 파라미터로 구성된다.

핵심 기여

1. 새로운 인코딩: 겹치는 사회경제적 이벤트를 유연한 시간적 해상도(시작 월 및 지속 기간)를 가진 개념 토큰의 시퀀스로 표현하는 방법으로, 순간적인 진단을 넘어 생애사를 모델링할 수 있게 한다.
2. 생성적 적응: 과거 이력에 조건화된 그럴듯한 대안적 생애 궤적을 시뮬레이션하기 위해 생성 모델링 기술을 적용하였으며, 특히 반사실적 "만약 ~했다면(what-if)" 시나리오를 생성할 수 있게 한다.
3. 확장 가능한 학습: 160만 명의 개인 이력으로부터 행정 데이터를 사용하여 현실적인 노동 시장 패턴을 재현하는 트랜스포머 학습의 타당성을 입증하였다.

실증 결과

다음 토근 예측 (Next-Token Prediction)

모델은 10년의 과거 이력에 조건화되었을 때 테스트 세트에서 0.7039의 매크로 평균 정확도와 0.713의 F1 점수를 달성한다. 성능은 더 긴 역사적 맥락과 함께 향상되며, 이는 시간 경과에 따른 생애 패턴의 안정성과 일치한다.

인과 관계 벤치마크

저자들은 노동 경제학의 확립된 인과 관계를 재현하는 모델의 능력을 평가한다:

• 실업 급여 (이직 수당): 모델은 연령과 급여 지속 기간 사이의 일반적인 양의 관계를 포착한다. 그러나 데이터 희소성(<1%의 시퀀스)으로 인해 정책 컷오프(연령 40세)에서의 급격한 불연속성은 재현하지 못한다. 더 넓은 대역폭(±144개월)에서는 모델의 평균 처치 효과(ATE)가 경험적 추정치와 밀접하게 일치한다(차이 < 1개월).
• 모성 벌칙 (Motherhood Penalty): 모델은 출산 후 여성의 장기적인 경력 정체 및 소득 감소를 성공적으로 재현한다. 소득 역학의 핵심 특징을 포착하지만, 실제 데이터에 비해 즉각적인 단기 벌칙은 과소평가하고 중장기적으로는 더 지속적인 효과를 생성하는 경향이 있다.
• 은퇴 시기: 모델은 출생 월이 은퇴 연령에 미치는 영향(1월 출생자가 12월 출생자보다 늦게 은퇴함)을 재현한다. 이 효과의 정확도는 조건화 지평(conditioning horizon)에 민민하게 반응한다. 은퇴 1년 전보다 4년 전에 조건화했을 때 경험적 벤치마크에 더 가까운 결과를 보인다.

외부 샘플 생성 (Out-of-Sample Generation)

훈련 기간 이후(2015년 이후)의 궤적을 생성할 때, 모델은 평균적으로 약 7~8년 동안 구조적 일관성을 유지한다. 5%의 시퀀스는 20년 후에도 구조적으로 유효하지만, 생성 지평이 길어질수록 구조적 실패 확률은 기하급수적으로 증가한다.

의의 및 주장

본 논문은 사회경제적 궤적에 대한 생성 모델링의 타당성을 입증한다고 주장한다. 대규모 행정 데이터를 통해 학습함으로써, 모델은 외부 통제 집단 없이도 알려진 인과 관계를 반영하는 일관된 합성 생애 경로를 생성할 수 있다.

저자들은 이 연구를 특히 반사실적 생성을 위한 정책 지향적 연구 도구로 포지셔닝한다. 특정 이벤트가 없었을 경우 커리어 경로가 어떻게 달라졌을지(예: "만약 ~했다면") 시뮬레이션할 수 있는 능력은 반사실적 시나리오를 구축하기 위한 확장 가능한 프레임워크를 제공한다. 그러나 저자들은 모델이 드문 규칙 기반의 불연속성을 완화(smoothing)한다는 점과, 반사실적 정의(예: 처치 시점, 통제 집단 선택)가 결과에 상당한 영향을 미친다는 점을 언급하며 신중한 태도를 유지한다. 또한, 모델이 구조적 편향에 대한 윤리적 위험을 내포하고 있으므로 자동화된 의사결정 적용 시 인간의 감독이 필요함을 강조한다.