Copula-ResLogit: A Deep-Copula Framework for Unobserved Confounding Effects

이 논문은 잔류 신경망 (ResNet) 과 코퓰라 모델을 결합한 'Copula-ResLogit'이라는 새로운 딥러닝 프레임워크를 제안하여, 교통 수요 분석에서 관측되지 않은 교란 요인으로 인한 비인과적 종속성을 탐지하고 완화하는 방법을 제시합니다.

핵심

🍎 핵심 비유: "사과와 오렌지의 비밀 친구"

상상해 보세요. 어떤 마을에서 사과 (A) 를 많이 먹는 사람일수록 오렌지 (B) 도 많이 먹는다는 통계를 발견했다고 가정해 봅시다.

• 일반적인 생각: "아, 사과를 먹으면 오렌지도 먹고 싶어지는구나! 사과가 오렌지 섭취를 원인으로 만든다!"라고 결론 내릴 수 있습니다.
• 실제 상황 (숨은 원인): 사실은 사과와 오렌지 사이에 직접적인 인과관계가 없습니다. 대신, 그 마을에 '비밀 친구 (숨은 요인)' 가 있어서, 이 친구가 사과를 좋아하는 사람에게는 오렌지도 주면서 두 과일을 함께 먹게 만든 것입니다. 예를 들어, 그 '비밀 친구'는 건강에 관심이 많은 사람일 수 있습니다. 건강을 생각해서 사과도 사고 오렌지도 사는 거죠.

이 논문은 "사과와 오렌지의 관계가 진짜 인과관계인지, 아니면 '비밀 친구' 때문에 생기는 착각인지" 구별해 내는 방법을 연구했습니다.

🚗 연구의 두 가지 사례

연구진은 이 방법을 두 가지 실제 상황에 적용해 보았습니다.

1. 보행자 실험 (VR):

   • 상황: 사람이 횡단보도에서 차가 올 때까지 얼마나 기다리는지 (기다림) 와 그 과정에서 느끼는 스트레스 (스트레스) 의 관계.
   • 문제: "스트레스를 많이 받으면 기다리는 시간이 짧아진다"는 결과가 나왔다면, 진짜 스트레스가 기다림을 줄인 걸까요? 아니면 숨은 요인 (예: 운전에 대한 두려움, 날씨, 그룹 행동 등) 이 둘을 동시에 영향을 준 걸까요?
   • 결과: 기존 통계 방법으로는 '숨은 요인'의 영향이 남아있어 두 변수가 서로 연관되어 있는 것처럼 보였습니다. 하지만 새로운 AI 모델을 쓰니, 그 숨은 요인의 영향을 제거하고 두 변수는 사실 서로 무관했다는 것을 밝혀냈습니다.

2. 런던 여행 데이터:

   • 상황: 사람들이 어떤 교통수단 (차, 버스, 도보) 을 선택하는지 (수단) 과 이동 거리 (거리) 의 관계.
   • 문제: "차를 타면 이동 거리가 길어진다"는 결과가 나왔다면, 차를 타서 거리가 길어진 걸까요? 아니면 숨은 요인 (예: 부유함, 직업, 생활 패턴) 이 차를 타고 멀리 가는 것을 동시에 결정했을까요?
   • 결과: 처음에는 숨은 요인이 남아있어 연관성이 보였습니다. 하지만 연구진이 AI 모델의 두뇌 (층) 를 더 깊게 만들자, 숨은 요인의 영향을 완벽하게 제거하고 두 변수가 독립적임을 확인했습니다.

🛠️ 새로운 도구: "코풀라-레스로그트 (Copula-ResLogit)"

이 연구가 개발한 새로운 도구의 이름입니다. 이걸 두 가지 장점을 합친 '슈퍼 탐정' 으로 생각하세요.

1. 코풀라 (Copula) - "관계 측정기":

   • 두 변수 (사과와 오렌지) 가 얼마나 밀접하게 연결되어 있는지, 그 연결 고리의 모양을 정교하게 측정하는 통계 도구입니다. 하지만 이 도구만으로는 숨은 친구 (요인) 가 어디에 있는지 정확히 잡기 어렵습니다.

2. 레스로그트 (ResLogit) - "AI 두뇌 (딥러닝)":

   • 사람의 뇌처럼 복잡한 패턴을 학습하는 인공지능입니다. 이 AI 는 데이터 속에 숨겨진 모든 복잡한 규칙과 숨은 요인을 찾아내서 그 영향을 제거해 버리는 능력이 있습니다.

이 두 가지를 합친 '슈퍼 탐정'의 역할:

1. 먼저 관계 측정기 (코풀라) 로 "아, 이 두 변수는 서로 연결되어 있네?"라고 발견합니다.
2. 그다음 AI 두뇌 (레스로그트) 를 작동시켜 "잠깐, 이 연결은 진짜 인과관계가 아니라 숨은 친구 때문인가?"를 찾아냅니다.
3. AI 가 숨은 친구의 영향을 제거해 버리면, 진짜 인과관계만 남게 됩니다.

💡 왜 이 연구가 중요할까요?

우리가 정책을 만들거나 의사결정을 할 때, "A 가 B 를 만든다" 고 착각하고 잘못된 결정을 내리는 경우가 많습니다.

• 예: "스트레스를 줄이면 기다리는 시간이 줄어든다"고 착각해서 스트레스 관리 프로그램만 만들면, 실제로는 기다리는 시간이 줄어들지 않을 수 있습니다. (사실은 숨은 요인이 문제였을 테니까요.)

이 연구는 "숨은 요인을 AI 가 찾아내서 제거해 주면, 진짜 원인과 결과를 정확히 볼 수 있다" 는 것을 증명했습니다.

📝 한 줄 요약

"통계만으로는 보이지 않는 '숨은 친구 (요인)'들이 만들어낸 착각을, 똑똑한 AI 가 찾아내서 제거해 줌으로써, 진짜 인과관계를 찾아내는 새로운 방법을 개발했다."

이 방법은 교통 계획, 의료, 경제 등 어떤 분야에서든 숨겨진 원인을 찾아내고 올바른 결론을 내리는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

교통 수요 분석 및 이동 행동 연구에서 결정 과정은 관찰 가능한 변수뿐만 아니라 **관찰되지 않은 요인 (Unobserved Factors)**의 영향을 받습니다. 이러한 관찰되지 않은 공통 요인 (예: 개인의 태도, 신념, 환경적 맥락 등) 은 여러 종속 변수 간에 **비인과적 의존성 (Non-causal Dependencies)**을 생성하여, 실제 인과 관계를 왜곡하거나 가릴 수 있습니다.

기존의 통계적 방법론 (Copula 기반 결합 모델링) 은 이러한 의존성을 포착할 수 있으나, 모델의 함수 형태를 사전에 정의해야 하는 이론 주도 (Theory-driven) 접근법의 한계가 있습니다. 반면, 딥러닝은 유연한 구조로 비선형성을 학습하지만, 해석 가능성 부족과 관찰되지 않은 혼란 변수 (Unobserved Confounders) 를 명시적으로 제어하지 못한다는 문제가 있습니다.

핵심 문제: 관찰되지 않은 혼란 변수로 인해 발생하는 비인과적 상관관계를 식별하고, 이를 제거하여 순수한 인과 관계를 도출할 수 있는 모델링 프레임워크의 부재.

2. 제안된 방법론: Copula-ResLogit (Methodology)

이 연구는 Copula (코풀라) 기반의 결합 모델링과 Residual Neural Network (ResNet) 기반의 딥러닝 아키텍처를 통합한 새로운 하이브리드 프레임워크인 Copula-ResLogit을 제안합니다.

• 기본 구조:

  • Copula (코풀라): 변수 간의 종속성 구조를 포착하기 위해 사용됩니다. Sklar 의 정리에 기반하여 각 변수의 주변 분포 (Marginal Distribution) 를 결합하여 다변량 종속 분포를 정의합니다.
  • ResNet 기반 구성 요소 (ResLogit / Ordinal-ResLogit): 관찰된 변수와 **잔차 (Residual)**를 통해 관찰되지 않은 요인을 모델링합니다. ResNet 블록은 관찰되지 않은 혼란 변수의 효과를 흡수하거나 제어하는 역할을 수행합니다.
  • 작동 원리: 먼저 전통적인 코풀라 기반 결합 모델링을 통해 관찰되지 않은 혼란에 의한 의존성을 탐지한 후, 딥러닝 (ResNet) 구성 요소를 도입하여 이러한 숨겨진 연관성을 완화하거나 제거합니다.

• 모델 유형:

  1. Ordinal-Ordinal 모델 (보행자 스트레스 vs 대기 시간): 보행자의 스트레스 수준과 대기 시간을 순서형 (Ordinal) 변수로 가정하고 Ordinal-ResLogit 프레임워크를 적용합니다.
  2. Multinomial-Ordinal 모델 (교통수단 선택 vs 이동 거리): 교통수단 선택 (이산형) 과 이동 거리 (순서형) 를 결합하여 ResLogit과 Ordinal-ResLogit을 혼용하여 적용합니다.

• 학습 및 평가:

  • 손실 함수는 결합 확률의 로그 우도 (Log-Likelihood) 를 기반으로 합니다.
  • 모델 비교 지표: **AIC (Akaike Information Criterion)**와 MPE (Mean Prediction Error).
  • 비교 대상: 제안된 Copula-ResLogit (하이브리드) vs Copula-Logit (전통적 이론 주도 모델, 관찰되지 않은 요인 제어 없음).

3. 주요 기여 (Key Contributions)

1. 관찰되지 않은 혼란 변수의 측정 및 제어: 종속 변수 간의 관찰되지 않은 공통 요인에서 기인한 혼란 상관관계를 측정하고, 딥러닝을 통해 이를 제어하는 새로운 프레임워크를 제시합니다.
2. 인과 추론을 위한 딥러닝의 활용: 관찰되지 않은 혼란 변수의 영향을 제거하여 인과적 의사결정을 지원하는 딥러닝의 능력을 입증합니다.
3. 예측 정확도 및 해석 가능성 동시 확보: 기존 머신러닝의 블랙박스 문제를 해결하면서도 전통적 모델보다 높은 예측 정확도를 달성하고, 행동 지표 분석 능력을 유지합니다.
4. 모델 함수 형태의 유연성: 기존 코풀라 모델의 사전 정의된 함수 형태 제한을 딥러닝을 통해 극복합니다.

4. 실험 결과 (Results)

두 가지 사례 연구를 통해 모델의 성능을 검증했습니다.

사례 1: 보행자 스트레스와 대기 시간 (VR 데이터)

• 데이터: 가상 현실 (VR) 환경에서 수집된 보행자 데이터 (자율주행차 존재 시 스트레스 및 대기 시간).
• 결과:
  • Copula-Logit (전통 모델) 은 스트레스와 대기 시간 사이에 음의 의존성이 있음을 발견 (관찰되지 않은 혼란 변수 존재).
  • Copula-ResLogit에서는 **독립 구조 (Product Copula)**가 가장 우수한 성능 (최소 AIC) 을 보였습니다.
  • 의미: ResNet 블록이 관찰되지 않은 혼란 변수 (예: AV 에 대한 신뢰도, 집단 행동 등) 를 효과적으로 제어하여 두 변수 간의 비인과적 의존성을 제거했음을 시사합니다.

사례 2: 교통수단 선택과 이동 거리 (런던 이동 데이터)

• 데이터: 런던 여행 수요 조사 (LTDS) 데이터.
• 결과:
  • 초기 16 개의 ResNet 레이어를 사용한 모델에서는 여전히 일부 의존성이 남았습니다.
  • 레이어 깊이 증가 (32 레이어): 레이어 수를 늘린 결과, Product-ResLogit 모델이 Frank-Logit 모델을 능가하며 두 변수 간의 의존성을 **조건부 독립 (Conditional Independence)**으로 만들었습니다.
  • 의미: ResNet 의 깊이를 증가시킴으로써 모델이 더 많은 관찰되지 않은 혼란 요인을 포착하고 제거할 수 있음을 입증했습니다.

5. 연구의 의의 및 결론 (Significance & Conclusion)

• 인과 분석의 혁신: 이 연구는 교통 행동 분석에서 "What-if" 시나리오나 인과 추론을 수행할 때, 관찰되지 않은 혼란 변수로 인한 편향을 제거하는 데 딥러닝과 코풀라를 결합한 접근법의 유효성을 처음으로 입증했습니다.
• 모델 설계의 유연성: 관찰되지 않은 요인이 존재할 때, 단순히 상관관계를 모델링하는 것을 넘어, 딥러닝의 잔차 블록을 통해 이러한 요인을 '차단'하고 순수한 인과 관계를 추출할 수 있음을 보여줍니다.
• 향후 방향: 현재 연구는 공통된 관찰되지 않은 혼란 변수에 초점을 맞추고 있으나, 향후 관찰된 변수와 관찰되지 않은 변수 모두를 고려한 보다 포괄적인 인과 추론 기법과 코풀라 결합 모델링의 확장이 필요하다고 제안합니다.

요약하자면, 이 논문은 Copula-ResLogit이라는 새로운 프레임워크를 통해 관찰되지 않은 혼란 변수가 야기하는 비인과적 의존성을 식별하고, ResNet 기반의 딥러닝을 통해 이를 효과적으로 제거하여 보다 정확한 인과적 통찰을 얻을 수 있음을 입증한 획기적인 연구입니다.