Multi-Task Anti-Causal Learning for Reconstructing Urban Events from Residents' Reports

이 논문은 주차 위반, 방치된 건물, 위생 상태 등 다양한 도시 문제의 주민 보고를 바탕으로 잠재적 원인을 복원하기 위해, 작업 간 불변 인과 메커니즘을 공유하는 구조적 방정식 모델을 기반으로 한 다작업 반인과 학습 (MTAC) 프레임워크를 제안하고 그 유효성을 입증합니다.

핵심

🏙️ 1. 문제 상황: "신고된 건수가 곧 진짜 사건 수일까?"

도시에는 주차 위반, 쓰레기 무단 투기, 방치된 건물 같은 문제들이 많습니다. 시에서는 주민들이 311(민원) 앱이나 전화로 신고한 내용을 보고 "아, 여기 주차 위반이 많구나"라고 판단합니다.

하지만 여기서 치명적인 오해가 생깁니다.

• 진짜 사건 (Cause): 실제로 주차 위반이 100 건 일어났습니다.
• 신고된 사건 (Effect): 하지만 주민들이 "신고할 가치가 있나?", "신고해도 소용없나?", "시간이 없나?" 같은 생각 때문에 실제로 신고한 건수는 10 건뿐입니다.

즉, 신고된 숫자 (결과) 는 실제 사건 (원인) 을 왜곡해서 보여줍니다. 특히 부유한 동네와 가난한 동네, 교육 수준이 높은 동네와 낮은 동네는 '신고하는 성향'이 완전히 다릅니다.

기존의 AI 는 "신고된 숫자"를 그대로 믿고 예측했지만, 이 논문은 **"신고된 숫자 뒤에 숨겨진 진짜 원인 (사건 수) 을 찾아내자"**고 말합니다.

🕵️‍♂️ 2. 해결책: "MTAC" (다중 작업 반-원인 학습)

이 논문이 제안한 방법의 이름은 MTAC입니다. 이를 이해하기 위해 **'수사관'**과 **'공통된 심리'**라는 두 가지 비유를 써볼게요.

비유 1: 공통된 심리 (Shared Mechanism)

세 가지 다른 사건이 있다고 칩시다.

1. 주차 위반 신고
2. 방치된 건물 신고
3. 위생 문제 신고

이 세 가지는 서로 다른 사건이지만, 주민들이 신고를 결정하는 '심리'는 비슷합니다.

• "내가 정부를 신뢰하나요?"
• "내가 이 문제를 해결할 수 있다고 믿나요?"
• "내 주변 사람들이 신고를 할까요?"

이런 **심리적 요인 (인구통계학적 배경, 교육 수준, 소득 등)**은 사건 종류와 상관없이 모든 신고 행동에 공통적으로 영향을 줍니다.

비유 2: MTAC 의 역할 (다중 작업 학습)

기존 AI 는 주차 위반만 볼 때, 쓰레기 신고에 대한 지식을 활용하지 못했습니다. 마치 주차 위반 수사관에게 쓰레기 수법도 가르치지 않은 것과 같습니다.

하지만 MTAC는 세 가지 사건을 한 번에 공부합니다.

• "아, 주차 위반 신고를 안 한 이유는 '정부 불신' 때문이구나."
• "그렇다면 쓰레기 신고도 '정부 불신' 때문에 안 했을 거야!"
• "방치된 건물도 마찬가지고!"

이렇게 **공통된 심리 (신뢰, 교육, 소득 등)**를 한 번에 배우고, 각 사건마다 다른 부분 (예: 주차는 차가 많아야 신고가 많음, 쓰레기는 냄새가 나야 신고가 많음) 만 따로 학습합니다. 이를 통해 **데이터가 부족한 사건 (예: 방치된 건물)**도 다른 사건들의 지식을 빌려와서 훨씬 정확하게 예측할 수 있게 됩니다.

🔄 3. 핵심 기술: "거꾸로 뒤집기" (Anti-Causal Learning)

보통 AI 는 "원인 (사건) → 결과 (신고)"를 학습합니다.

• "사건이 100 건 일어나면, 신고는 10 건이 나옵니다."

하지만 우리는 결과 (신고 10 건) 를 보고 원인 (사건이 몇 건이었나?) 을 역추적해야 합니다.

• "신고가 10 건 나왔는데, 주민들이 매우 성실해서 신고를 잘하는 동네라면? → 실제 사건은 10 건일 수도."
• "신고가 10 건 나왔는데, 주민들이 게으르거나 정부를 불신해서 신고를 안 하는 동네라면? → 실제 사건은 100 건일 수도!"

MTAC 는 이 거꾸로 뒤집기 (역추적) 과정을 수학적으로 정확하게 수행합니다. 마치 수사관이 현장 (신고 내용) 을 보고, 용의자 (진짜 사건 수) 의 신상을 추리하는 과정과 같습니다.

📊 4. 실제 성과: "작은 데이터도 큰 도움을 받다"

이 방법을 뉴욕 (맨해튼) 과 뉴어크 시의 실제 데이터로 테스트했습니다.

• 결과: 기존 방법들보다 최대 35% 까지 예측 오차를 줄였습니다.
• 특이점: 데이터가 적은 '방치된 건물' 같은 사건의 경우, 다른 사건들 (주차, 쓰레기) 에서 배운 '공통된 심리 지식'을 활용함으로써 정확도가 비약적으로 향상되었습니다.

💡 요약: 이 논문이 우리에게 주는 교훈

1. 숫자만 믿지 마세요: 신고된 숫자는 실제 상황을 왜곡할 수 있습니다. (보고된 것 ≠ 일어난 것)
2. 서로 연결된 지식을 활용하세요: 주차 위반을 공부할 때 쓰레기 문제의 지식을 함께 배우면, 서로의 문제를 더 잘 이해할 수 있습니다. (공통된 심리 요인 활용)
3. 원인과 결과를 거꾸로 생각하세요: 결과를 보고 원인을 추론하는 '역추적' 능력이 진짜 문제를 해결하는 열쇠입니다.

결론적으로, 이 연구는 **"주민들의 신고 데이터를 단순히 세는 것을 넘어, 그들의 심리와 상황을 고려해 도시의 진짜 문제를 찾아내는 똑똑한 AI"**를 만들었습니다.

기술 요약

이 논문은 **"Multi-Task Anti-Causal Learning for Reconstructing Urban Events from Residents' Reports (거주자 보고를 통한 도시 사건 재구성을 위한 다중 작업 반-인과적 학습)"**이라는 제목으로, 실제 세계의 여러 관련 작업 (tasks) 에서 관찰된 결과 (effects) 로부터 잠재적인 원인 (causes) 을 추정하는 문제를 해결하기 위해 제안된 MTAC(Multi-Task Anti-Causal learning) 프레임워크에 대해 설명합니다.

다음은 논문의 기술적 요약입니다.

---

1. 문제 정의 (Problem Definition)

• 반-인과적 학습 (Anti-Causal Learning): 많은 머신러닝 문제 (의료 진단, 이미지 분류, 도시 사건 재구성 등) 는 관찰된 결과 (예: 주민 신고) 로부터 원인을 (예: 실제 발생한 사건 수) 추정해야 하는 '반-인과적' 성격을 가집니다.
• 실제적 어려움:
  • 보고 편향 (Reporting Bias): 관찰된 데이터 (주민 신고) 는 실제 사건 발생뿐만 아니라 주민의 신고 선호도 (Reporting Preference) 에 의해 필터링됩니다. 이 선호도는 사회경제적 지위 (SES) 와 같은 혼란 변수 (Confounders) 의 영향을 받습니다.
  • 작업 간 불변성 (Cross-Task Invariance): 다양한 도시 사건 (주차 위반, 방치된 건물, 위생 문제 등) 에서 '혼란 변수 (SES) $\rightarrow$ 신고 선호도'의 인과 관계는 공통적으로 불변 (invariant) 하지만, '사건 $\rightarrow$ 신고 선호도'의 관계는 작업마다 다릅니다.
• 목표: 여러 관련 작업의 데이터를 활용하여 작업 간 불변적인 인과 메커니즘을 학습하고, 이를 통해 각 작업별 관찰된 결과와 혼란 변수로부터 원인 (실제 사건 발생량) 을 정확하게 추정하는 것입니다.

2. 제안된 방법론: MTAC (Methodology)

MTAC 은 세 가지 핵심 구성 요소로 이루어진 프레임워크입니다.

2.1 다중 작업 구조적 방정식 모델 (Multi-Task Structural Equation Model, SEM)

• 인과 그래프 구조: 원인 ($X$), 결과 ($Y$), 혼란 변수 ($Z$), 그리고 잠재적 메커니즘 변수 ($W$, 예: 신고 선호도) 간의 인과 관계를 모델링합니다.
• 메커니즘 변수의 분해: 메커니즘 변수 $W$의 생성 과정을 두 부분으로 분해합니다.
  1. 작업 불변 부분 (Task-Invariant): 혼란 변수 $Z$에서 $W$로 가는 인과 효과. 이는 모든 작업에서 공유되는 백본 (Backbone) 네트워크로 모델링됩니다.
  2. 작업 특정 부분 (Task-Specific): 원인 $X$에서 $W$로 가는 인과 효과. 이는 각 작업별 헤드 (Head) 네트워크로 모델링됩니다.
• 구조: 공유 백본과 작업별 헤드를 가진 신경망 구조를 통해, SES 가 신고 행동에 미치는 보편적 영향과 사건 유형별 신고 경향성을 동시에 학습합니다.

2.2 MAP 기반 반-인과적 추정 (MAP-based Anti-Causal Estimation)

• 문제: 학습된 순방향 모델 (Forward Model) 을 단순히 역전파하여 원인을 추정하는 것은 결과 ($Y$) 의 정보를 충분히 활용하지 못합니다.
• 해결: 최대 사후 확률 (Maximum A Posteriori, MAP) 추정을 사용합니다.
  • 관찰된 결과 $Y_k$와 혼란 변수 $Z$가 주어졌을 때, 원인 $X_k$와 잠재적 메커니즘 변수 $W_k$의 결합 확률 분포 $p(X_k, W_k | Y_k, Z)$를 최대화합니다.
  • 이는 로그 우도 (Log-likelihood) 를 최대화하는 최적화 문제로 변환되며, 경사 하강법 (Gradient Descent) 을 통해 $X_k$와 $W_k$를 동시에 최적화합니다.
  • 이 과정을 통해 "높은 신고 수 = 많은 사건 + 낮은 신고 의지" 또는 "적은 신고 수 = 적은 사건 + 높은 신고 의지"와 같은 모호성을 메커니즘 변수를 통해 분리해냅니다.

2.3 인과 발견 (Causal Discovery)

• 사전 지식 (인과 그래프의 방향성) 을 기반으로 인접 행렬 (Adjacency Matrix) 을 학습하여, 데이터에서 유의미한 혼란 변수들을 자동으로 식별하고 인과 구조를 완성합니다.

3. 주요 기여 (Key Contributions)

1. 다중 작업 반-인과적 학습 프레임워크 (MTAC) 제안: 여러 작업에서 공통적으로 적용 가능한 인과 메커니즘 (혼란 변수 $\rightarrow$ 메커니즘) 을 명시적으로 모델링하고, 이를 통해 개별 작업의 원인 추정 정확도를 높이는 새로운 접근법 제시.
2. 구조화된 인과 모델링: 작업 불변 부분과 작업 특정 부분을 분리하여 학습하는 구조적 SEM 과 MAP 기반 역추정 알고리즘을 결합하여, 편향된 관찰 데이터에서 실제 원인을 재구성하는 방법론 정립.
3. 실제 도시 데이터 적용 및 검증: 뉴욕 맨해튼과 뉴어크 시의 실제 데이터 (주차 위반, 방치 건물, 위생 문제) 를 활용하여 모델의 유효성을 입증하고, 사회과학적 연구 결과와 일치하는 인과 관계를 발견함.

4. 실험 결과 (Results)

• 데이터셋: 주차 위반, 방치된 건물, 위생 상태 불량 등 3 가지 도시 사건에 대한 2019~2023 년 데이터 (뉴욕, 뉴어크).
• 비교 대상: CEVAE, TEDVAE, BSM-UR, PLE 등 최신 반-인과적 학습 및 다중 작업 학습 모델.
• 성능:
  • MTAC 은 모든 작업에서 기존 최첨단 모델 (SOTA) 보다 우수한 성능을 보였습니다.
  • MAE(평균 절대 오차) 감소율: 주차 위반 (34.61%), 방치 건물 (21.29%), 위생 문제 (3.87%) 에서 기존 모델 대비 최대 34.61% 까지 오차를 줄였습니다.
  • 특히 데이터 양이 적은 '방치된 건물' 작업에서 다중 작업 학습의 이점이 두드러지게 나타났습니다.
• 전송 학습 (Transfer Learning) 검증: 두 작업으로 학습된 공유 백본을 세 번째 작업에 적용 (Zero-shot 또는 Head-only Fine-tuning) 했을 때, 단일 작업 학습 모델보다 높은 정확도를 보여 인과 메커니즘이 작업 간 불변적임을 입증했습니다.
• Ablation Study:
  • 메커니즘 변수 ($W$) 의 수를 줄이면 성능이 저하되어, 신고 선호도가 다차원적 심리적 경로를 따름을 확인했습니다.
  • MAP 추정을 사용하지 않고 순방향 모델만 사용할 경우 성능이 급격히 떨어졌으며, 결과 정보 ($Y$) 를 활용하는 MAP 추정의 중요성을 확인했습니다.

5. 의의 및 결론 (Significance)

• 편향 제거: 도시 관리 및 정책 수립에 중요한 '주민 신고' 데이터는 실제 사건을 왜곡할 수 있습니다. MTAC 은 이러한 보고 편향을 인과적 메커니즘을 통해 보정하여 실제 도시 문제의 규모를 더 정확하게 추정할 수 있게 합니다.
• 데이터 효율성: 데이터가 부족한 작업에서도 다른 관련 작업의 지식을 공유 (Transfer) 함으로써 모델의 일반화 성능을 크게 향상시킵니다.
• 해석 가능성 (Explainability): 학습된 인과 그래프를 통해 어떤 사회경제적 요인이 특정 도시 문제의 발생과 신고 행동에 영향을 미치는지 해석 가능한 통찰을 제공합니다.

결론적으로, 이 논문은 복잡한 도시 환경에서 발생하는 편향된 데이터를 처리하기 위해 인과적 추론과 다중 작업 학습을 결합한 강력한 프레임워크를 제시하며, 실제 도시 계획 및 자원 배분에 활용 가능한 정확한 의사결정 지원 도구를 제공합니다.