Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

현대 인간 행동 연구에서 연구자들은 방대한 설문 데이터를 통해 패턴을 찾기 위해 강력한 컴퓨터 프로그램에 점점 더 많이 의존하고 있습니다. 이러한 머신러닝 모델은 전통적인 통계학이 놓칠 수 있는 복잡한 연결 고리, 예를 들어 한 개인의 소득, 연령, 거주지가 어떻게 결합하여 사회적 습관에 영향을 미칠 수 있는지와 같은 것을 포착하는 데 탁월합니다. 그러나 이러한 모델들은 종종 불투명합니다. 즉, 높은 정확도로 결과를 예측할 수는 있지만 왜 그런 결과가 나왔는지에 대한 명확한 설명은 제공하지 못합니다. 이를 해결하기 위해 과학자들은 SHAP라는 도구를 사용하는데, 이는 마치 스포트라이트처럼 모델이 예측을 내릴 때 어떤 요인을 가장 중요하게 고려했는지를 강조해 줍니다. 문제는 이 스포트라이트가 종종 두 가지 매우 다른 것, 즉 진정한 인과관계와 단순한 우연을 혼동한다는 점입니다. 두 가지 현상이 함께 일어난다고 해서 반드시 하나가 다른 하나의 원인이 되는 것은 아닙니다. 예를 들어, 모델은 '배우자의 연령'을 한 사람의 인터넷 사용량을 결정하는 핵심 이유로 지목할 수 있는데, 이는 배우자의 연령이 그 사람의 인터넷 사용 방식에 직접적으로 변화를 주기 때문이 아니라, 단순히 배우자들이 대개 비슷한 연령대를 형성하며 연령 자체가 기술 사용의 강력한 동인이기 때문입니다. 이러한 실제 원인과 오도된 상관관계를 구별하는 것은 인간의 행동을 단순히 예측하는 것을 넘어 이해하고자 하는 사회과학자들에게 필수적입니다.

중국 북부 대학교의 리스동(Shidong Li)이 수행한 새로운 연구는 실제 사회 조사 데이터에 엄격한 진단 프레임워크를 적용함으로써 이러한 혼란을 정면으로 다룹니다. 연구자는 31개 성을 아우르는 약 4,800명을 대표하는 방대한 데이터셋인 2023년 중국 일반 사회 조사(Chinese General Social Survey)의 응답을 분석했습니다. 목표는 친구를 얼마나 자주 방문하는지부터 낯선 사람에 대한 신뢰, 미디어 소비 습 습관에 이르기까지 사회 생활의 18가지 측면을 테스트하는 것이었습니다. 단일 컴퓨터 모델이 제공하는 표준적인 설명을 그대로 받아들이는 대신, 이 연구는 '듀얼-SHAP(dual-SHAP)' 접근법을 채택했습니다. 이 방법은 두 가지 서로 다른 중요도 계산 방식을 비교합니다. 첫 번째 방법은 모든 기존 변수 간의 연결 고리를 보존하며 데이터가 자연적으로 존재하는 그대로를 살펴봅니다. 두 번째 방법은 이러한 연결 고리를 인위적으로 끊어, 특정 요인이 다른 모든 요소와 독립적으로 변할 때 예측에 어떤 변화가 생기는지 묻습니다. 이 두 방법의 결과를 비교함으로써, 연구는 각 요인에 대한 '신뢰도 점수(credibility score)'를 측정할 수 있었습니다. 높은 점수는 해당 요인의 중요성이 상관관계가 깨진 상황에서도 유지됨을 의미하며, 이는 직접적인 인과관계를 시사합니다. 낮은 점수는 해당 요인이 단지 더 영향력 있는 다른 변수의 뒤에 올라타 있었을 가능성이 높음을 나타냅니다.

조사는 18가지 사회적 행동을 스캔하여 가용한 데이터로 신뢰성 있게 예측할 수 있는 것이 무엇인지 확인하는 것으로 시작되었습니다. 원래 고려되었던 22가지 행동 중 18가지는 추가 분석이 가능할 정도로 예측 가능하다고 판단된 반면, 자원봉사 활동 빈도와 같은 4가지는 모델링하기에 너무 불규칙했습니다. 남은 18가지 중에서 연구는 특정 행동에 대해 어떤 머신러닝 알고리즘이 가장 잘 작동하는지 확인하기 위해 다섯 가지 유형의 알고리즘을 테스트했습니다. 결과는 특정 알고리즘인 XGBoost가 모든 과업에 대한 보편적인 챔피언이라는 학계의 흔한 가설에 도전했습니다. 대신, 연구는 모든 영역을 지배하는 단일 모델은 없다는 것을 발견했습니다. RandomForest라는 모델이 사회적 상호작용 및 미디어 사용과 같은 10가지 결과에 대해 가장 우수한 성능을 보였습니다. 그러나 Ridge 회귀, LightGBM, GradientBoosting을 포함한 다른 모델들이 일반적인 사회적 신뢰나 신문 읽기와 같은 특정 결과에 대해서는 더 우수한 성능을 입증했습니다. 이러한 발견은 컴퓨터 모델의 선택이 사소한 기술적 세부 사항이 아니라, 연구자가 인간 행동의 동력을 파악하는 과정에서 도출하는 결론을 근본적으로 형성하는 실질적인 결정임을 시사합니다.

각 행동에 대한 최적의 모델이 선정된 후, 연구는 잠재적 원인의 목록을 38개의 예측 변수에서 29개의 핵심 요인으로 좁혔습니다. 이 선택 과정에는 개인의 딸 수나 성 역할에 대한 특정 태도와 같이 전체적인 그림에 거의 기여하지 않는 변수들을 걸러내기 위해 SHAP 도구 자체가 사용되었습니다. 남은 29가지 요인에는 연령 및 소득과 같은 인구통계학적 특성뿐만 아니라 사회적 공정성에 대한 태도와 언어 능력 등이 포함되었습니다. 연령은 전반적으로 가장 지배적인 예측 변수로 나타났으며, 개인 소득과 언어 능력이 그 뒤를 바짝 쫓았습니다. 이러한 핵심 요인들이 식별된 후, 연구진은 듀얼-SHAP 프레임워크를 적용하여 각 요인의 영향력에 대한 신뢰도를 계산했습니다. 연구진은 모든 관계에 걸친 평균 신뢰도 점수가 0.727임을 발견했는데, 이는 많은 요인이 실제로 직접적인 영향을 미치기는 하지만, 표준 모델이 할당한 중요성의 상당 부분이 상관관계에 의해 부풀려져 있음을 나타냅니다.

연구는 넓은 신뢰도의 스펙트럼을 드러냈습니다. 사회적 공정성에 대한 개인의 인식이나 이주에 대한 정치적 견해와 같은 일부 요인은 높은 신뢰도 점수를 보여, 이들의 사회적 결과에 대한 영향력이 견고하고 인과적일 가능성이 높음을 보여주었습니다. 반면, 배우자의 연령이나 결혼 기간과 같은 요인들은 배우자의 연령과 응답자 자신의 연령 사이의 연결이 끊어졌을 때 낮거나 심지어 음(-)의 신뢰도를 보이는 경우가 많았습니다. 예를 들어, 연구에서 배우자의 연령을 응답자의 연령과 독립적으로 변화시키는 시나리오를 시뮬레이션했을 때, 인터넷 사용량에 미치는 배우자 연령의 겉보기 영향력은 사라지거나 심지어 방향이 역전되었습니다. 이는 원래의 모델이 상관관관계를 인과관계로 오해했다는 명확한 경고 역할을 했습니다. 연구진은 이 점수를 해석하기 위한 기준을 설정했습니다. 그들은 0.80 이상의 점수가 주로 인과적인 관계를 나타내는 강력한 지표로 간와되어야 한다고 제안했습니다. 이 기준을 적용했을 때, 약 40%의 요인-행동 쌍만이 주로 인과적인 것으로 분류되었습니다. 만약 기준을 더 관대한 0.50으로 낮춘다면 거의 93%의 쌍이 기준을 충족하겠지만, 연구진은 우연한 패턴에 의해 오도되는 것을 피하기 위해 엄격한 기준이 필요하다고 주장했습니다.

이러한 결과가 단순히 통계적 인위물이 아님을 보장하기 위해, 연구는 실제 세계의 변화를 시뮬레이션하여 최종 점검을 수행했습니다. 연구진은 소득이나 연령과 같은 특정 요인이 표준적인 양만큼 증가할 때 개인의 예측된 행동이 어떻게 변하는지 물었습니다. 결과는 상식 및 확립된 사회과학과 일치했습니다. 예를 들어, 시뮬레이션에서 개인의 연령을 높이는 것은 인터넷 사용량의 감소로 이어졌는데, 이는 고령층이 기술을 덜 사용하는 디지털 격차의 잘 알려진 현상을 반영합니다. 마찬가지로, 개인 소득을 높이는 것은 신문 읽기의 증가로 이어졌으며, 이는 높은 사회경제적 지위가 인쇄 매체 소비와 연결되어 있다는 생각과 일치합니다. 이러한 시뮬레이션은 모델이 무작위 노이즈가 아닌 실제적이고 해석 가능한 관계를 포착하고 있음을 확인시켜 주었습니다. 또한, 연구진이 젊은 층 대 고령층 또는 도시 거주자 대 농촌 거주자와 같은 서로 다른 하위 집단에 대해 프레임워크를 테스트했을 때, 전반적인 패턴은 안정적으로 유지되었으나 특정 신뢰도 점수는 인구 집단에 따라 약간씩 차이가 있었습니다. 이는 방법론은 견고하지만, 인과적 연결의 강도는 연구되는 특정 집단에 따라 달라질 수 있음을 보여주었습니다.

궁극적으로, 이 작업은 사회과학자들이 머신러닝 설명에서 신호와 소음을 분리할 수 있는 투명하고 재현 가능한 도구를 제공합니다. 이 연구는 측정되지 않은 다른 요인들이 여전히 작용할 수 있으므로 절대적인 의미에서의 인과관계를 증명한다고 주장하는 것이 아니라, 어떤 설명이 오도될 가능성이 높은지 진단할 수 있는 실질적인 방법을 제시합니다. 모델이 데이터를 있는 그대로 볼 때와 변수 간의 자연스러운 연결을 끊었을 때 어떻게 행동하는지를 비교함으로써, 연구자들은 이제 어떤 요인이 진정으로 사회적 결과를 이끌고 있으며 어떤 요인이 단순히 다른 변수에 의해 만들어진 그림자에 불과한지를 식별할 수 있습니다. 연구는 머신러닝이 인간 행동을 바라보는 강력한 렌즈이지만, 그것이 제공하는 통찰력이 단순한 정확한 예측을 넘어 사람들이 왜 그렇게 행동하는지에 대한 신뢰할 수 있는 설명이 되기 위해서는 이러한 종류의 세심한 교정이 필요하다고 결론짓습니다.