Statistical analysis of block structured latent variable models

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신이 발견한 단서들은 엉망진창이고 뒤섞여 있습니다. 서로 다른 목격자들로부터 받은 메모 더미가 있는데, 어떤 메모는 날씨에 대해 말하고, 어떤 것은 교통 상황을, 또 어떤 것은 이상한 소음에 대해 이야기합니다. 데이터 과학의 세계에서, 연구자들이 복잡한 인간 행동, 경제적 추세, 또는 유전 코드를 이해하려고 할 때 일어나는 일이 바로 이것입니다. 그들은 "잠재 변수 모델(latent variable models)"을 사용하는데, 이는 마치 보이지 않는 탐정의 게시판과 같습니다. 이 모델들은 우리가 직접 볼 수 없는 숨겨진 "요인(factors)"(예: 한 사람의 진정한 지능, 한 국가의 경제적 건강 상태, 또는 특정 유전자의 효과)이 존재하며, 이 요인들이 우리가 눈으로 볼 수 있는 것들(예: 시험 점수, 주식 가격, 또는 DNA 표지)이 특정한 방식으로 움직이도록 만든다고 가정합니다.

보통 이러한 숨겨진 요인들은 거대한 매듭처럼 엉켜 있어서, 어떤 숨겨진 원인이 어떤 눈에 보이는 단서로 이어졌는지 파악하기가 매우 어렵습니다. 하지만 현실 세계의 사물들은 종종 더 조직적입니다. 학교 시험을 생각해 보세요. 수학 문제들은 모두 당신의 수학 능력을 테스트하는 반면, 역사 문제들은 당신의 역사 능력을 테스트합니다. 이 문제들의 "블록(blocks)"은 하나의 전체 시험 안에 포함되어 있음에도 불구하고 서로 구별됩니다. 이를 "블록 구조(block structure)"라고 부릅니다. 심리학이나 경제학 분야에서 과학자들이 이러한 블록형 모델을 수십 년 동안 사용해 왔지만, 그들은 가장 중요한 부분에 대해서는 눈을 가린 채 작업해 왔습니다. 즉, 이러한 모델들이 실제로 작동한다는 확고한 수학적 증명이 없었으며, 복잡한 수학 문제의 미로 속에서 길을 잃지 않고 답을 찾는 방법도 알지 못했습니다.

미시간 대학교의 첸구이 퀴(Chengyu Cui)와 공준 쉬(Gongjun Xu)가 작성한 이 논문은 이 사각지대를 해결하기 위해 나섰습니다. 그들은 블록 구조 모델을 복잡한 퍼즐처럼 다루며 세 가지 큰 질문을 던집니다. 우리는 실제로 이 퍼즐을 풀 수 있는가(식별 가능성, identifiability)? 만약 최선의 수학적 방법(최대 우도법, maximum likelihood)을 사용하여 문제를 풀려고 한다면, 우리는 정답을 얻을 수 있는가(일치성, consistency)? 그리고 우리가 사용하는 도구의 속도와 정확성을 신뢰할 수 있는가? 저자들은 단순히 추측하는 것이 아니라, 특정 조건하에서 이러한 모델들이 해결 가능하고 신뢰할 수 있음을 증명하기 위해 엄격한 수학적 프레임워크를 구축합니다. 그들은 영리한 새로운 수학적 "기술"(라그랑주 유형의 정식화, Lagrangian-type formulation)을 도입하여, 복잡하고 비선형적인 문제를 훨씬 다루기 쉬운 문제로 변환하며, 이 새로운 쉬운 문제의 최적해가 원래의 어려운 문제의 최적해와 정확히 일치함을 증명합니다. 시뮬레이션과 실제 데이터를 통한 테스트를 통해, 그들은 자신들의 방법이 단순히 정답을 찾는 데 그치지 않고, 과학자들이 "네, 이 숨겨진 요인은 실재하며, 우리가 얼마나 확신하는지는 바로 이 정도입니다"라고 자신 있게 말할 수 있을 정도의 정밀도로 답을 찾아낸다는 것을 보여줍니다.

보이지 않는 퍼즐 조각들

퀴와 쉬가 무엇을 했는지 이해하려면, 당신이 사람들을 움직이게 만드는 동력이 무엇인지 알아내려 한다고 상상해 보세요. 당신에게는 시험 점수, 설문 조사 답변, 경제 지표가 담긴 방대한 데이터 스프레드시트가 있습니다. 당신은 이 숫자들을 움직이는 숨겨진 "초특성(super-traits)"이 있다고 의심합니다. 아마도 수학 시험과 인내력 설문 조사 모두에서 높은 점수를 받게 만드는 "끈기(Grit)" 요인이 있거나, 지역 주가와 신용카드 사용량 모두를 움직이는 "지역 경제" 요인이 있을 수도 있습니다.

표준 모델에서는 모든 개별적인 숨겨로 된 특성이 잠재적으로 모든 데이터 포인트에 영향을 미칠 수 있습니다. 이는 모든 실이 서로 연결된 거대한 거미줄과 같습니다. 이는 모든 가닥이 다른 가닥과 엉켜 있는 실타래를 푸는 것과 같아서, 어떤 매듭이 실의 어느 부분에 속하는지 알 수 없게 만듭니다.

하지만 현실에서 자연은 종종 더 조직적입니다. 심리학 테스트에서 "어휘" 섹션은 단어를 테스트할 뿐 수학을 테스트하지 않습니다. 유전학에서 특정 유전자 집합은 특정 형질에만 영향을 미칠 수 있습니다. 이것이 바로 블록 구조입니다. 데이터는 별개의 "블록"으로 그룹화되며, 각 블록은 숨겨진 특성의 특정 부분 집합에 의해서만 영향을 받습니다. 이는 마치 잠긴 상자 세트를 가진 것과 같습니다. 상자 A에는 오직 "수학" 자물쇠를 여는 열쇠들만 있고, 상자 B에는 "역사" 자물쇠를 여는 열쇠들만 있는 식입니다.

세 가지 큰 장애물

이 논문이 나오기 전, 이러한 블록형 모델을 사용하는 과학자들은 세 가지 주요 골칫거리에 직면했습니다.

1. "당신은 누구인가?" 문제 (식별 가능성, Identifiability): 만약 수학 문제 블록과 역사 문제 블록이 있다면, 당신은 실제로 "수학 천재"와 "역사 애호가"를 구분할 수 있습니까? 아니면 수학이 단순히 역사와 다른 무언가가 섞인 기묘한 혼합물일 뿐입니까? 저자들은 블록과 숨겨진 특성이 어떻게 연결되어야 당신이 그것들을 구별할 수 있는지에 대한 특정 규칙이 있다는 것을 증명했습니다. 그들은 이를 M-Q 조건이라고 부릅니다. 이것을 규칙 책이라고 생각하십시오. 만약 당신의 퍼즐 조각(블록)과 숨겨진 열쇠(직교 제약 조건)가 특정 방식으로 맞물린다면, 그림은 유일합니다. 그렇지 않다면 그림은 흐릿해지고, 당신은 결과를 신뢰할 수 없습니다.
2. "불가능한 수학" 문제 (비볼록성, Non-Convexity): 퍼즐을 풀 수 있다는 것을 알더라도, 해답을 찾는 것은 어렵습니다. 숨겨된 특성을 찾기 위해 사용하는 수학은 "비볼록(non-convex)"합니다. 언덕과 계곡이 가득한 지형에서 가장 낮은 지점을 찾는 것을 상상해 보세요. 만약 공을 굴린다면, 공은 작은 웅덩이(국소 최솟값, local minimum)에 갇혀서 그곳이 세상의 바닥이라고 생각할 수도 있지만, 사실 근처에는 더 깊은 협곡이 있을 수 있습니다. 표준 수학 도구들은 종-종 이러한 작은 웅덩이에 갇히곤 합니다.
3. "나를 믿어달라" 문제 (추론, Inference): 설령 해답을 찾았더라도, 그것이 옳은 것인지 어떻게 알 수 있습니까? 진실에 얼마나 가까운가요? 그리고 당신의 답을 얼마나 신뢰할 수 있습니까? 이전의 방법들은 이러한 특정 블록형 모델에 대한 신뢰도를 측정할 수 있는 견고한 방법을 가지고 있지 않았습니다.

마법의 기술: 라그랑주 지름길

저자들의 가장 큰 돌파구는 수학을 바라보는 새로운 방식입니다. 그들은 엄격한 규칙(예를 들어 "이 요인들은 반드시 0이어야 한다" 또는 "이 블록들은 분리되어야 한다" 등)을 가진 문제를 직접 해결하려는 것이 마치 벽을 뚫고 지나가려는 것과 같다는 점을 깨달았습니다.

그래서 그들은 **라그랑주 유형의 정식화(Lagrangian-type formulation)**를 발명했습니다. 쉽게 말해, 이것은 당신의 점수에 "벌칙"을 추가하는 것과 같습니다. 당신이 특정 구역 안에 머물러야 하는 비디오 게임을 하고 있다고 상상해 보세요. 구역 주변에 벽을 세우는 대신(그것은 탐색하기 어렵습니다), 게임은 당신이 구역 밖으로 한 발짝이라도 나가면 엄청난 점수 벌칙을 부여합니다. 벌칙이 충분히 높다면, 가장 똑똑한 플레이어는 최고의 점수를 얻기 위해 자연스럽게 구역 안에 머물 것입니다.

저자들은 이 "벌칙 방법(penalty method)"이 완벽한 지름길임을 증proved했습니다. 벌칙 방법을 사용하여 찾는 최적해는 원래의 어려운 문제의 최적해와 정확히 같습니다. 하지만 여기서 마법이 일어납니다. 벌칙 방법은 울퉁불퉁하고 복잡한 지형을 매끄럽고 그릇 모양의 계곡("강한 볼록성", strongly convex 형태)으로 바꿉니다. 이제, 작은 웅덩이에 갇히는 대신, 단순한 알고리즘이 곧장 맨 아래로 굴러 내려가 매번 진정한 답을 찾을 수 있습니다.

그들이 발견한 것

이 새로운 프레임워크를 사용하여, 저자들은 몇 가지 핵심적인 사실을 확립했습니다.

• 해결 가능성을 위한 규칙들: 그들은 연구자들이 자신의 블록 구조가 유일하고 올바른 답을 보장할 만큼 충분히 강력한지 알려주는 명확한 체크리스트(M-Q 조건)를 만들었습니다. 블록과 제약 조건이 이 조건을 충족하면 모델은 "식별 가능(identifiable)"합니다. 그렇지 않으면 모델은 망가진 것이며, 어떤 수학적 노력도 이를 고칠 수 없습니다.
• 속도와 정확도: 그들은 자신들의 방법이 단지 하나의 답을 찾는 것이 아니라, 최선의 답을 찾는다는 것을 증명했으며, 놀라운 정밀도로 이를 수행함을 보여주었습니다. 그들은 오차(자신들의 답과 진실 사이의 차이)가 데이터가 많아짐에 따라 매우 빠르게 줄어든다는 것을 보여주었습니다. 실제로 그들의 방법은 이미 숨겨진 요인을 완벽하게 알고 있는 것만큼이나 잘 작동합니다("오라클 비율", oracle rates 달성).
• 신뢰 구간: 그들은 모든 숨겨진 요인과 로딩 파라미터에 대한 "오차 범위"를 계산하는 방법을 찾아냈습니다. 이는 과학자들이 이제 "우리는 이 숨겨진 특성이 존재하며, 그 강도가 이 정도라고 95% 확신한다"라고 말할 수 있음을 의미하며, 이는 심리학, 경제학 또는 유전학에서 실질적인 결정을 내리는 데 매우 중요합니다.
• 알고리즘: 그들은 단순히 종이 위에서 수학을 한 것이 아닙니다. 그들은 이러한 문제들을 해결하기 위한 빠른 컴퓨터 프로그램(1차 경사 하강 알고리즘, first-order gradient descent algorithm)을 구축했습니다. 그들은 이 프로그램이 빠르게(선형적으로) 수렴하며, 출력되는 답이 완벽한 이론적 답과 동일한 통계적 특성을 가짐을 증명했습니다.

증명은 결과로 나타난다

그들의 이론이 단지 예쁜 수학이 아님을 확인하기 위해, 저자들은 수천 번의 시뮬레이션을 실행했습니다. 그들은 알려진 숨겨진 특성과 다양한 블록 구조(단순한 것, 복잡한 것, 중첩된 그룹이 있는 것 등)를 가진 가짜 데이터를 생성했습니다. 그들은 이 데이터에 알고리즘을 실행하고 결과를 확인했습니다.

결과는 정확했습니다. 알고리즘은 올바른 숨겨진 특성을 찾아냈으며, 그들이 계산한 신뢰 구간은 실제 값이 예상대로 적절한 횟수(약 95%의 경우)만큼 포착했습니다. 그들은 심지어 실제 교육 데이터셋에도 테스트를 진행하여, 이 방법이 완벽한 시뮬레이션뿐만 아니라 지저도한 실제 세계의 데이터에서도 작동함을 보여주었습니다.

이것이 왜 중요한가

이 논문은 과학자들에게 그들이 수년 동안 헤매왔던 영역에 대한 새롭고 초정밀한 지도와 나침반을 건네주는 것과 같습니다. 이 전까지 블록 구조 모델을 사용하는 것은 약간의 도박과 같았습니다. 답을 얻을 수는 있겠지만, 그것이 옳은 답인지, 혹은 수학이 그저 작은 웅덩이에 빠져 있는 것은 아닌지 확신할 수 없었습니다.

이제 연구자들은 심리학, 경제학, 유전학 분야에서 엄격한 도구 세트를 갖게 되었습니다. 그들은 특정 블록 구조를 설계하고, 그것이 M-Q 조건을 충족하는지 확인한 다음, 저자들의 알고리즘을 사용하여 수학적으로 최선의 답임이 보장되고, 그 답에 대해 얼마나 확신할 수 있는지에 대한 명확한 척도를 얻을 수 있습니다. 이것은 "아마도"를 "확실히"로 바꾸어 놓으며, 우리 세계를 형성하는 숨겨진 힘들에 대해 더 신뢰할 수 있는 발견을 가능하게 합니다.