Different representation learning objectives recover distinct latent structures from the same psychometric data

교실의 조용한 구석에서, 교사의 일상적인 경험과 아동의 행동은 깊게 얽혀 있습니다. 우리는 교사의 안녕(well-being), 기술에 대한 자신감, 그리고 그들이 만들어내는 정서적 기류가 아이들의 행동과 학습 방식에 영향을 미칠 수 있다는 것을 알고 있습니다. 수십 년 동안 과학자들은 교사와 아동에게 자신의 감정과 행동에 관한 긴 질문 목록을 작성하게 함으로써 이 연결 고리를 연구해 왔습니다. 전통적으로 연구자들은 이 수백 개의 개별 답변들을 모아 몇 개의 요약된 점수로 합산한 뒤, 그 점수들 사이의 패턴을 찾아냈습니다. 이 방법은 효과적이긴 하지만, 가장 중요한 이야기가 평균 속에 숨겨져 있다고 가정합니다. 이는 아이의 기분이나 교사의 스트레스에 관한 단 하나의 구체적인 질문이 가진 상세하고 복잡한 실재를, 그것이 만드는 최종 수치보다 덜 중요하게 취급하는 방식입니다.

최最近, 인간의 행동을 연구하는 데 있어 강력한 컴퓨터 시스템을 사용하여 가공되지 않은 개별 답변들을 직접 살펴보는 새로운 접근법이 등장했습니다. 흔히 '표현 학습(representation learning)'이라 불리는 이 시스템들은, 무엇을 찾으라고 먼저 지시받지 않고도 고차원 데이터 속에서 숨겨진 패턴을 찾아내려고 시도합니다. 이 시스템은 수천 개의 구체적인 세부 사항을 가져와 이를 더 단순한 지도로 압축하며, 유사한 것들이 서로 가까이 위치하도록 만듭니다. 이 도구들을 사용하는 과학자들에게는 다음과 같은 자연스러운 의문이 생깁니다. 만약 동일한 질문 답변 세트를 서로 다른 컴퓨터 시스템에 입력한다면, 그 시스템들은 모두 동일한 숨겨진 지도를 찾아낼 것인가? 아니면 컴퓨터의 목표에 따라 그려지는 지도가 달라질 것인가? 이 질문은 중요한데, 만약 컴퓨터의 목표가 지도를 바꾼다면, 우리가 데이터에서 발견하는 '진실'은 우리가 연구하는 대상보다 우리가 사용하는 도구에 더 의존하게 될 것이기 때문입니다.

한 연구팀은 키프로스의 대규모 유치원 연구 데이터를 사용하여 이 질문에 답하고자 했습니다. 그들은 교사 한 명당 자신의 안녕과 직업에 관한 139개의 질문에 답하고, 아동 한 명당 행동에 관한 82개의 질문에 대해 평가를 받은, 총 757쌍의 매칭된 교사-아동 데이터를 보유하고 있었습니다. 연구진은 이 연결된 설문지들을 사용하여 교사와 그들의 특정 아동이 서로 가까이 위치하는 공유된 지도를 구축할 수 있는지 확인하고자 했습니다. 동시에, 이 지도가 유사한 행동 프로필을 가진 아동들을 자연스럽게 그룹화할 수 있는지도 보고 싶었습니다.

먼저, 연구진은 표준적이고 잘 알려진 방법을 사용하여 '행동 지도'가 어떤 모습인지 확립했습니다. 그들은 아동의 82개 행동 질문을 가져와 주성분 분석(PCA)이라는 기법을 사용하여 주요 패턴을 찾아냈습니다. 이 과정은 네 가지 뚜렷한 아동 그룹을 드러냈습니다. 한 그룹은 사회적 상황을 잘 다루는 높은 수준의 적응적 기능(adaptive functioning)을 보여주었습니다. 또 다른 그룹은 중간 정도의 적응력을, 세 번째 그룹은 어느 정도의 취약성을, 네 번째 그룹은 높은 행동 위험을 보였습니다. 이 그룹들은 명확하고 뚜렷했습니다. 고위험군 아동들은 행동 척도에서 고기능군 아동들과 매우 다르게 나타났습니다. 이는 데이터가 아동의 행동에 관해 강력하고 자연적인 구조를 포함하고 있음을 확인시켜 주었습니다.

다음으로, 연구진은 교사와 그들의 특정 아동을 연결하는 지도를 구축하기 위해 노력했습니다. 그들은 '대조 학습(contrastive learning)'이라 불리는 현대적인 컴퓨터 학습 방법을 사용했습니다. 이 시스템에 다음과 같이 명령한다고 상상해 보십시오. "여기 교사가 있고 여기는 그들의 아동이다. 이들의 디지털 지문이 매우 유사해 보이도록 만들어라. 여기는 교사와 서로 알지 못하는 아동이다. 이들의 지문은 매우 다르게 보이도록 만들어라." 컴퓨터는 이 목표를 달est하기 위해 내부 지도를 조정하는 법을 배웠습니다. 결과는 놀라웠습니다. 연구진이 특정 교사에 대한 적절한 아동을 찾도록 컴퓨터에게 요청했을 때, 컴퓨터는 표준적인 방법보다 훨씬 더 잘 수행했습니다. 표준적인 방법으로는 컴퓨터가 정답인 아동을 맞출 확률이 약 0.13%에 불과했지만, 새로운 대조 학습 방법을 사용했을 때는 첫 번째 시도에서 정답을 맞출 확률이 7.27%였고, 상위 10위 안에 정답이 포함될 확률은 56.14%에 달했습니다. 이는 컴퓨터가 특정 교사와 특정 학생 사이의 독특한 연결 고리를 성공적으로 학습할 수 있음을 입증했습니다.

그러나 연구진이 이 새로운 지도 내에서 아동의 행동 그룹을 살펴보았을 때, 놀라운 문제가 발생했습니다. 컴퓨터는 교사와 아동을 매칭하는 데는 탁월했지만, 아동을 행동별로 그룹화하는 데는 형편없었습니다. 앞서 발견되었던 네 가지 명확한 행동 그룹은 거의 사라져 버렸습니다. 높은 적응력을 보였던 아동들이 지도 곳곳에 흩어져 높은 위험군 아동들과 뒤섞여 있었습니다. 컴퓨터는 교사-아동의 연결 고리를 너무 잘 학습한 나머지, 아동들의 행동 유형 간의 차이를 사실상 지워버린 것입니다. 이 지도는 성격(personality)이 아닌 관계(relationship)에 최적화되어 있었습니다.

이것이 근본적인 트레이드오프(trade-off)인지 테스트하기 위해, 연구진은 세 번째 접근법을 시도했습니다. 그들은 두 가지 일을 동시에 수행하는 시스템을 구축했습니다. 즉, 교사와 아동을 매칭해야 함과 동시에, 아동의 행동 그룹을 예측해야 한다는 것이었습니다. 그들은 이것이 컴퓨터가 두 종류의 정보를 모두 유지하도록 강제할 것이라고 기대했습니다. 결과는 타협점이었습니다. 시스템은 행동 그룹들을 다시 뚜렷하고 명확하게 유지함으로써 행동 그룹화 능력이 크게 향상되었습니다. 그러나 여기에는 대가가 따랐습니다. 교사와 특정 아동을 매칭하는 능력은 급격히 떨어져, 표준적인 방법과 유사한 수준으로 돌아갔습니다.

연구는 단 하나의 완벽한 지도는 존재하지 않는다는 결론을 내립니다. 컴퓨터가 찾아내는 숨겨진 구조는 무엇을 찾으라고 지시하느냐에 전적으로 달려 있습니다. 만약 목표가 교사와 아동 사이의 연결을 찾는 것이라면, 컴퓨터는 그러한 연결이 가득한 지도를 찾아내지만 행동 그룹은 잃어버립니다. 만약 목표가 행동 그룹을 찾는 것이라면, 컴퓨터는 그것을 찾아내지만 특정 교사-아동의 연결 고리는 잃어버립니다. 연구진은 교사-아동의 대응 관계와 행동 표현형(behavioral phenotypes)은 동일한 데이터 내에 존재하는 서로 다른 종류의 조직화라고 제안합니다. 어느 하나가 다른 하나보다 더 "실재적"인 것은 아니지만, 단일한 컴퓨터 모델이 이 둘을 똑같이 잘 포착할 수는 없습니다. 이 연구 결과는 우리가 고급 도구를 사용하여 인간의 행동을 연구할 때, 우리가 얻는 답은 우리가 기계에게 던지는 질문에 의해 형성된다는 점을 상기시켜 줍니다. 데이터는 그저 읽히기를 기다리며 놓여 있는 것이 아니라, 우리가 어떤 렌즈를 통해 바라보느냐에 따라 서로 다른 진실을 드러냅니다.