Representation Matters in Longitudinal Affective Computing

우리 마음과 몸의 리듬

한 장의 스냅샷만 보고 한 사람의 기분이나 정신이 얼마나 명석한지를 이해하려고 노력하는 모습을 상상해 보세요. 그것은 마치 영화의 단 한 프레임만 보고 전체 줄거리를 추측하려는 것과 같습니다. '감성 컴퓨팅(affective computing)'—컴퓨터에게 인간의 감정과 생각을 이해하도록 가르치는 것을 뜻하는 멋진 용어—의 세계에서 과학자들은 큰 문제에 직면해 있습니다. 우리는 완전히 다른 속도로 움직이는 두 종류의 데이터를 가지고 있습니다. 한편에는 스마트워치와 같은 웨어러블 기기가 있는데, 이들은 초 단위로, 매일 매 순간 우리의 심박수, 수면, 걸음 수를 기록하는 매우 관찰력이 뛰어난 스파이처럼 행동합니다. 다른 한편에는 누군가의 기분을 아는 데 있어 '골드 표준(gold standard)'이라 불리는 방법, 즉 그들에게 직접 물어보는 것이 있습니다. 하지만 사람들은 매 분마다 상세한 기분 설문지를 작성할 수는 없습니다. 그들은 몇 주 또는 몇 달에 한 번씩 가끔씩만 설문에 응할 뿐입니다.

이것은 불일치를 만들어냅니다. 이는 마치 강물이 흐르는 고화질 비디오를 가지고 있지만, 물의 수위 사진은 한 달에 한 번만 찍혀 있는 것과 같습니다. 이 둘을 어떻게 연결할 수 있을까요? 만약 그 달의 강물 흐름을 단순히 평균값으로 계산한다면, 물의 여정을 설명해 주는 실제적인 급류나 잔잔한 웅덩이를 놓칠 수도 있습니다. 이 논문은 바로 그 퍼즐을 다룹니다. 1년 치의 일일 센서 데이터를 어떻게 하면 몇 달에 한 번씩 진행되는 기분 및 뇌 기능 체크 설문지에 적합한 형식으로 변환할 수 있을까요? 그 답은 단순히 숫자를 계산하는 것에 그치지 않습니다. 그것은 신체의 일상적인 수다를 마음의 주기적인 보고서로 번역할 수 있는 적절한 '언어'를 찾는 것에 관한 것입니다.

82명 성인의 탐정 이야기

이 연구에서 연구자들은 스위스의 성인 82명으로부터 얻은 데이터를 사용하여 미스터리를 풀려는 탐정 역할을 수행했습니다. 참가자들은 거의 1년 동안 심박수, 수면, 활동 수준을 매일 추적하는 스마트워치를 착용했습니다. 한편, 이들은 몇 달마다(구체적으로 연구의 네 가지 서로 다른 '웨이브' 동안) 자신의 감정(스트레스, 불안, 행복 등)에 대한 설문을 작성하고, 기억력, 주의력, 속도와 같은 뇌 기능 테스트를 받았습니다.

연구팀은 단순하지만 까다로운 질문을 던졌습니다. 누군가의 기분이나 뇌 기능이 어떤지를 예측하려고 할 때, 일일 센서 데이터 중 실제로 중요한 부분은 무엇인가? 그들은 각 몇 개월의 기간 동안 일일 데이터를 하나의 '성적표'로 요약하는 세 가지 서로 다른 방법을 테스트했습니다:

1. '레벨(Level)' 접근법: 이 방식은 해당 기간의 평균적인 상태를 살펴봅니다. 이는 "이번 달에 강물이 평균적으로 얼마나 빠르게 흘렀는가?"라고 묻는 것과 같습니다.
2. '절대적 드리프트(Absolute Drift)' 접근법: 이 방식은 이전 기간으로부터의 '변화'를 살펴봅s. 이는 "지난달과 비교했을 때 이번 달에 강물이 더 빠르게 혹은 더 느리게 흘렀는가, 그리고 그 차이는 얼마인가?"라고 묻는 것입니다.
3. '비례적 드리프트(Proportional Drift)' 접근법: 이 방식은 '백분율' 변화를 살펴봅니다. 이는 "지난달에 비해 강물의 속도가 두 배가 되었는가, 아니면 절반으로 떨어졌는가?"라고 묻는 것입니다.

그들은 또한 일일 데이터를 기술하는 다양한 방법들도 테스트했습니다. 단순히 평균(mean)을 사용하는 대신, 그들은 데이터의 '모양'—즉, 값이 얼마나 극단적인지를 나타내는 첨도(kurtosis), 데이터가 얼마나 퍼져 있는지를 나타내는 사분위 범위(interquartile range), 또는 최솟값(minimums) 등—을 살펴보았습니다.

큰 발견: 감정은 변하고, 뇌는 유지된다

결과는 우리의 몸과 마음이 작동하는 방식에 대한 흥미로운 차이를 드러냈으며, 우리의 감정과 인지 능력이 서로 다른 언어를 사용하고 있음을 시사했습니다.

감정(Affect)의 경우: 연구 결과, 누군가의 기분(불안, 스트레스, 행복 등)을 예측하는 데는 일반적으로 절대적 드리프트 접근법이 가장 강력한 예측 변수라는 것이 밝혀졌습니다. '레벨' 접근법(평균 상태를 보는 것)이 특정 지표에 대해서는 효과가 있었지만, 사람의 생리학적 상태가 지난 몇 달과 비교하여 얼마나 '변했는지'를 추적하는 '드리프트' 접근법이 대부분의 정서적 상태에 대해 확실한 승자였습니다. 이는 어떤 사람이 슬픈 이유가 심박수가 70bpm(레벨)이기 때문이 아니라, 평소의 80bpm에서 심박수가 크게 떨어졌기(드리프트) 때문이라는 점을 깨닫는 것과 같습니다. 신체의 '변화'가 마음의 '기분'을 알리는 가장 강력한 신호입니다.

인지 능력(Cognition)의 경우: 이야기는 기억력이나 주의력 같은 인지 과제에서 반전되었습니다. 여기서는 레벨 접근법이 종종 가장 좋은 예측 변수였습니다. 누군가의 뇌가 얼마나 잘 작동하는지 예측하려면, 당신은 평균적인 상태를 신경 써야 합니다. 이는 "만약 강물이 전반적으로 일정하고 강하게 흐르고 있다면, 배(뇌)는 잘 움직인다"라고 말하는 것과 같습니다. '변화'는 최근의 변동만큼 중요하지 않았으며, 현재의 '상태'가 더 중요했습니다. 이는 인지 성능이 최근의 변동보다는 개인의 안정적이고 장기적인 기준선(baseline)과 연결되어 있음을 시사합니다.

데이터의 모양 또한 중요하다

연구의 또 다른 핵심 발견은 그들이 일일 데이터를 어떻게 요약했는가에 관한 것이었습니다. 연구자들은 단순한 평균(평균값이나 중앙값)이 종종 가장 유용성이 낮다는 것을 발견했습니다. 대신, 데이터의 '모양'이 비밀을 간직하고 있었습니다. 최솟값(최저 심박수), 첨도(데이터가 얼마나 '뾰족'하거나 극단적인지), 그리고 변화의 범위와 같은 특징들이 단순히 평균을 사용하는 것보다 훨씬 더 많은 신호를 전달했습니다. 이는 마치 강의 이야기가 평균 수심이 아니라, 가장 깊은 골과 가장 높은 봉우리들에 의해 결정되는 것과 같습니다.

이것이 미래에 갖는 의미

이 논문은 우리가 모든 뇌 건강 데이터를 동일하게 취급해서는 안 된다고 제안합니다. 만약 우리가 누군가가 스트레스를 받거나 불안해하는 것을 감지하는 스마트워치를 만들고 싶다면, 그 시계는 그 사람의 과거와 비교하여 발생하는 **'변화'**를 찾도록 프로그래밍되어야 합니다. 만약 인지 저하의 초기 징후를 감지하고 싶다면, 시계는 시간이 지남에 따라 나타나는 **'평균의 하락'**을 살펴봐야 합니다.

연구자들은 이 연구가 스위스와 프랑스의 건강한 성인을 대상으로 수행되었으므로, 이것이 전 세계 모든 사람에게 100% 적용된다고 확신할 수는 없다고 주의를 기울였습니다. 그러나 일일 센서와 월간 설문 사이의 '불일치'를 실수가 아닌 특정한 설계 선택으로 다룸으로써, 그들은 과학자들에게 새로운 도구 상자를 제공했습니다. 그들은 적절한 '번역'(변화 vs 레벨)과 적절한 '세부 사항'(모양 vs 평균)을 선택함으로써, 현실 세계에서 우리의 뇌와 심장을 더 잘 이해할 수 있는 시스템을 구축할 수 있음을 보여주었습니다.