A General Set-Based Framework for Cognitive State Estimation: Theory and Application to Conditionally Automated Driving

당신이 스스로 조향할 수 있는 자동차를 운전하고 있다고 상상해 보세요. 단, 당신이 주의를 기울이고 있을 때만 가능합니다. 이것이 바로 "레벨 3" 자율주행의 세계입니다. 자동차가 힘든 일을 도맡아 하지만, 인간 운전자는 상황이 이상해질 경우 즉시 핸들을 잡을 준비가 되어 있는 안전망 역할을 합니다. 큰 문제는 무엇일까요? 인간은 까다롭다는 점입니다. 때때로 우리는 자동차를 너무 믿어서 멍하니 있고, 때로는 너무 당황해서 너무 일찍 개입하기도 합니다. 이러한 자동차를 안전하게 만들기 위해, 컴퓨터는 운전자의 머릿속에서 무슨 일이 일어나고 있는지, 즉 운전자가 자동차를 얼마나 신뢰하는지, 상황을 얼마나 위험하다고 느끼는지, 그리고 얼마나 스트레스를 받고 있는지를 알아내야 합니다. 이 연구 분야를 '인간-자동화 상호작용(Human-Automation Interaction)'이라고 부릅니다. 오랫동안 과학자들은 인간의 행동이 주사위를 던지는 것처럼 예측 가능한 '종 모양의 곡선(정규 분포)'을 따른다고 가정하는 수학적 모델을 사용하여 인간의 정신 상태를 추측하려 노력해 왔습니다. 하지만 인간은 주사위가 아닙니다. 우리는 복잡하며, 주사위를 충분히 많이 던져서 그 패턴을 파악할 만큼의 데이터를 항상 가지고 있는 것도 아닙니다.

이 논문은 주사위의 규칙을 알 필요 없이 운전자의 생각을 추측하는 영리한 새로운 방법을 소개합니다. 확률을 추측하는 대신, 연구진은 "집합 기반(set-based)" 접근 방식을 사용합니다. 이것은 마치 줄어드는 상자를 가지고 하는 "뜨겁다 혹은 차갑다(Hot or Cold)" 게임과 같습니다. "운전자가 스트레스를 받을 확률이 70%이다"라고 말하는 대신, 시스템은 "운전자의 스트레스 수치는 확실히 이 특정 상자 안에 있다"라고 말합니다. 운전자가 자동차와 상호작용함에 따라 상자는 더 작고 정밀해집니다. 연구진은 20명의 자원봉사자를 대상으로 운전 시뮬레이터에서 이를 테스트하며, 자동차가 제어권을 넘겨받는 동안 운전하도록 했습니다. 그 결과, 이 "줄어드는 상자" 방식이 전통적인 "주사위 던지기" 방식보다 운전자가 언제 핸들을 잡을지 예측하는 데 더 효과적이라는 것을 발견했습니다. 특히 더 먼 미래를 내다볼 때 더욱 그러했습니다.

논문의 이야기: 줄어드는 상자를 가진 탐정

문제점: "주사위"가 제대로 굴러가지 않는다
운전자의 마음을 읽으려는 대부분의 이전 시도들은 확률에 의존합니다. 그들은 만약 운전자가 스트레스를 받는다면, 그것이 주사위를 던졌을 때 "스트레스"가 30%의 확률로 나오는 것과 같다고 가정합니다. 이것이 작동하려면 주사위의 무게 중심이 어떻게 기울어져 있는지 알아내기 위해 엄청난 양의 데이터가 필요합니다. 하지만 현실에서는 모든 개인에 대해 수백만 번의 운전 실험을 수행할 수 없습니다. 게다가 인간의 생각은 항상 깔끔하고 매끄러운 곡선을 따르지는 않습니다. 때때로 운전자는 공사 구간이 나타날 때까지 완벽하게 차분하다가 갑자기 고도의 경계 상태에 돌입하기도 합니다. 기존 방식들은 이러한 급격한 변화와 데이터 부족 문제로 인해 어려움을 겪습니다.

새로운 아이디어: 미지의 영역을 경계 짓기
저자인 Sibibalan Jeevanandam과 Neera Jain은 다른 전략을 제안합니다. "운전자가 스트레스를 받을 확률이 얼마인가?"라고 묻는 대신, "현재 보이는 현상에 부합하는 가능성의 범위는 어디까지인가?"라고 묻습니다.

당신이 어두운 집 안에서 잃어버린 고양이를 찾고 있다고 상상해 보세요.

• 기존 방식 (확률 기반): 고양이가 주방에 있을 확률 80%, 침실 15%, 차고 5%라고 추측합니다. 이러한 추측을 하려면 고양이가 보통 어디에 숨는지에 대한 많은 과거 데이터가 필요합니다.
• 새로운 방식 (집합 기반): 확률을 추측하지 않습니다. 대신 주방 주변에 상자를 하나 그립니다. "우리는 고양이가 확실히 이 상자 안에 있다는 것을 알고 있다"라고 말합니다. 고양이 울음소리가 들리거나 발자국을 발견하면 상자를 줄여 나갑니다. 만약 고양이가 확실히 주방에 있다면, 상자는 주방만 포함하도록 줄어듭니다. 만약 복도에서 울음소리가 들린다면, 상자는 복도를 포함하도록 확장됩니다. 당신은 고양이가 거기에 있을 "확률"을 알 필요가 없습니다. 단지 상자가 고양이를 잡을 수 있을 만큼 충분히 크면서도, 유용할 만큼 작기만 하면 됩니다.

이 논문에서 "고양이"는 운전자의 정신 상태(신뢰, 인지된 위험, 작업 부하)입니다. "상자"는 이러한 상태들을 포함하는 수학적 집합입니다. 연구진은 알려지지 않은 요인들(예: 갑작스러운 주의 분산이나 측정되지 않은 생각들)을 "알려져 있지만 경계가 있는(unknown but bounded)" 것으로 취급합니다. 그들은 운전자의 마음이 얼마나 방황하는지는 정확히 모르지만, 그 방황이 지구 밖으로 나가지는 않을 것이라는 점은 알고 있습니다. 따라서 그들은 그 방황을 모두 담을 수 있을 만큼 큰 상자를 그린 다음, 단서를 얻을 때마다 상자를 줄여 나갑니다.

탐정이 작동하는 방식
이 시스템은 두 가지 방식으로 미스터리를 해결하는 탐정처럼 작동합니다.

1. "자기 보고(Self-Report)" 단서: 가끔씩 운전자에게 "자동차를 얼마나 신뢰합니까?" 또는 "이 상황이 얼마나 위험하게 느껴집니까?"라고 질문합니다. 운전자는 이를 척도(예: 0~100)로 대답합니다. 이 답변은 운전자가 반올림을 하거나 약간의 편향을 가질 수 있으므로 다소 모호합니다. 시스템은 이 답변을 받아 그것을 둘러싼 "실행 가능한 집합(feasible set)", 즉 상자를 그립니다.
2. "의존(Reliance)" 단서: 가장 중요한 단서는 운전자가 실제로 하는 행동입니다. 운전자가 자동차의 주행을 허용했습니까(의존도 = 1), 아니면 직접 핸들을 잡았습니까(의존도 = 0)? 이것은 예/아니오 형태의 이진 단서입니다. 시스템은 어떤 정신 상태가 어떤 행동을 유발하는지 알아내기 위해 특별한 지도(의사결정 나무)를 사용합니다. 예를 들어, 지도는 "만약 신뢰도가 높고 위험도가 낮다면, 운전자는 자동차에 의존할 것이다"라고 말할 수 있습니다.

이러러한 단서들을 결합하여 시스템은 상자를 업데이트합니다. 만약 운전자가 "자동차를 매우 신뢰한다"(자기 보고)라고 말했는데 곧바로 핸들을 잡는다면(의존), 시스템은 현재의 상자에 문제가 있음을 깨닫습니다. 시스템은 두 단서가 모두 타당하게 만드는 새로운 지점을 찾기 위해 상자를 좁힙니다. 만약 상자가 비어 있게 된다면(즉, 어떤 정신 상태도 주어진 단서와 일치하지 않는다면), 시스템은 자신의 지도가 틀렸음을 깨닫고 새로운 데이터를 사용하여 전체 지도를 다시 그립니다.

실험: 시뮬레이터 테스트
이를 테스트하기 위해 연구진은 20명의 참가자를 운전 시뮬레이터에 배치했습니다. 자동차는 레벨 3 자율주행으로 설정되어, 스스로 운전할 수 있지만 운전자가 개입할 준비를 해야 했습니다. 경로는 "공사 구간"(높은 복잡도)과 일반 도로(낮은 복잡도)를 포함했습니다.

• 운전자는 자동차가 운전하게 둘 것인지, 아니면 직접 운전할 것인지를 결정해야 했습니다.
• 몇 분마다 신호등 앞에서 멈추어 신뢰, 위험, 작업 부하에 대한 질문에 답했습니다.
• 연구진은 주행의 전반부를 시스템을 "학습"시키는 데(초기 지도와 상자를 그리는 데) 사용했고, 후반부를 실시간으로 운전자의 상태를 예측하는 데 사용했습니다.

연구 결과
결과는 유망했습니다. "줄어드는 상자" 방식은 대부분의 사람에게 잘 작동했습니다.

• 일관성: 참가자의 약 80%에 대해, 시스템의 상자가 적어도 75%의 시간 동안 운전자의 실제 정신 상태를 성공적으로 포함했습니다. 4명의 참가자에 대해서는 100%의 일관성을 보였습니다.
• 속도: 시스템은 매우 빨랐습니다. 데이터 포인트 사이의 간격인 1초보다 훨씬 빠른 0.03초에서 0.07초 사이에 새로운 상자를 계산했습니다. 이는 실제 자동차에서도 실시간으로 구동될 수 있음을 의미합니다.
• 예측력: 가장 큰 성과는 미래를 예측하는 것이었습니다. 연구진은 "운전자가 15초, 30초, 45초, 또는 60초 후에 핸들을 잡을 것인지 예측할 수 있는가?"라고 물었습니다.
  • 새로운 집합 기반 방식이 가장 뛰어난 예측 도구였습니다.
  • 예측 시간이 길어질수록(예: 60초 앞) 새로운 방식이 기존 방식들에 비해 더 우수해졌습니다.
  • 전통적인 "파티클 필터(particle filter, 확률 기반 방식)"는 시간이 지날수록 성능이 저하되었습니다. 저자들은 기존 방식의 "노이즈(무작위성)"에 대한 가정이 시간이 흐름에 따라 오류를 누적시키기 때문이며, 반면 집합 기반 방식의 "상자"는 운전자의 행동 이력을 사용하여 가능성을 제한함으로써 더 조밀하고 정확하게 유지된다고 설명합니다.

왜 중요한가
이 논문은 안전한 자율주행 자동차를 만들기 위해 인간의 생각에 대한 정확한 "확률"을 알 필요는 없다는 점을 시사합니다. 우리는 단지 그 생각의 경계가 어디인지만 알면 됩니다. 집합 기반 프레임워크를 사용함으로써, 시스템은 개별 운전자에게 적응하고, 복잡한 데이터를 처리하며, 기존 방식보다 더 정확하게 미래 행동을 예측할 수 있습니다. 이는 단순히 스스로 운전하는 자동차를 넘어, 옆에 앉은 인간을 실제로 이해하고, 운전자의 참여를 유지하기 위해 자신의 행동을 조절하는 자동차를 향한 한 걸음입니다. 저자들은 이 방식이 시뮬레이터에서는 잘 작동하지만, 다음 단계는 이것이 실제 도로의 혼란을 감당할 수 있는지, 그리고 운전자의 몰입도를 유지하기 위해 자동차의 자율화 수준을 자동으로 조절하는 데 사용될 수 있는지를 확인하는 것이라고 언급했습니다.