당신이 자율주행 자동차나 과일을 따는 로봇과 같은 복잡한 기계의 미래를 예측하려고 한다고 상상해 보십시오. 이를 위해 엔지니어들은 **마르코프 모델(Markov model)**이라고 불리는 확률의 "지도"를 사용합니다. 이 지도를 모든 칸이 기계가 존재할 수 있는 상태(state)이고, 주사위 굴리기가 그 다음 칸으로 어떻게 이동할지를 결정하는 거대한 보드게임이라고 생각하면 됩니다. 문제는, 게임을 올바르게 플레이하려면 각 숫자에 떨어질 확률이 정확히 얼마인지 알아야 한다는 것입니다. 현실 세계에서 이러한 "주사위"는 전이 확률(transition probabilities)입니다. 예를 들어 로봇 팔이 미끄러질 확률이나 서버가 다운될 확률 같은 것들 말이죠.

전통적으로, 이 숫자들을 채우기 위해 전문가들은 기계가 수행하는 아주 작은 개별 움직임 하나하나의 정확한 확률을 추측해야 했습니다. 이는 마치 요리사가 밥이 다 되었는지 알기 위해 솥 안에 있는 쌀알 하나하나의 온도를 정확히 맞추라고 요구하는 것과 같습니다. 이는 매우 어려운 일이며, 만약 추측이 조금이라도 틀리면 기계의 신뢰성이나 속도에 대한 전체 예측이 틀려질 수 있습니다. 여기서 **베이지안 학습(Bayesian learning)**이 등장합니다. 이는 새로운 정보가 들어옴에 따라 당신의 추측을 업데이트하는 수학적 방법이지만, 여전히 작동을 위한 시작점, 즉 '사전 확률(prior)'이 필요합니다. 만약 그 첫 번째 추측이 잘못되었다면, 최종 결과도 잘못될 것입니다.

여기서 시모스 게라시모스(Simos Gerasimou)와 싱유 자오(Xingyu Zhao)가 소개한 새로운 접근 방식인 EPIK이 등장합니다. EPIK은 전문가들에게 기계 내부의 작고 보이지 않는 주사위 굴림수를 억지로 추측하게 하는 대신, 그들이 실제로 관찰할 수 있는 크고 눈에 보이는 결과들을 설명해 달라고 요청합니다. 이는 요리사에게 "쌀알 하나하나의 온도가 몇 도인가요?"라고 묻는 대신, "보통 밥이 얼마나 걸리나요?" 또는 "냄비가 얼마나 자주 넘치나요?"라고 묻는 것과 같습니다. 연구진은 이러한 고차원적인 실세계 관찰을 사용함으로써, 숨겨진 주사위 굴림수를 훨씬 더 높은 정확도로 역추적할 수 있다는 것을 발견했습니다. 그들은 이를 과일 채집 로봇과 외환 거래 시스템에 테스트했으며, 이 방법이 작동할 뿐만 아니라 데이터가 전혀 없는 에너지 소비량이나 희귀한 고장과 같이 측정하기 까다로운 것들을 예측하는 데에도 도움이 된다는 것을 보여주었습니다.

핵심 아이디어: 게임을 관찰하여 주사위를 맞추기

이 논문은 소프트웨어 공학의 까다로운 문제를 다룹니다. 즉, 우리의 컴퓨터 모델이 얼마나 정확한지 어떻게 보장할 것인가 하는 문제입니다. 우리가 로봇이나 클라우드 서비스의 모델을 만들 때, 우리는 "시스템이 충돌할 것인가?" 또는 "작업을 얼마나 빨리 마칠 것인가?"와 같은 것들을 예측하기 위해 수학을 사용합니다. 하지만 이러한 예측은 우리가 입력하는 숫자가 얼마나 정확하냐에 달려 있습니다. 보통 이 숫자들은 시스템이 한 상태에서 다른 상태로 이동할 확률을 의미합니다.

저자들은 전문가들에게 이러한 구체적이고 낮은 수준의 확률을 추측하도록 요구하는 것이, 연이 날아갈지 예측하기 위해 나무의 모든 잎사귀에 부는 바람의 속도를 정확히 맞추라고 요구하는 것과 같다고 주장합니다. 이는 너무 세부적인 작업이며, 전문가들은 종종 이를 틀리게 추측하거나 관련 데이터를 가지고 있지 않습니다. 만약 시작점이 되는 숫자가 틀리면, 전체 검증 과정이 실패하여 잘못된 엔지니어링 결정으로 이어집니다.

EPIK: "역방향 탐정"

논문은 상황을 뒤집는 영리한 도구인 EPIK(Eliciting Prior Knowledge, 사전 지식 인출)을 소개합니다. "로봇이 과일을 따는 데 실패할 확률이 얼마입니까?"라고 묻는 대신, EPIK은 "당신의 경험에 비추어 볼 때, 로봇이 임무를 성공적으로 마치는 빈도는 어느 정도이며, 보통 얼마나 걸립니까?"라고 묻습니다.

이것들은 **시스템 수준의 속성(system-level properties)**입니다. 즉, 전문가들이 실제로 이해하고 데이터를 가지고 있는 거시적인 결과물들입니다. EPIK은 이러한 알려진 결과들을 단서로 취급합니다. 그리고 이 큰 단서들로부터 역으로 계산하여, 그 현상을 일으킨 숨겨진 작은 확률들을 찾아내는 베이지안 학습이라는 수학적 과정을 사용합니다.

과정은 다음과 같이 단계별로 진행됩니다:

1. 설정: 과일을 따는 로봇을 상상해 보십시오. 로봇은 위치를 잡는 상태, 과일을 따는 상태, 그리고 다시 시도하거나 포기하기로 결정하는 상태를 가집니다. 과일을 따는 데 실패할 정확한 확률은 알 수 없습니다 (이를 "숨겨진 주사위"라고 부릅시다).
2. 단서: 전문가들은 EPIK에게 다음과 같이 말합니다: "지난 200번의 임무를 통해 우리는 로봇이 80%의 확률로 성공하며, 평균적으로 약 4.75초가 소요된다는 것을 알고 있습니다." 이것들이 PK 기반 속성(Prior Knowledge-informed properties, 사전 지식 기반 속성)입니다.
3. 역공학: EPIK은 그 80%의 성공률과 4.75초의 결과물을 가장 잘 만들어낼 수 있는 숨겨진 주사위 굴림수의 집합을 찾기 위해 복잡한 탐색(자연 선택의 디지털 버전인 진화 알고리즘 사용)을 실행합니다. EPIK은 단 하나의 답만을 찾는 것이 아니라, 단서에 부합하는 가능한 답들의 전체 가족(family of answers)을 찾아냅니다.
4. 결과: 일단 EPIK이 알려진 단서를 바탕으로 숨겨진 주사위 굴림수를 파악하고 나면, 아직 우리가 모르는 것들을 예측하는 데 사용할 수 있습니다. 이것들은 **포착하기 어려운 속성(elusive properties)**이라 불립니다. 예를 들어, 누구도 이 특정 작업에 대한 로봇의 배터리 사용량을 측정한 적이 없습니다. 하지만 이제 EPIK은 로봇이 어떻게 움직이는지 파악했으므로, 이전에 기록된 데이터가 없더라도 예상되는 배터리 사용량을 계산할 수 있습니다.

실험 결과

연구진은 두 가지 실제 시나리오, 즉 과일 채집 로봇과 외환 거래 시스템을 대상으로 EPIK을 테스트했습니다. 그들은 다양한 복잡도와 미지의 변수를 가진 서로 다른 버전의 시스템들을 생성했습니다.

• 정확도: EPIK의 예측치를 "그라운드 트루스(ground truth, 실제 수학적으로 정확한 값)"와 비교했을 때, 결과는 매우 근접했습니다. EPIK의 추측과 실제 정답 사이의 차이는 테스트 케이스에서 0.00389 미만으로 매우 작았습니다. 이는 EPIK이 거시적인 관찰만으로도 시스템의 숨겨진 메커니즘을 신뢰성 있게 역설계할 수 있음을 시사합니다.
• "충돌" 테스트: 팀은 전문가들이 서로 상충하는 조언을 할 경우(예: 한 전문가는 로봇이 매우 신뢰할 만하다고 하고, 다른 전문가는 느리다고 하는 경우) 어떤 일이 발생하는지 테스트했습니다. 그 결과, 단서들이 서로 모순될 때 EPIK은 완벽한 적합점을 찾는 데 어려움을 겪었으며, 추측의 "오차"가 증가했습니다. 이는 좋은 징조입니다. 왜냐하면 이것이 경고등 역할을 하기 때문입니다. 즉, 단서들이 일치하지 않으면 모델은 입력 데이터에 문제가 있음을 인지하게 됩니다.
• "포착하기 어려운 속성"의 승리: 가장 흥식적인 부분은 "포착하기 어려운 속성"을 검증하는 것이었습니다. 과일 채집 로봇 테스트에서, 성공률과 소요 시간에 대한 데이터는 있었지만 에너지 소비량에 대한 데이터는 전혀 없었습니다. EPIK은 알려진 데이터를 사용하여 에너지 사용량을 추정했습니다. 그 결과 나타난 에너지 사용량의 분포는 합리적이고 논리적인 추측이었으며, 의사 결정자들이 실제로 활용할 수 있는 수준이었습니다. 반면 EPIK이 없었다면, 그들은 맹목적인 추측을 하거나 이 문제를 아예 무시해야 했을 것입니다.

이것이 중요한 이유

이 논문은 소프트웨어 검증의 모든 문제를 해결했다고 주장하는 것이 아니라, 대화를 시작할 수 있는 강력한 새로운 방법을 제시합니다. 시스템의 미시적인 세부 사항에 대한 전문가가 아니더라도 좋은 모델을 구축할 수 있다는 점을 시사합니다. 우리는 단지 시스템의 결과에 대한 전문가가 되면 됩니다.

관점을 "주사위를 추측하는 것"에서 "게임을 관찰하는 것"으로 전환함으로써, EPIK은 자율주행 자동차, 의료 기기, 클라우드 서비스와 같은 복잡한 시스템을 위한 신뢰할 수 있는 모델을 구축하는 것을 더 쉽게 만듭니다. 이는 모든 확률을 정의해야 하는 어려운 작업을, 우리가 이미 알고 있는 시스템의 행동 방식에 대해 설명하는 더 관리 가능한 작업으로 바꾸어 놓습니다. 그리고 우리가 아직 모르는 것들에 대해서는, 맹목적인 추측이 아닌 수학적으로 근거 있는 추측을 할 수 있는 방법을 제공합니다.