Digital vs. Expert Assessment of Preclinical Simulation Dental Cavity Preparations at the Faculty of Dentistry, University of Benghazi

리비아의 한 치과 대학생이 되어, 플라스틱 턱 모델 앞에 서서 완벽하고 작은 구멍(즉, "Class I cavity")을 파내려고 노력하고 있다고 상상해 보세요. 당신의 목표는 나중에 은색 충전재가 완벽하게 들어갈 수 있도록 구멍의 크기와 모양을 딱 알맞게 만드는 것입니다. 하지만 여기서 까다로운 점은, 당신이 잘했는지 아닌지를 누가 결정하느냐는 것입니다.

오랫동안 그 답은 간단했습니다. 바로 인간 선생님이었습니다. 선생님은 당신의 결과물을 보고, 미세한 자(치주 탐침)로 쿡쿡 찔러보며, 자신의 경험을 바탕으로 점수를 주었습니다. 하지만 인간은 인간입니다. 어떤 선생님은 관대할 수도 있고, 어떤 선생님은 매우 엄격할 수도 있습니다. 심지어 같은 선생님이라도 화요일에 주는 점수와 금요일에 주는 점수가 다를 수도 있습니다. 그것은 마치 기분에 따라 규칙을 바꾸는 심판과 같습니다.

이를 해결하기 위해, 베ン가지 대학교(University of Benghazi)의 연구진들은 큰 질문을 던졌습니다. "만약 컴퓨터가 이 작업을 심사하게 한다면 어떻게 될까?"

그들은 두 명의 심사위원을 세워 맞대결을 시켰습니다:

1. 인간 패널: 115개의 플라스틱 치아를 살펴본 두 명의 전문가 선생님들.
2. 디지털 로봇: 고성능 스캐너(Medit i500)를 사용하여 치아의 3D 이미지를 찍고, 이를 Exocad라는 컴퓨터 프로그램에 입력했습니다. 컴퓨터는 모든 것을 0.001mm 단위까지 측정하여 엄격하고 감정이 없는 수학적 근거에 따라 점수를 매겼습니다.

대반전: 로봇은 '하드 모드' 플레이어였다

결과는 매우 흥aw했습니다. 컴퓨터는 단순히 다른 점수를 준 것이 아니라, 일관되게 인간보다 더 엄격했습니다.

• 인간 점수: 선생님들은 학생들에게 20점 만점에 평균 13.28점을 주었습니다.
• 로봇 점수: 컴퓨터는 20점 만점에 11.75점을 주었습니다.

그 차이는 1.53점이었습니다. 컴퓨터는 더 엄격했고, 이는 단순히 약간의 차이가 아니었습니다. 이는 크고 측정 가능한 격차였습니다.

비디오 게임을 생각해보세요. 인간 선생님들은 '노멀(Normal)' 난이도로 플레이하고 있습니다. 그들은 구멍 옆에 아주 작은 돌출부가 있어도 "음, 이 정도면 괜찮네, 5점 만점에 4점 줄게"라고 생각할 수 있습니다. 하지만 컴퓨터는 '하드코어(Hardcore)' 모드로 플레이하고 있습니다. 컴퓨터는 똑같은 돌출부를 보고, 그것이 요구되는 2.00mm가 아니라 1.99mm라고 측정하며 이렇게 말합니다. "안 돼, 이건 3점이야." 컴퓨터는 "이 정도면 됐지"라는 식의 태도를 참지 못합니다.

어디에서 일치하고(그리고 불일치하고) 있었나?

연구진은 다음과 같은 의문을 가졌습니다: 로봇과 인간은 과연 같은 것을 보고 있는가?

• 깊이 (구멍이 얼마나 깊은가): 그들은 꽤 잘 일치했습니다. 컴퓨터와 인간은 학생들이 얼마나 깊게 팠는지에 대해 의견이 일치했습니다. 이는 깊이가 위아 下 방향의 직선 운동이기에 측정하기 쉽다는 점에서 타당합니다.
• 치관 변연부 (구멍 옆에 남겨진 아주 작은 벽): 이곳이 그들이 가장 많이 싸운 지점이었습니다. 인간은 이 부분에 대해 컴퓨터보다 훨씬 높은 점수를 주었습니다. 왜일까요? 컴퓨터는 그 작은 벽의 절대적인 가장 좁은 지점을 측정하기 때문입니다. 만약 그 부분이 아주 조금이라도 얇아지면 컴퓨터는 당황합니다. 반면 인간은 전체적인 벽을 보고 "충분히 튼직해 보이네"라고 생각합니다. 로봇인 컴퓨터에게는 그런 "직관"이 없었습니다.

로봇이 새로운 선생님이 될 수 있을까?

여기서 가장 중요한 부분이 있습니다. 이 논문은 컴퓨터가 인간 선생님을 대체해야 한다고 말하는 것이 아닙니다.

사실, 이 연구는 컴퓨터가 정밀함에는 뛰어나지만, 컴퓨터 혼자서 학생을 평가하기에는 완벽하지 않다는 점을 시사합니다.

• 일치성: 두 방식은 학생들의 순위를 매기는 데 있어서는 충분히 잘 일치했습니다 (당신이 친구보다 잘했다면, 컴퓨터도 그것을 알아챘습니다).
• 문제점: 만약 단 한 명의 학생의 점수만 본다면, 컴퓨터와 인간의 차이는 무려 4.51점까지 벌어질 수 있었습니다 (심지어 학생에게 인간보다 낮은 점수를 줄 수도 있었습니다). 이는 20점 만점의 시험에서 엄청난 변동 폭입니다!

저자들은 하이브리드 모델, 즉 안전망으로서의 모델을 제안합니다. 컴퓨터가 먼저 모든 치아를 스캔하여 레이저처럼 정밀한 눈으로 명백한 실수들을 잡아낸다고 상상해 보세요. 그다음, 인간 선생님이 개입하여 "경계선에 있는" 사례들—즉, 컴퓨터가 너무 가혹하게 평가했거나, 학생의 작업이 약간 벗어나긴 했지만 임상적으로는 괜찮은 경우들—을 살피는 것입니다.

결론

이 연구는 컴퓨터가 인간보다 더 낫다거나, 인간이 컴퓨터보다 더 낫다는 것을 증명한 것이 아닙니다. 대신 Exocad(소프트웨어)가 놀라운 정밀도로 사물을 측정할 수 있는 신뢰할 수 있는 도구임을 보여주었지만, 인간 선생님이 가진 "임상적 관용"(조금 너그럽게 봐주는 능력)은 부족하다는 것을 보여주었습니다.

논문은 우리가 내일 당장 인간 선생님을 컴퓨터로 바꿀 수 있다는 생각을 명시적으로 배제합니다. 컴퓨터는 특히 치아의 작은 벽들에 대해 너무 엄격합니다. 따라서 가장 좋은 길은 팀워크입니다. 로봇이 수학적인 계산을 하게 하고, 인간이 판단을 내리게 하는 것입니다. 그것은 기계의 깜빡이지 않는 눈과 선생님의 숙련된 눈 사이의 파트너십입니다.