Examining Tools for Assessing Technical Skills in Robotic Surgery: A Validity- Focused Systematic Review

기술 요약: 로봇 수술 기술 평가 도구에 대한 검토

문제 제기
수술 수행 능력의 객관적 평가는 역량 기반 외과 교육의 초석입니다. OSATS(Objective Structured Assessment of Technical Skills)와 같은 구조화된 도구는 개복 및 복강경 훈련을 위해 잘 확립되어 있으나, 로봇 수술에 상응하는 평가 방법은 여전히 파편화되어 있습니다. 로봇 수술은 기존의 복강경 수술과는 다른 독특한 인지적 및 정신운동적 능력(예: 콘솔 인체공학, 손목 기능이 있는 기구 제어, 직접적인 촉각 피드백 없는 내비게이션 등)을 요구합니다. 로봇 수술이 훈련에 빠르게 통합되고 있음에도 불구하고, 기술적 숙련도는 객관적으로 입증된 기술보다는 사례 수(case volume)를 통해 추론되는 경우가 많습니다. 또한, 기존의 로봇 평가 도구를 뒷받침하는 타당도 근거는 포괄적으로 규명되지 않았습니다. 현대적인 단일 타당도 체계(unitary framework of validity)에 따르면, 도구의 점수는 내용(content), 반응 과정(response process), 내부 구조(internal structure), 타 변수와의 관계(relationships to other variables), 결과(consequences)라는 다섯 가지 영역에 걸친 근거에 의해 뒷받침되어야 합니다. 본 연구는 현재의 로봇 기술 평가 현황과 이러한 도구들을 뒷받침하는 타당도 근거의 강도에 대한 이해의 공백을 다룹니다.

방법론
저자들은 현재의 로봇 수술 기술 평가 도구를 식별하기 위해 PubMed 검색을 통한 체계적 문헌 고찰을 수행했습니다. 검색에는 "Objective", "Assessment", "Tool", "Skill", "Evaluation", "Proficiency", "Robot"을 포함한 키사워드와 절차별 용어가 결합되어 사용되었습니다.

• 프레임워크 매핑: 본 연구는 식별된 도구들을 미국 외과학회(ACS) 및 외과 프로그램 디렉터 협회(APDS)의 45개 절차 모듈에 매핑했습니다. 구체적으로, 이 모듈들 중 23개의 로봇 대응 모듈이 식별되었습니다. 로봇 대응 모듈이 없는 모듈은 연구되지 않은 영역으로 분류되었습니다.
• 타당도 등급 산정: Ghaderi 등의 연구를 변형한 기성 등급 척도를 적용하여, 다섯 가지 타당도 근거에 따른 각 연구의 근거 강도를 평가했습니다:
  • 내용(Content): 구성 개념 및 영역의 대표성.
  • 반응 과정(Response Process): 평가자의 행동 및 채점 방식과 구성 개념 간의 일치성.
  • 내부 구조(Internal Structure): 구성 요소들의 통계적 정렬(신뢰도, 요인 분석).
  • 타 변수와의 관계(Relationships to Other Variables): 외부 변수와의 상관관계(예: 초보자와 전문가의 구분).
  • 결과(Consequences): 평가 사용에 따른 의도된 이익 및 의도하지 않은 해악.
  • 점수는 0점(근거 없음)에서 3점(포괄적 근거 있음)까지 부여되었습니다.
• 데이터 분석: 두 명의 독립적인 검토자가 각 연구를 점수화하였으며, 합의에 도달했습니다. 검토자 간 신뢰도(IRR)는 가중 코헨의 카파($\kappa$)와 급내 상관계수(ICC)를 사용하여 계산되었습니다.

주요 기여

1. 체계적 매핑: 본 연구는 기존의 로봇 평가 도구를 표준 ACS/APDS 45개 모듈 커리큘럼에 따라 구조적으로 매핑하여, 정확히 어떤 기술 영역에 관련 문헌이 존재하고 어떤 영역이 연구되지 않은 상태인지를 식별했습니다.
2. 타당도 근거의 정량화: 본 연구는 단일 타당도 체계를 사용하여 로봇 평가 도구에 대한 타당도 근거의 강도를 종합적으로 평가하고, 식별된 문헌 전반에 걸쳐 다섯 가지 타당도 근거에 대한 수치 점수를 부여한 최초의 연구입니다.
3. 신뢰도 지표: 본 연구는 검토 과정 자체의 신뢰도를 확립하였으며, 타당도 근거를 점수화하는 데 있어 상당한 검토자 간 일치도를 입증했습니다.

결과

• 모듈 커버리지: 45개의 ACS/APDS 기술 모듈 중 13개(28.9%)만이 그에 대응하는 발표된 논문을 보유하고 있었습니다. 식별된 논구 대부분은 이전에 연구된 평가 도구, 특히 GEARS(Global Evaluative Assessment of Robotic Skills)와 OSATS를 활용하고 있었습니다.
• 타당도 근거 강도:
  • 가장 높은 근거: "내부 구조"와 "반응 과정"이 가장 높은 수준의 근거를 나타냈습니다(평균 점수 각각 2.53 및 2.63).
  • 중간 수준의 근거: "내용"과 "타 변수와의 관계"는 중간에서 강한 수준의 뒷받침 근거를 보였습니다(평균 점수 2.47).
  • 가장 낮은 근거: "결과"가 가장 약한 수준의 근거를 보였습니다(평균 점수 1.32). 이는 평가가 결과나 의사결정에 어떻게 영향을 미치는지에 대한 데이터가 부족함을 나타냅니다.
• 검토자 간 신뢰도: 전체 IRR은 가중 $\kappa$ 0.754, ICC 0.757로 상당한 수준이었습니다. 신뢰도는 "내용"($\kappa=0.746$)에서 가장 높았고, "결과"($\kappa=0.510$)와 "반응 과정"($\kappa=0.514$)에서 가장 낮았습니다.

의의 및 주장
저자들은 본 연구의 결과가 로봇 수술을 위한 가용 평가 도구의 심각한 부족을 나타낸다고 주장하며, 대다수의 기술 모듈에 대응하는 논문이 없음을 지적했습니다. 본 검토는 GEARS 및 OSATS와 같은 도구들이 널리 사용되고 있지만, 이들은 새로운 절차별 개발보다는 기존 도구의 변형에 의존하는 경우가 많다는 점을 강조합니다.

본 논문은 이러한 도구들을 평가하는 문헌이 제한적이며, 현대적인 단일 타당도 체계를 사용하여 로봇 수술 기술 평가를 조사한 연구가 상대적으로 적다고 결론짓습니다. 결과적으로, 현재 로봇 수술 훈련에 사용되는 많은 도구는 점수의 해석 및 적절한 적용을 뒷받침하는 근거를 부분적으로만 보유하고 있습니다. 저자들은 로봇 수술이 실무에 점점 더 통합됨에 따라, 향후 연구가 글로벌 및 절차별 평가 도구를 개발하고 검증하는 데 집중해야 한다고 주장합니다. 또한, 단순한 사례 수(case volume)를 넘어 기술의 객관적 입증으로 나아가기 위해서는, 이러한 도구들을 훈련, 피드백 및 역량 평가에 자신 있게 사용할 수 있도록 타당도 근거를 강화하는 것이 필수적이라고 강조합니다.