Examining Tools for Assessing Technical Skills in Robotic Surgery: A Validity- Focused Systematic Review

Resumo Técnico: Examinando Ferramentas para Avaliação de Habilidades Técnicas em Cirurgia Robótica

Definição do Problema
A avaliação objetiva do desempenho operatório é um pilar da educação cirúrgica baseada em competências. Embora ferramentas estruturadas como o Objective Structured Assessment of Technical Skills (OSATS) sejam bem estabelecidas para o treinamento aberto e laparoscópico, os métodos de avaliação equivalentes para a cirurgia robótica permanecem fragmentados. A cirurgia robótica exige habilidades cognitivas e psicomotoras distintas — como ergonomia do console, controle de instrumentos com articulação (wristed) e navegação sem feedback háptico direto — que diferem da laparoscopia convencional. Apesar da rápida integração da cirgia robótica no treinamento, a proficiência técnica é frequentemente inferida pelo volume de casos, em vez de ser demonstrada objetivamente por meio de habilidades. Além disso, a evidência de validade que sustenta as ferramentas de avaliação robótica existentes não está compreensivamente caracterizada. Sob o contemporâneo arcabouço unitário de validade, um instrumento deve ter seus escores suportados por evidências em cinco domínios: conteúdo, processo de resposta, estrutura interna, relações com outras variáveis e consequências. Este estudo aborda a lacuna na compreensão do cenário atual da avaliação técnica robótica e a força da evidência de validade que sustenta essas ferramentas.

Metodologia
Os autores realizaram uma revisão sistemática via busca no PubMed para identificar as atuais ferramentas de avaliação de habilidades técnicas em cirurgia robótica. A busca utilizou palavras-chave incluindo "Objetivo", "Avaliação", "Ferramenta", "Habilidade", "Avaliação" (Skill), "Proficiência" e "Robô", combinadas com termos específicos de procedimentos.

• Mapeamento de Estrutura: O estudo mapeou as ferramentas identificadas para os 45 módulos procedimentais do currículo de habilidades da American College of Surgeons (ACS) e da Association of Program Directors in Surgery (APDS). Especificamente, foram identificados 23 equivalentes robóticos desses módulos; módulos sem um equivalente robótico reconhecido foram classificados como domínios não estudados.
• Classificação de Validade: Uma escala de classificação estabelecida, adaptada de Ghaderi et al., foi aplicada para avaliar a força da evidência de cada estudo com base nas cinco fontes de validade:
  • Conteúdo: Representação do construto e do domínio.
  • Processo de Resposta: Alinhamento das ações do avaliador e da pontuação com o construto.
  • Estrutura Interna: Alinhamento estatístico dos componentes (confiabilidade, análise fatorial).
  • Relações com Outras Variáveis: Correlação com variáveis externas (ex: discriminação entre novato e especialista).
  • Consequências: Benefícios pretendidos e danos não pretendidos do uso da avaliação.
  • Os escores variaram de 0 (sem evidência) a 3 (evidência abrangente).
• Análise de Dados: Dois revisores independentes pontuaram cada estudo, alcançando um consenso. A confiabilidade interexaminadores (IRR) foi calculada utilizando o $\kappa$ de Cohen ponderado e o Coeficiente de Correlação Intraclasse (ICC).

Principais Contribuições

1. Mapeamento Sistemático: O estudo fornece um mapeamento estruturado das ferramentas de avaliação robótica existentes em relação ao currículo padrão de 45 módulos da ACS/APDS, identificando exatamente quais domínios de habilidade possuem literatura correspondente e quais permanecem não estudados.
2. Quantificação da Evidência de Validade: É o primeiro estudo a avaliar de forma abrangente a força da evidência de validade para ferramentas de avaliação robótica usando o arcabouço unitário, atribuindo pontuações numéricas às cinco fontes de validade ao longo da literatura identificada.
3. Métricas de Confiabilidade: O estudo estabelece a confiabilidade do próprio processo de revisão, demonstrando concordância interexaminadores substancial na pontuação da evidência de validade.

Resultos

• Cobertura de Módulos: Dos 45 módulos de habilidades da ACS/APDS, apenas 13 (28,9%) possuíam artigos publicados correspondentes. A maioria dos artigos identificados utilizou ferramentas de avaliação previamente estudadas, notadamente o Global Evaluative Assessment of Robotic Skills (GEARS) e o OSATS.
• Força da Evidência de Validade:
  • Maior Evidência: "Estrutura interna" e "Processo de resposta" demonstraram os níveis mais altos de evidência (escores médios de 2,53 e 2,63, respectivamente).
  • Evidência Moderada: "Conteúdo" e "Relações com outras variáveis" mostraram evidência de suporte moderada a forte (escore médio de 2,47).
  • Menor Evidência: "Consequências" demonstrou o nível mais fraco de evidência (escore médio de 1,32), indicando uma falta de dados sobre como as avaliações impactam os resultados ou a tomada de decisão.
• Confiabilidade Interexaminadores: A IRR geral foi substancial, com um $\kappa$ ponderado de 0,754 e um ICC de 0,757. A confiabilidade foi maior para "Conteúdo" ($\kappa=0,746$) e menor para "Consequências" ($\kappa=0,510$) e "Processo de resposta" ($\kappa=0,514$).

Significância e Alegações
Os autores alegam que os achados indicam uma falta significativa de ferramentas de avaliação disponíveis para a cirurgia robótica, com a maioria dos módulos de habilidades não possuindo artigos correspondentes. A revisão destaca que, embora ferramentas como GEARS e OSATS sejam amplamente utilizadas, elas frequentemente dependem de adaptação, em vez de desenvolvimento novo e específico para o procedimento.

O artigo conclui que a literatura avaliando esses instrumentos permanece limitada, e relativamente poucos estudos examinaram a avaliação de habilidades cirúrgicas robóticas utilizando o contemporâneo arcabouço unitário de validade. Consequentemente, muitas ferramentas atualmente usadas no treinamento de cirurgia robótica possuem apenas evidência parcial que suporta a interpretação e a aplicação apropriada de seus escores. Os autores afirmam que trabalhos futuros devem focar no desenvolvimento e validação de ferramentas de avaliação globais e específicas para cada procedimento, particularmente à medida que a cirurgia robótica se torna cada vez mais integrada à prática. Eles enfatizam que fortalecer a evidência de validade é essencial para garantir que esses instrumentos possam ser usados com confiança para treinamento, feedback e avaliação de competência, indo além do volume de casos para a demonstração objetiva de habilidade.