Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

Resumo Técnico: Rumo à Dinâmica de Equipes Cirúrgicas Acionável

Declaração do Problema
O trabalho em equipe eficaz em ambientes de alto risco, como os centros cirúrgicos (CC), é crítico para a segurança do paciente, dependendo fortemente de habilidades não técnicas, como comunicação, coordenação e consciência situacional. Embora avanços recentes na ciência de dados cirúrgicos tenham produzido conjuntos de dados multimodais (ex: Cholec80, MM-OR), esses recursos focam primordialmente na compreensão da cena visual, reconhecimento de fases procedimentais e detecção de ações. Eles carecem de representações integradas de fenômenos ao nível da equipe, tais como estruturas conversacionais específicas de cada falante, avaliações de habilidades não técnicas e a dinâmica de falhas de interação. Além disso, os conjuntos de dados existentes são frequentemente fragmentados entre modalidades e esquemas de anotação, e raramente fornecem insights explicativos sobre o porquê do desempenho do trabalho em equipe degradar. Os modelos computacionais atuais frequentemente reduzem o desempenho da equipe a uma única pontuação, negligenciando a complexa interação entre processos individuais, interpessoais e coletivos, e falham em fornecer contas interpretáveis necessárias para confiança e intervenção em contextos clínicos.

Metodologia
Os autores propõem uma extensão abrangente do conjunto de dados MM-OR, disponível publicamente, que contém gravações multimodais sincronizadas de procedimentos de substituição de joelho robótica. A metodologia envolve três componentes técnicos primários:

1. Pipeline de Enriquecimento Multimodal:

   • Diarização de Falantes: Refinamento manual das trocas de turno dos falantes para garantir alta precisidade temporal no ambiente ruidoso do CC, permitindo a análise de turnos, interrupções e equilíbrio de participação.
   • Transcrição Bilíngue: Criação de transcrições alinhadas em alemão (original) e inglês para facilitar a revisão das anotações e a modelagem translinguística.
   • Estrutura de Dados: O recurso mantém modalidades sincronizadas por hardware, incluindo 5 câmeras RGB-D, 3 câmeras RGB, 3 microfones, logs robóticos e rastreamento 3D, todos alinhados a 1 FPS.

2. Estrutura de Anotação de Múltiplos Níveis:
   Os autores introduzem um esquema de anotação hierárquico cobrindo 169 clipes de vídeo de seis minutos, anotados por três especialistas utilizando frameworks estabelecidos:

   • Nível de Equipe: Utilizando o OTAS (Observational Teamwork Assessment for Surgery) para avaliar cinco construtos (Comunicação, Coordenação, Cooperação, Liderança, Monitoramento) em uma escala Likert de 0 a 6.
   • Nível de Interação: Adaptando o framework HMT (Human-Machine Teaming) para equipes exclusivamente humanas para avaliar interações par a par através de cinco macrocategorias (Comunicação, Processamento Conjunto de Informação, Coordenação, Relacionamento Interpessoal, Motivação).
   • Nível Individual:
     • Dinâmico: Utilizando o NOTSS (Non-Technical Skills for Surgeons) para avaliar Consciência Situacional, Tomada de Decisão, Comunicação/Trabalho em Equipe e Liderança.
     • Estático/Estável: Integrando BFTQ (Big-Five-In-Teamwork), SYMLOG (comportamento de liderança/interpessoal) e GLIS (General Leadership Impression Scale) para capturar traços estáveis e liderança emergente.

3. Camada de Anotação Contrafactual:
   Uma contribuição inovadora onde os anotadores identificam eventos ou comportamentos específicos que impactaram negativamente o trabalho em equipe dentro de um segmento. Estas anotações incluem:

   • Intervalos Temporais: Durações curtas do evento desencadeador.
   • Atribuição: Identificação do construto de equipe afetado e do agente(s) responsável(is).
   • Avaliações de Qualidade: Cinco dimensões avaliadas em uma escala ordinal de 1 a 5: Criticidade (impacto no desempenho), Plausibilidade (realismo da alternativa), Confiança (certeza do anotador), Minimalidade (suficiência da mudança) e Melhoria Esperada (potencial ganho de desempenho).
   • Justificativas: Explicações textuais descrevendo o evento, consequências e comportamentos alternativos sugeridos.

Principais Contribuições

• Conjunto de Dados Multimodal Enriquecido: O primeiro conjunto de dados público de CC que combina sinais multimodais brutos com representações de consciência de falante e de linguagem elaboradas manualmente (diarização e transcrições bilíngues).
• Estrutura de Anotação de Múltiplos Níveis: Um recurso unificado que fornece avaliações simultâneas de nível de equipe, nível de interação e nível individual derivadas de múltiplos frameworks teóricos validados (OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS).
• Protocolo de Anotação Contrafactual: Uma camada novel que captura sinais explicativos para a degradação do trabalho em equipe, indo além de pontuações descritivas para identificar gatilhos comportamentais específicos e resultados alternativos plausíveis.
• Tarefas de Benchmark: O artigo estabelece o desempenho base para três direções de pesquisa distintas:
  1. Enriquecimento de Características: Avaliação empírica e quantificação da utilidade das representações conscientes de falante e baseadas em transcrição, demonstrando que elas fornecem informações complementares e melhoram a predição do trabalho em equipe sobre características de áudio/visão puras.
  2. Predição de Múltiplos Níveis: Mostrando que arquiteturas temporais-relacionais (especificamente TE-ReNN) superam modelos estáticos e puramente temporais na predição de construtos em todos os níveis de anotação.
  3. Detecção Contrafactual: Provando que sinais multimodais contêm padrões preditivos para identificar eventos associados à degradação do trabalho em equipe, alcançando um desempenho significativamente acima do acaso.

Resultos

• Distribuição de Anotação: O conjunto de dados exibe um desequilíbrio de classes moderado, com a maioria das classificações concentrada em torno de pontuações intermediárias a positivas (ex: 62,7% dos clipes classificados como 4 ou 5 para Comunicação no OTAS), refletindo um desempenho de equipe geralmente competente, mas não excepcional, nos procedimentos registrados.
• Insights Contrafactuais: Aproximadamente 70% dos eventos contrafactuais relacionam-se a falhas de comunicação, monitoramento ou cooperação. A maioria dos eventos é atribuída a atores únicos (média de 1,3 atores), com pontuações de criticidade e confiança geralmente de baixo a moderado, sugerindo que os anotadores viram estes como ineficiências moderadas em vez de falhas catastróficas.
• Desempenho do Modelo:
  • Impacto de Características: Modelos que utilizam diarização e transcrições superaram consistentemente aqueles que utilizam apenas características de áudio e visão computacional.
  • Arquitetura: TE-ReNN (Temporal-Relational Neural Networks) alcançou os maiores escores F1-macro em todas as tarefas (ex: 74,2% para OTAS, 76,7% para BFTQ), confirmando que modelar conjuntamente a evolução temporal e as dependências interpessoais é essencial para a análise do trabalho em equipe cirúrgico.
  • Detecção Contrafactual: Apesar da raridade dos eventos, os modelos alcançaram escores F1-macro significativamente acima do acaso, validando a capacidade de aprendizado destes sinais explicativos.

Significância e Alegações
O artigo afirma mudar o paradigma da ciência de dados cirúrgica de uma modelagem de fluxo de trabalho puramente descritiva para uma modelagem integrada, multimodal e explicável da dinâmica de equipe. Ao fornecer um recurso unificado que vincula dados de sensores brutos a construtos sociais de alto nível e explicações contrafactuais, este trabalho possibilita:

• O estudo de como ações individuais e padrões de interação contribuem conjuntamente para os resultados da equipe.
• O desenvolvimento de sistemas colaborativos assistidos por IA capazes de identificar falhas no trabalho em equipe e sugerir melhorias.
• Uma base para modelagem preditiva e análise comportamental em domínios de alto risco.

Os autores reconhecem modestamente que as anotações contrafactuais representam julgamentos de especialistas sobre alternativas plausíveis, em vez de mecanismos causais experimentalmente validados. Eles também observam que a dependência de anotação manual limita a escalabilidade, sugerindo que trabalhos futuros possam explorar pipelines semiautomáticos. No entanto, o recurso é posicionado como um passo crítico para uma IA centrada no humano e interpretável para equipes cirúrgicas.