Resumo Técnico: Uma Estrutura de LLM Multi-Agente para Avaliar a Qualidade do Feedback Cirúrgico

Declaração do Problema

O feedback verbal de cirurgiões supervisores a residentes em formação na sala de operações (SO) é crítico para a aquisição de habilidades e os resultados cirúrgicos. No entanto, avaliar sistematicamente a qualidade desse feedback — especificamente como ele é entregue, e não apenas seu conteúdo — permanece um desafio significativo. Pesquisas anteriores focaram amplamente em categorizar o conteúdo do feedback (por exemplo, referências anatômicas, manuseio de instrumentos) usando anotação manual ou métodos automatizados como análise de palavras-chave e modelagem de tópicos. Essas abordagens existentes falham em capturar atributos de entrega sutis, como clareza, urgência, tempestividade e tom emocional, que são essenciais para entender a eficácia do feedback. Além disso, a anotação manual é intensiva em mão de obra e não escalável, enquanto os métodos automatizados existentes carecem de sensibilidade à linguagem clínica e da capacidade de distinguir entre tarefas instrucionais idênticas entregues com diferentes tons ou urgências.

Metodologia

Os autores propõem uma estrutura baseada em Modelo de Linguagem de Grande Escala (LLM) em duas etapas, projetada para descobrir critérios interpretáveis de qualidade de feedback e pontuar automaticamente o feedback cirúrgico. O pipeline integra prompting multi-agente, injeção de conhecimento de domínio e uma abordagem de "LLM como juiz".

1. Fase de Descoberta de Critérios

O processo de descoberta utiliza uma estratégia multi-agente para gerar e consolidar critérios de avaliação:

• Iniciação Guiada por Domínio: Agentes GPT-4o são inicializados com definições formais de resultados de feedback cirúrgico (Ajuste Comportamental, Reconhecimento Verbal, Aprovação do Instrutor) e uma definição do próprio feedback. Eles recebem um pequeno subconjunto de exemplos de feedback não rotulados (<1% do conjunto de dados) para inferir dimensões avaliativas relevantes por meio de raciocínio analógico.
• Geração Multi-Agente: Cinco agentes GPT-4o independentes, configurados com uma temperatura de amostragem alta ($T=1.0$) para incentivar a diversidade, propõem independentemente dimensões candidatas de qualidade. Cada agente tem a tarefa de definir critérios abstratos e generalizáveis que podem ser pontuados em uma Escala de Classificação Ancorada Comportamental (BARS) de 5 pontos, baseando-se exclusivamente em uma única linha de feedback transcrito.
• Consolidação de Critérios: Os critérios candidatos de todos os agentes são aplicados ao conjunto de dados completo. Um algoritmo de agrupamento hierárquico (ligação simples, distância euclidiana) agrupa critérios semanticamente semelhantes. O número ótimo de clusters ($k=6$) é determinado pelo coeficiente de silhueta. Uma instância final do GPT-4o (em modo determinístico, $T=0.0$) sintetiza uma definição unificada e âncoras BARS para cada cluster, garantindo reprodutibilidade e não sobreposição.

2. Consolidação e Validação de Critérios

O processo resultou em seis dimensões interpretáveis de qualidade de feedback:

1. Incentivador: Tom de apoio que aumenta a confiança.
2. Urgente: Comunicação indicando que ação imediata é necessária.
3. Acionável: Passos claros e específicos que o residente pode implementar.
4. Tempestivo: Feedback fornecido durante ou imediatamente após a ação.
5. Claro: Mensagem direta e inequívoca.
6. Reflexivo: Promove autoavaliação ou insights mais profundos.

3. Pontuação Automatizada e Avaliação

• LLM como Juiz: A rubrica final de seis dimensões é usada para pontuar 4.210 instâncias de feedback cirúrgico ao vivo usando GPT-4o. O modelo atribui pontuações de 1 a 5 para cada dimensão.
• Modelagem Preditiva: Os autores avaliaram a capacidade dessas pontuações derivadas de IA de prever quatro resultados comportamentais: Mudança de Comportamento do Residente, Resposta Verbal do Residente, Aprovação do Instrutor e Desaprovação do Instrutor. Eles compararam seu modelo com abordagens anteriores de modelagem de tópicos e categorias humanas anotadas manualmente usando classificadores Random Forest com validação cruzada estratificada em cinco dobras.
• Alinhamento Humano-IA: Dois avaliadores humanos com conhecimento de domínio pontuaram um subconjunto de 30 instâncias usando a rubrica descoberta pela IA. A confiabilidade interavaliador foi avaliada usando o Kappa Ponderado Quadrático ($\kappa$) para medir o acordo entre humanos, entre execuções da IA e entre humanos e IA.

Principais Resultados

Desempenho Preditivo

Os critérios de qualidade descobertos pela IA demonstraram poder preditivo superior em comparação com métodos anteriores:

• Desempenho Isolado: Usando apenas as seis pontuações de qualidade, o modelo alcançou pontuações AUROC de 0,75 para Mudança de Comportamento do Residente, 0,71 para Resposta Verbal, 0,66 para Aprovação do Instrutor e 0,60 para Desaprovação do Instrutor.
• Melhoria Comparativa: Quando combinadas com recursos anteriores de modelagem de tópicos, as pontuações da IA melhoraram a previsão de Mudança de Comportamento do Residente em 12% (AUROC 0,77) e de Desaprovação do Instrutor em 11% (AUROC 0,63). Quando combinadas com categorias humanas definidas anteriormente, as melhorias variaram de 3% a 12% em todos os resultados.
• Significância Estatística: O teste de DeLong confirmou que a adição de pontuações de qualidade derivadas de IA resultou em melhorias estatisticamente significativas ($p < 0,05$) sobre tanto a modelagem de tópicos quanto as categorias definidas por humanos para a maioria dos resultados.

Alinhamento Humano-IA

• Consistência: As execuções da IA mostraram consistência interna quase perfeita ($\kappa = 0,92–1,00$).
• Alinhamento: O acordo humano-IA foi substancial ($\kappa = 0,60–0,79$) para cinco das seis critérios (Incentivo, Urgência, Acionabilidade, Clareza, Reflexão), aproximando-se dos níveis de acordo inter-humano. O acordo foi menor para "Tempestividade" ($\kappa = 0,54$), refletindo a dificuldade inerente em julgar aspectos temporais.

Associação com Resultados

A análise da relação entre dimensões específicas de qualidade e resultados revelou padrões distintos:

• Ajuste Comportamental: Fortemente associado a feedback Acionável (RR=1,22), Tempestivo (RR=1,24) e Urgente (RR=1,11). Por outro lado, feedback Incentivador e Reflexivo foram associados a uma redução no ajuste comportamental, provavelmente porque eles afirmam comportamentos corretos ou estimulam insights de longo prazo em vez de correção imediata.
• Reconhecimento Verbal: Fortemente associado a feedback Reflexivo (RR=1,34) e Claro (RR=1,13). Feedback Incentivador e Tempestivo foram associados a uma redução no reconhecimento verbal.

Significância e Alegações

O artigo afirma avançar o campo da educação cirúrgica e da análise de comunicação de várias maneiras:

1. Mecanismo de Descoberta Novel: Diferentemente de trabalhos anteriores que dependem de taxonomias predefinidas ou agrupamento não supervisionado, esta estrutura usa uma estratégia guiada por LLM em duas etapas para descobrir critérios de pontuação novel, interpretáveis por humanos e fundamentados em interações clínicas do mundo real.
2. Escalabilidade e Interpretabilidade: A estrutura fornece um método escalável e automatizado para avaliar a qualidade da entrega de feedback sem a necessidade de extensa anotação manual. O uso de BARS garante que os critérios sejam interpretáveis tanto por humanos quanto por máquinas.
3. Relevância Clínica: As dimensões descobertas não são meramente recursos linguísticos, mas são fundamentadas comportamentalmente, mostrando associações estatisticamente significativas com ajustes comportamentais dos residentes e reações dos instrutores.
4. Aplicação Prática: Os autores postulam que esta estrutura pode fundamentar painéis de cuidado no ponto de atendimento, análises curriculares longitudinais e auditorias automatizadas de garantia de qualidade. Oferece um caminho para melhorar a eficácia do ensino intraoperatório e apoia o desenvolvimento de instrutores.
5. Generalizabilidade: Embora desenvolvida para a sala de operações, os autores sugerem que o pipeline poderia generalizar-se para outros ambientes clínicos que dependem de orientação falada (por exemplo, rondas em UTI, telemedicina), desde que a entrada seja baseada em texto.

Os autores mantêm uma postura modesta quanto às limitações, reconhecendo que a análise depende exclusivamente de texto (excluindo pistas prosódicas ou visuais), que a avaliação foi retrospectiva e que a descoberta da rubrica dependeu de um modelo proprietário (GPT-4o), embora tenham publicado a rubrica final para permitir a reimplantação com modelos de código aberto.