🏥 surgery

Calibrating trust in AI-assisted pituitary surgery

Este estudo demonstra que o aprimoramento de um sistema de suporte à decisão para cirurgia hipofisária assistida por IA, com recursos explicativos e rótulos de confiança, melhora a calibração da confiança do clínico — reduzindo a dependência excessiva durante o baixo desempenho da IA — e promove maior consistência e desempenho de nível sênior em comparação a uma interface básica.

Autores originais: Hudson, G. R., Khan, D. Z., Fayez, F., Bhatia, S., Bano, S., Costanza, E., Blandford, A., Stoyanov, D., McCulloch, P., Marcus, H. J., University College London Collaborators,

Publicado 2026-06-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hudson, G. R., Khan, D. Z., Fayez, F., Bhatia, S., Bano, S., Costanza, E., Blandford, A., Stoyanov, D., McCulloch, P., Marcus, H. J., University College London Collaborators,

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você é um cirurgião realizando uma operação delicada em uma estrutura minúscula e complexa no fundo do crânio chamada glândula pituitária. É como tentar navegar em um labirinto enquanto está vendado, mas você tem um GPS de alta tecnologia (Inteligência Artificial) que desenha uma linha brilhante em sua tela para mostrar o caminho seguro.

A grande questão que este estudo fez foi: O quanto você deve confiar nesse GPS?

Se você confiar demais quando ele estiver errado, pode bater. Se não confiar o suficiente quando ele estiver certo, pode perder um atalho. Os pesquisadores queriam ver se mudar o "visual e a sensação" do GPS poderia ajudar os cirurgiões a encontrar o equilíbrio perfeito de confiança.

O Experimento: Dois Tipos de GPS

Os pesquisadores reuniram 70 cirurgiões experientes e estudantes de medicina e os colocaram em um teste online semelhante à realidade virtual. Eles pediram que desenhassem o contorno da glândula pituitária em seis clipes de vídeo diferentes de cirurgias reais.

Os participantes foram divididos em dois grupos, cada um usando uma versão diferente do assistente de IA:

O GPS "Básico": Esta versão apenas desenhava a linha. Era como um GPS padrão que diz "Vire à esquerda aqui", mas não dá nenhuma explicação de por que ou o quão certo está.
O GPS "Aprimorado": Esta versão era como um GPS com um copiloto comunicativo. Não apenas desenhava a linha, mas também mostrava um medidor de confiança (uma porcentagem dizendo o quão seguro o IA está) e dava um pequeno resumo sobre como a IA foi treinada e o quão confiável ela costuma ser.

A Reviravolta: O GPS Fica Estressado

Para testar a confiança, os pesquisadores não mostraram apenas vídeos perfeitos. Eles ordenaram os clipes para que a IA começasse sendo perfeita, depois gradualmente ficasse pior e mais confusa, antes de melhorar ligeiramente no final. Era como dirigir por uma cidade clara, depois atingir um nevoeiro espesso, e então atingir uma zona de construção onde o GPS começa a dar direções estranhas.

O Que Aconteceu?

1. Quando a IA estava perfeita:
Ambos os grupos confiaram na IA igualmente. Curiosamente, o grupo "Aprimorado" (aqueles com o copiloto comunicativo) não confiou mais do que o grupo "Básico". No entanto, os cirurgiões seniores no grupo "Aprimorado" na verdade fizeram um trabalho ligeiramente melhor ao desenhar as linhas. Parece que a informação extra ajudou os especialistas a se sentirem confiantes o suficiente para usar a ferramenta de forma mais eficaz, quase como se estivessem "escolhendo a dedo" as melhores partes do conselho da IA.

2. Quando a IA ficou confusa (A Parte do Nevoeiro):
É aqui que o estudo ficou realmente interessante. À medida que a IA começou a cometer erros, o grupo "Básico" continuou confiando nela um pouco demais. Eles eram como motoristas que continuam seguindo um GPS mesmo quando ele diz para dirigir para dentro de um lago.

O grupo "Aprimorado", no entanto, parou de confiar muito mais rápido. Porque viram o "medidor de confiança" cair e souberam que a IA estava com dificuldades, eles reduziram a confiança significencialmente. Isso é chamado de calibrar a confiança. Eles perceberam: "Ei, esta ferramenta está tendo um dia ruim, eu não devo confiar nela cegamente."

3. O Resultado de Menor Confiança:
Embora o grupo "Aprimorado" tenha confiado menos na IA quando ela estava errada, eles não necessariamente desenharam as linhas melhor do que o grupo "Básico". No entanto, seus resultados foram mais consistentes. Eles não cometeram erros selvagens ou perigosos. É como se o grupo "Aprimorado" tivesse decidido: "O GPS está quebrado, então vou apenas dirigir com cuidado e seguir meus próprios instintos", enquanto o grupo "Básico" continuou tentando seguir o GPS quebrado e acabou ficando totalmente perdido.

A Conclusão

O estudo descobriu que dar aos cirurgiões mais informações (como pontuações de confiança e histórico sobre a IA) ajuda a calibrar a confiança deles.

IA Boa: A informação extra ajuda os especialistas a usar a ferramenta ainda melhor.
IA Ruim: A informação extra atua como uma verificação de segurança, fazendo os cirurgiões perceberem: "Isso não está funcionando", e evitando que sigam cegamente um erro.

Os pesquisadores concluem que, embora essa informação extra não torne a IA magicamente perfeita, ela ajuda os cirurgiões a saberem quando confiar nela e quando ignorá-la. Este é um recurso de segurança crucial antes que essas ferramentas sejam usadas em uma sala de cirurgia real.

Resumo Técnico: Calibrando a Confiança em IA de Assistência à Cirurgia Pituitária

Problema
A cirurgia endoscópica endonasal transesfenoidal (EETS) para tumores da glândula pituitária apresenta desafios significativos devido à natureza crítica da anatomia neurovascular adjacente. Embora os Sistemas de Suporte à Decisão Clínica baseados em Inteligência Artificial (AI-CDSSs) tenham surgido para auxiliar na orientação anatômica em tempo real, sua implantação segura é dificultada pela dinâmica incerta de confiança do clínico. A confiança não é estática; ela evolui de formas disposicionais para situacionais e aprendidas. Em ambientes cirúrgicos de alto risco, níveis de confiança inapropriados — sejam eles muito baixos (levando à desorientação) ou muito altos (levando a erros críticos para a missão) — podem comprometer a segurança do paciente. Pesquisas anteriores sugerem que recursos de design de interface, como métricas de confiança e explicações, podem influenciar a calibração da confiança, mas o impacto específico de sua relação dinâmica entre a confiança humana e o desempenho da IA em ambientes cirúrgicos permanece desconhecido.

Metodologia
Este estudo foi um ensaio randomizado pré-clínico, estágio 0 de IDEAL, conduzido online, aderindo às diretrizes DECIDE-AI. Envolveu 70 clínicos com experiência em cirurgia pituitária (neurocirurgiões e estudantes de medicina), que foram randomizados 1:1 em dois grupos:

IA-CDSS Básica: Forneceu uma sobreposição gerada por IA delineando a sela túrcica em clipes de vídeo operatórios.
IA-CDSS Avançada: Forneceu a mesma sobreposição, mas suplementada com explicações sobre a estrutura do modelo, publicações anteriores e rótulos de confiança (codificados por cores: verde para confiabilidade >70%, âmbar para <70%) descrevendo a confiabilidade do delineamento específico.

Desenho Experimental:

Estímulos: Os participantes anotaram a sela em seis clipes de vídeo de 5 segundos derivados de operações reais de EETS. Os clipes foram ordenados para simular o declínio de desempenho da IA (coeficientes DICE variando de 0,95 para baixo até 0,68), com o último clipe mostrando recuperação intermediária.
Procedimento: Os participantes primeiro anotaram os clipes sem assistência de IA, depois repetiram a tarefa com a IA-CDSS. Eles podiam alternar a sobreposição da IA ligada ou desligada.
Métricas:
- Confiança: Medida usando a Escala de Confiança em Automação Reduzida (STIAS) em uma escala Likert de 1-7 após cada anotação.
- Desempenho: Calculado como o coeficiente de sobreposição DICE entre a anotação do participante e o consenso de especialistas (ground truth).
Análise: Comparações entre grupos utilizaram testes de Mann-Whitney U e análise de permutação. Modelos lineares de efeitos mistos foram usados para análise de robustez.

Principais Resultados

Calibração de Confiança: Quando o desempenho da IA era alto (Clipe 1), os níveis de confiança foram estatisticamente idênticos entre os grupos Básico e Avançado (mediana 5,00). No entanto, conforme o desempenho da IA degradava, o grupo Avançado demonstrou pontuações de confiança significativamente menores em comparação ao grupo Básico. Especificamente, no ponto de pior desempenho da IA (Clipe 5), a mediana de confiança do grupo Avançado foi 3,00 contra 3,67 do grupo Básico ( $p=.035$ ). Essa tendência persistiu no clipe final ( $p=.019$ ), indicando que a interface Avançada calibrou a confiança para baixo com sucesso quando a IA era pouco confiável.
Impacto no Desempenho: O uso da IA-CDSS melhorou o desempenho geral dos participantes (a mediana DICE aumentou de 0,83 para 0,85) em comparação com a anotação não assistida. No entanto, não houve diferença significativa de desempenho entre os grupos Básico e Avançado ao longo dos clipes.
Resultados de Subgrupos e Variabilidade:
- Clínicos Seniores: No melhor cenário de desempenho da IA (Clipe 1), os clínicos seniores no grupo Avançado mostraram uma tendência de maior desempenho (mediana 0,95) em comparação ao grupo Básico (mediana 0,90), embora isso não tenha atingido significância estatística ( $p=.066$ ).
- Consistência: Quando a IA era imprecisa (Clipe 5), o grupo Avançado exibiu significativamente menos dispersão de desempenho (IQR 0,07 vs. 0,21, $p=.004$ ), sugerindo que a interface promoveu anotações mais consistentes, embora não necessariamente mais precisas, durante modos de falha.

Principais Contribuições

Design de Interface e Dinâmica de Confiança: O estudo fornece evidências empíricas de que recursos modificáveis de interface (explicações e rótulos de confiança) podem calibrar efetivamente a confiança na IA cirúrgica. Especificamente, esses recursos ajudam os usuários a reconhecer e reagir à falha da IA de forma mais apropriada do que uma interface de "caixa preta".
Mecanismos de Segurança: Os resultados sugerem que interfaces aprimoradas podem servir como verificações de segurança ao reduzir a dependência excessiva da IA durante períodos de baixa precisão, prevenindo assim o "viés de automação" frequentemente observado em ambientes clínicos.
Engajamento de Especialistas: Os dados sugerem que informações detalhadas de interface podem encorajar clínicos seniores a se envolverem mais profundamente com saídas de IA precisas, potencialmente utilizando sua expertise para "selecionar criteriosamente" sugestões de IA confiáveis.

Significância e Alegações
Os autores afirmam que este trabalho é o primeiro a avaliar o impacto do design de interface na confiança dentro de um contexto de IA-CDSS cirúrgica do mundo real. O estudo conclui que, embora o design da interface não altere necessariamente a precisão da tarefa global em uma simulação de curto prazo, ele melhora significamente a calibração da confiança. Ao garantir que os níveis de confiança se alinhem com o desempenho real da IA, esses recursos de design podem aumentar incrementalmente o desempenho para clínicos seniores quando a IA é precisa e garantir maior consistência quando a IA é imprecisa. Os autores postulam que esses recursos são críticos para a futura tradução segura de IA-CDSSs para a sala de cirurgia, atuando como verificações de segurança necessárias para mitigar os riscos de erros de equipe humano-IA em neurocirurgia de alto risco.

O Experimento: Dois Tipos de GPS

A Reviravolta: O GPS Fica Estressado

O Que Aconteceu?

A Conclusão

Mais como este