💻 computer science

Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis

Este estudo compara a análise temática humana e assistida por IA em pesquisa qualitativa cirúrgica, constatando que, embora ambos os métodos identifiquem temas abrangentes semelhantes, os livros de códigos gerados por humanos produzem uma maior confiabilidade inter-codificador devido a limites temáticos mais claros, sugerindo que uma abordagem híbrida combinando a eficiência da IA com o refinamento humano pode ser ideal.

Autores originais: Bonnie E Laingen, Wesley H Iobst, Jarrett Dobbins, Jacob W Johnson, Gabriel E Cambronero, Lucas P Neff, Maggie E Bosley

Publicado 2026-06-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bonnie E Laingen, Wesley H Iobst, Jarrett Dobbins, Jacob W Johnson, Gabriel E Cambronero, Lucas P Neff, Maggie E Bosley

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma caixa gigante com 200 notas manuscritas de cirurgiões. Cada nota responde a uma pergunta: "Qual é a coisa mais difícil ao realizar uma cirurgia específica (LCBDE) no seu hospital?"

Seu objetivo é ler todas essas notas, organizá-las em pilhas baseadas nos problemas mencionados e dar um rótulo para cada pilha. Esse processo é chamado de Análise Temática. Normalmente, humanos fazem isso lendo, discutindo e refinando os rótulos até concordarem sobre o que cada pilha significa.

Este artigo faz uma pergunta simples: Um robô (Inteligência Artificial) consegue fazer esse trabalho de classificação tão bem quanto um humano?

Aqui está a história de como eles testaram isso, usando algumas analogias simples.

As Duas Equipes

Os pesquisadores organizaram uma corrida entre duas equipes para classificar as mesmas 200 notas:

A Equipe Humana: Dois médicos leram as notas. Eles começaram sem rótulos. Conforme liam, criaram sua própria lista de categorias (como "Falta de dinheiro", "Falta de tempo", "Equipamento ruim"). Eles continuaram refinando esses rótulos até que estivessem muito claros e distintos. Este é o seu Livro de Códigos Humano (Human Codebook).
A Equipe de IA: Eles inseriram todas as 200 notas em uma IA poderosa (ChatGPT) de uma só vez. Eles disseram à IA: "Olhe para estas notas e crie sua própria lista de categorias". A IA fez isso instantaneamente, sem qualquer ajuda ou exemplos humanos. Este é o Livro de Códigos da IA (AI Codebook).

Os Resultados: Quem Classificou Melhor?

Ambas as equipes conseguiram identificar os problemas do panorama geral. Quer fosse um humano ou um robô lendo as notas, ambos concordaram que os principais problemas eram:

Problemas de equipamento
Questões de dinheiro/custo
Restrições de tempo
Falta de apoio dos chefes
Não realizar a cirurgia com frequência suficiente (Baixo Volume)

No entanto, houve uma diferença na forma como eles classificaram as notas.

O Problema da "Pilha Difusa"

Pense nos rótulos da Equipe Humana como caixas claras e distintas. Se uma nota dizia "Não temos as ferramentas certas", ela ia para a caixa de "Equipamento". Se dizia "Não temos tempo", ia para a caixa de "Tempo". As caixas não se sobrepunham muito.

Os rótulos da Equipe de IA eram um pouco mais como círculos difusos e sobrepostos. A IA criou algumas categorias muito amplas. Por exemplo, ela poderia ter um rótulo chamado "Fluxo de trabalho e Cultura". Uma única nota sobre "O hospital prefere uma cirurgia diferente" poderia se encaixar em três categorias diferentes da IA ao mesmo tempo.

Como as categorias da IA eram tão amplas e sobrepostas, os dois codificadores humanos que tentaram usar a lista da IA para classificar as notas ficaram confusos com mais frequência. Eles nem sempre concordavam sobre em qual "pilha difusa" uma nota deveria ser colocada.

A Planilha de Pontuação

Os pesquisadores mediram a frequência com que os dois codificadores concordavam entre si (Confiabilidade Inter-Codificador).

Equipe Humana: Eles concordaram 95,1% das vezes. Sua "pontuação de concordância" (Kappa) foi 0,75.
Equipe de IA: Eles concordaram 92,3% das vezes. Sua "pontuação de concordância" (Kappa) foi 0,64.

Embora a IA ainda fosse muito boa, os humanos foram ligeiramente mais consistentes. O artigo observa que a diferença foi estatisticamente significativa, o que significa que não foi apenas um acaso; os rótulos humanos eram apenas um pouco mais claros.

A Solução "Híbrida"

O artigo conclui que a IA é como um assistente rápido e prestativo que pode olhar rapidamente para um quarto bagunçado e dizer: "Ok, aqui estão os principais tipos de bagunça: roupas, livros e pratos".

Mas a IA pode não ser perfeita em definir exatamente onde uma "meia" vai se ela estiver misturada com uma "toalha". Os humanos precisam intervir depois para dizer: "Na verdade, vamos criar uma regra específica para meias para que todos saibam exatamente onde elas vão".

A Conclusão:
Você pode usar a IA para fazer o trabalho pesado de encontrar os temas principais rapidamente. Mas, para garantir que as regras sejam claras e que todos classifiquem as notas da mesma maneira, um humano precisa intervir para refinar as definições. A melhor abordagem é um modelo híbrido: deixe a IA fazer a primeira passagem e, depois, deixe os humanos polirem os rótulos.

O Que o Artigo Não Diz

É importante notar o que este estudo não afirmou:

Não disse que a IA está pronta para substituir inteiramente os pesquisadores humanos.
Não testou a IA em entrevistas longas e complexas (apenas respostas curtas de pesquisas).
Não testou diferentes versões de IA ou diferentes formas de perguntar à IA (utilizou um método "zero-shot", o que significa que pediu à IA para fazer a tarefa sem treinamento prévio ou exemplos).
Não afirmou que a IA estava "errada" sobre os temas; a IA encontrou as ideias principais corretamente, ela apenas teve dificuldade em desenhar as linhas entre elas tão claramente quanto os humanos fizeram.

Resumo Técnico: Inteligência Artificial em Pesquisa Qualitativa Cirúrgica

Problema
Embora a Inteligência Artificial (IA) e os Modelos de Linguagem de Grande Escala (LLMs) tenham estabelecido utilidade na pesquisa quantitativa, sua integração na análise de dados qualitativos permanece limitada. A pesquisa qualitativa, particularmente a análise temática, é historicamente intensiva em mão de obra e depende da interpretação humana para distinguir diferenças conceituais sutis e interpretar significados dependentes de contexto. Embora haja um interesse crescente no uso de IA para acelerar fluxos de trabalho qualitativos, persistem preocupações quanto à capacidade da IA de gerar estruturas temáticas matizadas e bem diferenciadas sem comprometer a profundidade interpretativa. Especificamente, há uma carência de comparação empírica entre livros de códigos (codebooks) derivados por humanos e por IA dentro de contextos clínicos e cirúrgicos para determinar se a IA pode produzir análises qualitativas confiáveis e defensáveis.

Metodologia
Este estudo realizou uma análise metodológica secundária de 200 respostas de questionários de campo aberto, desidentificadas, sobre barreiras para a realização de exploração de colédoco por laparoscopia (LCBDE). A pesquisa comparou a confiabilidade inter-codificador (ICR) de dois livros de códigos distintos aplicados ao mesmo conjunto de dados:

Livro de Códigos Derivado por Humanos (HC): Dois autores realizaram análise temática indutiva. Por meio de um processo iterativo de codificação aberta, comparação constante e discussão de consenso, eles desenvolveram um livro de códigos com definições explícitas para minimizar a sobreposição.
Livro de Códigos Derivado por IA (AIC): O mesmo conjunto de dados foi processado utilizando o ChatGPT (GPT-5.2) via uma estratégia de prompting "zero-shot". O modelo foi solicitado a gerar um livro de códigos temáticos sem exemplos ou refinamento iterativo, simulando um cenário onde dados de treinamento rotulados não estão disponíveis.

Ambos os livros de códigos foram subsequentemente aplicados de forma dedutiva ao conjunto completo de dados pelos mesmos dois codificadores, que estavam cegos quanto às atribuições um do outro durante a fase de aplicação. A análise estatística incluiu porcentagem de concordância, coeficiente kappa de Cohen (com intervalos de confiança de 95% via bootstrap) e AC1 de Gwet para avaliar a ICR. Uma comparação qualitativa de separação temática, sobreposição conceitual e ambiguidade de codificação também foi realizada.

Principais Resultados

Convergência Temática: Tanto o HC quanto o AIC identificaram independentemente 13 códigos. Cinco códigos foram tematicamente idênticos em ambas as abordagens: Equipamento, Suporte Global, Custo, Tempo/Restrições de Centro Cirúrgico e Baixo Volume.
Confiabilidade Inter-Codificador (ICR): O HC demonstrou uma ICR geral superior ao AIC.
- Porcentagem de Concordância: O HC foi de 95,1%; o AIC foi de 92,3%.
- Kappa de Cohen: HC foi 0,754 [IC 95%: 0,711–0,792]; AIC foi 0,638 [IC 95%: 0,591–0,684].
- Diferença: A diferença no kappa ( $\Delta\kappa$ ) foi de -0,116 [IC 95%: -0,168 a -0,059], indicando uma vantagem estatisticamente significativa para o livro de códigos derivado por humanos.
Estrutura Temática: A análise qualitativa revelou que, embora ambos os livros de códigos tenham identificado temas abrangentes semelhantes, o AIC tendeu a produzir temas mais sobrepostos e generalistas, levando à ambiguidade de codificação. Em contraste, o HC exibiu fronteiras temáticas mais claras. O livro de códigos gerado pela IA frequentemente agrupava múltiplos construtos relacionados em definições únicas (por exemplo, combinando fluxo de trabalho, cultura e preferência pessoal), enquanto o livro de códigos humano os separava de forma mais distinta.
Nuance Estatística: Embora alguns códigos individuais tenham mostrado alta porcentagem de concordância em ambos os grupos, o "paradoxo do kappa" foi observado em códigos com baixa prevalência ou alta sobreposição. Os valores de AC1 de Gwet permaneceram altos em ambos os livros de códigos, sugerindo que, embora a concordância estatística fosse forte, a ambiguidade estrutural no AIC contribuiu para pontuações de kappa mais baixas.

Significância e Alegações
O artigo afirma que os LLMs modernos, especificamente quando utilizados em capacidade zero-shot, são capazes de identificar padrões principais e gerar estruturas temáticas iniciais que se alinham amplamente com os achados humanos em dados qualitativos cirúrgicos. No entanto, o estudo conclui que os livros de códigos gerados por IA atualmente carecem da granularidade temática e da clareza de fronteiras alcançadas pelo refinamento iterativo humano.

Os autores sustentam que os achados apoiam uma abordagem híbrida para a pesquisa qualitativa cirúrgica. Neste modelo, a IA serve como uma ferramenta eficiente para o agrupamento inicial e a identificação de conceitos abrangentes, enquanto os pesquisadores humanos permanecem essenciais para refinar as definições dos livros de códigos, resolver sobreposições temáticas e garantir a precisão interpretativa. O estudo não alega que a IA pode atualmente substituir os analistas humanos na pesquisa qualitativa, mas sim posiciona a IA como uma ferramenta assistiva viável para otimizar a eficiência nas etapas iniciais da análise temática, desde que a supervisão humana seja mantida para garantir a validade analítica.