Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

Resumo Técnico: Grandes Modelos de Linguagem para Análise Qualitativa Rigorosa e em Larga Escala em Pesquisa Aplicada de Serviços de Saúde

Definição do Problema
Abordagens qualitativas são essenciais para a pesquisa de serviços de saúde para compreender os fatores contextuais e interpessoais que moldam a prestação de cuidados. No entanto, estudos aplicados de grande escala frequentemente enfrentam restrições de tempo e recursos, tornando necessária a obtenção de achados oportunos para que permaneçam relevantes para os profissionais da área. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para aumentar a eficiência analítica, sua integração em fluxos de trabalho qualitativos rigorosos permanece pouco orientada. A literatura existente destaca riscos como classificações superficiais e cegas ao contexto, comprometimento da transparência metodológica e falta de evidências sobre como os LLMs influenciam os resultados da pesquisa no mundo real. Além disso, as ferramentas atuais frequentemente falham em apoiar as necessidades específicas e dependentes de contexto dos estudos de saúde aplicados, e as plataformas comerciais muitas vezes carecem da segurança ou transparência exigidas para dados médicos de alto risco.

Metodologia
Os autores propõem um framework agnóstico a modelos e tarefas para o design de métodos de análise qualitativa humano-LLM, aplicado em um estudo multicêntrico sobre o cuidado do diabetes em Centros de Saúde Qualificados Federalmente (FQHCs). O estudo envolveu 12 FQHCs, 167 entrevistas e quatro equipes de pesquisa. O framework consiste em quatro etapas iterativas:

1. Definir Tarefa: Conclusão manual da tarefa em uma pequena amostra para esclarecer objetivos, finalizar formatos de saída e identificar componentes que exigem a familiaridade do pesquisador humano.
2. Projetar Método Humano-LLM: Decomposição da tarefa para distinguir entre ações que exigem conhecimento tácito humano (ex: julgamento dependente de contexto) e aquelas adequadas para automação.
3. Avaliar em Pequena Escala: Comparação de saídas apenas humanas e humano-LLM em um conjunto de dados pequeno contra objetivos específicos da tarefa e critérios de rigor qualitativo (ex: fundamentação nos dados, alinhamento com as questões de pesquisa), em vez de métricas quantitativas como confiabilidade interexaminadores.
4. Aplicar e Avaliar: Implementação do método validado no conjunto de dados completo e avaliação de seu impacto na eficiência e nos objetivos da pesquisa.

O estudo utilizou duas tarefas distintas para testar este framework:

• Tarefa 1 (Síntese Qualitativa): Geração de relatórios de síntese comparativa para os FQHCs baseados em resumos de locais gerados por pesquisadores (~31.200 palavras). A equipe utilizou o ChatGPT-4o da OpenAI para a organização temática dos resumos dos locais e o modelo o1 para gerar sínteses entre os locais.
• Tarefa 2 (Codificação Dedutiva): Refinamento de uma intervenção de transformação de prática através da codificação de 167 transcrições de entrevistas (~1,3 milhão de palavras) contra 19 códigos pré-definidos. Devido às limitações da janela de contexto e à necessidade de recuperação semântica, a equipe implementou a Geração Aumentada de Recuperação (RAG) usando recuperação baseada em embeddings (text-embedding-3-large da OpenAI) e um banco de dados vetorial Qdrant. Para mitigar o "viés de exemplo" e o "viés de positividade", a equipe empregou uma estratégia de fazer subperguntas com e sem exemplos, e emparelhou perguntas com contraperspectivas sobre barreiras.

A segurança e a infraestrutura foram gerenciadas via Stanford SecureGPT para acessar LLMs comerciais (ChatGPT-4o, o1, Gemini, Claude, DeepSeek) via API, garantindo a conformidade com os padrões de dados médicos de alto risco.

Principais Resultados

• Resultados da Tarefa 1: Os LLMs organizaram com sucesso os dados de nível local em temas, alinhando-se de perto com o agrupamento humano. No entanto, os LLMs careceram de nuance para determinar a novidade ou a aplicabilidade dos insights, frequentemente incluindo dados irrelevantes ou falhando em filtrar entradas desalinhadas. O fluxo de trabalho final humano-LLM envolveu os LLMs organizando os dados, que os pesquisadores então refinaram em sínteses finais. Esta abordagem reduziu o tempo de análise em 30–55%, mantendo uma qualidade analítica comparável à de dois pesquisadores humanos com perspectivas diferentes.
• Resultados da Tarefa 2: O método humano-LLM baseado em RAG identificou com sucesso trechos relevantes em um grande conjunto de dados. Contudo, os LLMs frequentemente sobregeneralizaram achados, careceram de perspectiva e perderam o contexto devido a trechos fragmentados e descontextualizados. A análise humana forneceu explicações mais detalhadas e identificou dinâmicas interpessoais, enquanto os LLMs focaram em estruturas e processos. A equipe descobriu que as saídas dos LLMs exigiam validação e contextualização significativa por parte dos pesquisadores.
• Ganhos de Eficiência: Sem os LLMs, estimava-se que a codificação do conjunto de dados completo (12 locais, 19 códigos) exigiria quase dois anos de trabalho em tempo integral. A abordagem humano-LLM tornou viável a incorporação de todos os 167 transcritos no refinamento da intervenção dentro de um prazo de nove meses.

Significância e Alegações
O artigo afirma demonstrar como os LLMs podem ser integrados à pesquisa aplicada de serviços de saúde para aumentar a eficiência, preservando o rigor metodológico. Os autores afirmam que seu framework fornece a orientação necessária para alavancar a generalidade dos LLMs em métodos específicos de tarefas formalizadas. As principais contribuições incluem:

• Orientação Metodológica: Uma abordagem estruturada para determinar onde os LLMs agregam valor (etapas organizacionais, analíticas de alto nível) versus onde o controle interpretativo humano é essencial (desenvolvimento de teoria, geração de insights finais).
• Colaboração Interdisciplinar: O estudo destaca a necessidade de colaboração entre pesquisadores qualitativos e de ciência da computação para desenvolver ferramentas personalizadas, seguras e transparentes que abordem gargalos analíticos específicos, uma vez que soluções prontas eram insuficientes.
• Aplicação no Mundo Real: O trabalho oferece evidências da utilidade dos LLMs na análise de conjuntos de dados grandes e heterogêneos, típicos da pesquisa aplicada em saúde, resultando em feedback oportuno para profissionais e no refinamento de uma intervenção de cuidado do diabetes para implementação futura.

Os autores permanecem modestos quanto às limitações, observando que os LLMs atuais carecem de capacidade de raciocínio de contexto longo em conjuntos de dados inteiros e que os pesquisadores humanos devem reter o controle interpretativo para garantir transparência e credibilidade. Eles sugerem que avanços futuros no raciocínio de contexto longo e na transferência de conhecimento de domínio podem melhorar ainda mais as capacidades dos LLMs neste domínio.