Evaluation of Large Language Models for Post-Cystectomy Sexual Health Counseling in Women: A Pilot Study

Resumo Técnico: Avaliação de Grandes Modelos de Linguagem para o Aconselhamento de Saúde Sexual Pós-Cistectomia em Mulheres

Definição do Problema
Mulheres com câncer de bexiga invasivo muscular (CBIM) enfrentam taxas de sobrevivência desproporcionalmente baixas e altas taxas de disfunção sexual após a cistectomia radical. Apesar da significância clínica desses problemas, o aconselhamento de saúde sexual é entregue de forma inconsistente, sendo que as pacientes do sexo feminino têm menor probabilidade do que os homens de receberem discussões iniciadas pelo profissional de saúde sobre função sexual e bem-estar psicossocial. Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais utilizados para a educação de pacientes, sua confiabilidade na geração de um aconselhamento empático, condizente com as diretrizes e legível para esta população específica e sensível, permanece subestudada. A literatura existente foca frequentemente na precisão clínica, mas negligencia a "lacuna de legibilidade", onde o conteúdo gerado por IA frequentemente excede os níveis de literacia em saúde da população geral, podendo exacerbar as disparidades. Além disso, limitações metodológicas em pesquisas anteriores de legibilidade — especificamente o tratamento de métricas de legibilidade correlacionadas como resultados independentes — correm o risco de inflar erros do Tipo I e obscurecer as reais diferenças entre os modelos.

Metodologia
O estudo avaliou três LLMs amplamente utilizados: ChatGPT, Gemini e Perplexity. O framework de avaliação envolveu os seguintes componentes:

• Geração de Dados: Os modelos foram submetidos a seis perguntas clínicas derivadas das diretrizes da American Urological Association (AUA) e da American Society of Clinical Oncology (ASCO) relativas ao cuidado pós-cistectomia. Os prompts foram entregues em dois formatos: longo (linguagem técnica/clínica) e curto (linguagem leiga). Para minimizar o efeito de carryover entre os prompts, as respostas foram geradas em sessões separadas de navegação anônima.
• Avaliação de Adesão: Dois revisores independentes pontuaram as 36 respostas geradas (6 perguntas × 3 modelos × 2 revisores) utilizando um checklist de 4 itens baseado em domínios de diretrizes: (1) aconselhamento sobre complicações e qualidade de vida, (2) discussão de opções cirúrgicas de preservação da função sexual, (3) cuidados de suporte e aconselhamento de saúde mental, e (4) modificações no estilo de vida. As pontuações foram convertidas em uma métrica de adesão proporcional (0–1).
• Análise Estatística (Adesão): Um modelo de efeitos mistos lineares foi empregado para prever a adesão às diretrizes em função do tipo de LLM, formato do prompt e revisor, com a questão clínica sendo tratada como um intercepto aleatório para contabilizar o agrupamento e a variância de dificuldade. Comparações pareadas post-hoc foram realizadas usando médias marginais estimadas (EMMs) com correção de Tukey-Kramer.
• Legibilidade e Análise de Dimensionalidade: Cinco índices padrão de legibilidade (Flesch Reading Ease, Flesch-Kincaid Grade, Automated Readability Index, SMOG e Coleman-Liau) foram calculados. Para abordar a multicolinearidade e identificar estruturas latentes, foram aplicados Análise de Componentes Principais (PCA) e agrupamento hierárquico aglomerativo.

Principais Contribuições

1. Benchmarking de Adesão às Diretrizes: O estudo fornece uma avaliação comparativa do ChatGPT, Gemini e Perplexity especificamente em relação à disfunção sexual feminina pós-cistectomia, um nicho frequentemente negligenciado em avaliações médicas de IA mais amplas.
2. Impacto da Engenharia de Prompt: Demonstra que o enquadramento do prompt (linguagem leiga vs. clínica) influencia significativamente a qualidade do output, desafiando a suposição de que prompts clínicos mais complexos geram melhor adesão às diretrizes.
3. Rigor Metodológico na Legibilidade: O artigo introduz um pipeline analítico psicometricamente fundamentado usando PCA e agrupamento hierárquico. Esta abordagem valida que as métricas de legibilidade padrão frequentemente medem um único constructo subjacente de complexidade linguística, apoiando o uso de métricas compostas ou primárias (como Flesch-Kincaid) em vez de tratá-las como variáveis independentes.
4. Avaliação de Sistema-Nível: O estudo conceitua os LLMs como "sistemas de informação" que transformam prompts clínicos em outputs de aconselhamento, enfatizando a necessidade de avaliar tanto a precisão da informação quanto a carga cognitiva (legibilidade) imposta à paciente.

Resultados

• Desempenho dos Modelos: O ChatGPT demonstrou a maior adesão às diretrizes clínicas (média marginal estimada [EMM] = 0,769), superando significativamente o Gemini (EMM = 0,499) e a Perplexity (EMM = 0,457). Não foi encontrada diferença significativa entre o Gemini e a Perplexity.
• Efeito do Prompt: Prompts de formato curto e linguagem leiga elicitaram uma adesão significativamente maior (EMM = 0,667) em comparação com prompts de formato longo e termos clínicos (EMM = 0,483).
• Legibilidade: Todos os modelos produziram conteúdo que excede os níveis recomendados de literacia em saúde. A Perplexity gerou o texto mais complexo (nível aproximado de Flesch-Kincaid Grade ~16), seguida pelo ChatGPT, com o Gemini produzindo o conteúdo de nível de graduação mais baixo (aprox. Grau 11). No entanto, mesmo os outputs "mais simples" permaneceram acima do nível de leitura recomendado de sexto ano.
• Dimensionalidade: O PCA revelou que um único componente dominante (PC1) explicava 76,7% da variância entre os cinco índices de legibilidade, confirmando que essas métricas refletem amplamente um constructo compartilhado de dificuldade textual.

Significância e Alegações
O artigo afirma que os LLMs funcionam como sistemas de informação médica variáveis cujos outputs dependem fortemente tanto da arquitetura específica do modelo quanto da estrutura do prompt de entrada. Os achados sugerem que, embora o ChatGPT ofereça atualmente a informação mais condizente com as diretrizes para este cenário clínico específico, a alta complexidade linguística permanece uma barreira universal à compreensão da paciente em todos os modelos testados.

Os autores enfatizam que o estudo caracteriza o estado atual da IA neste domínio como um onde "a alta complexidade linguística foi observada entre os modelos, destacando uma barreira à compreensão da paciente". Eles concluem que, embora os LLMs tenham potencial para suplementar o aconselhamento, sua implementação em contextos sensíveis, como a saúde sexual pós-cistectomia, requer supervisão cautelosa do clínico. O estudo não alega que os LLMs estejam prontos para uso clínico autônomo, mas sim que servem como ferramentas cuja confiabilidade varia significativamente conforme a seleção do modelo e o design do prompt. A pesquisa ressalta a necessidade de avaliar tanto o conteúdo (adesão às diretrizes) quanto a forma (legibilidade) da informação de saúde gerada por IA para evitar a amplificação das disparidades de saúde existentes.