Trust, Safety, and Accuracy: Assessing LLMs for Routine Maternity Advice

Título: Confiança, Segurança e Precisão: Avaliação de Modelos de Linguagem de Grande Escala (LLMs) para Conselhos Rotineiros de Maternidade

1. Problema e Contexto

A saúde materna na Índia enfrenta desafios significativos devido à infraestrutura de saúde desigual (especialmente entre áreas rurais e urbanas), estigma social, tabus culturais e hesitação das mulheres em discutir questões reprodutivas com profissionais de saúde. Com o aumento do acesso à internet (mais de 830 milhões de usuários), muitas mulheres estão recorrendo a plataformas digitais, como Modelos de Linguagem de Grande Escala (LLMs), para obter informações de saúde. No entanto, há preocupações críticas sobre a precisão médica, a sensibilidade cultural e a legibilidade dessas respostas, especialmente em um contexto onde mitos e desinformação sobre a gravidez são prevalentes. O estudo visa avaliar se os LLMs podem fornecer informações confiáveis, culturalmente sensíveis e compreensíveis para mulheres indianas, preenchendo lacunas de informação sem substituir o aconselhamento médico profissional.

2. Metodologia

Os autores adotaram uma metodologia estruturada em duas fases para comparar as respostas geradas por LLMs com as de especialistas médicos:

• Coleta de Dados:

  • Foram selecionadas 17 perguntas relacionadas à gravidez, cobrindo desde a gestação precoce até o cuidado pós-parto, incluindo mitos e equívocos comuns no contexto indiano.
  • Fase 1: As perguntas foram submetidas a três LLMs líderes: ChatGPT-4o, Perplexity AI e GeminiAI. Os modelos foram instruídos a atuar como especialistas experientes em obstetrícia e cuidados maternos locais.
  • Fase 2: Respostas correspondentes foram coletadas de quatro especialistas médicos (obstetras experientes) para servir como "verdade fundamental" (ground truth) para comparação.

• Avaliação Técnica:
  Três métricas principais foram utilizadas para analisar a qualidade das respostas:

  1. Avaliação de Legibilidade (Readability): Utilização de seis métricas linguísticas padronizadas para garantir que a linguagem fosse acessível a um público não especializado (mães com diversos níveis de escolaridade):
     • Flesch Reading Ease (FRE): Mede a facilidade de leitura (maior pontuação = melhor).
     • Flesch-Kincaid Grade Level (FKGL), Gunning Fog Index (GFI), SMOG Index, Dale-Chall Readability Score (DCRS) e Automated Readability Index (ARI): Estima o nível de escolaridade necessário para compreender o texto (menor pontuação = melhor acessibilidade).
  2. Similaridade Semântica (Cosine Similarity): Comparação vetorial entre as respostas dos LLMs e as dos médicos para medir o alinhamento de significado e conteúdo semântico.
  3. Sobreposição de Entidades Nominais (Jaccard Similarity): Medição da sobreposição de termos-chave (termos médicos, condições, referências anatômicas) entre as respostas dos LLMs e dos especialistas para avaliar a precisão conceitual.

3. Principais Contribuições

• Avaliação Contextualizada: O estudo é um dos primeiros a avaliar LLMs especificamente para o contexto sociocultural indiano, focando em mitos de gravidez e barreiras de comunicação.
• Abordagem Multidimensional: Combina métricas de legibilidade (focadas no usuário final) com métricas técnicas de similaridade semântica e de entidades (focadas na precisão médica).
• Benchmarking Comparativo: Estabelece uma base de comparação direta entre três modelos de IA líderes e especialistas humanos em um domínio de saúde sensível.

4. Resultados Chave

• Legibilidade:

  • O ChatGPT-4o obteve o melhor desempenho geral em legibilidade.
  • FRE: ChatGPT atingiu a pontuação mais alta (64.63), indicando que seu texto é o mais fácil de ler (nível de ensino médio).
  • Níveis de Escolaridade (FKGL, GFI, etc.): ChatGPT apresentou as pontuações mais baixas (ex: FKGL = 7.53), sugerindo que suas respostas são adequadas para leitores do 7º ao 8º ano, tornando-as acessíveis a um público mais amplo.
  • O Perplexity AI apresentou textos mais complexos, com frases mais longas e vocabulário mais sofisticado, resultando em níveis de leitura mais altos (ex: FKGL = 9.67). O Gemini ocupou uma posição intermediária.

• Similaridade Semântica (Cosine Similarity):

  • O Perplexity AI alcançou a maior similaridade semântica média com as respostas dos médicos (0.206), indicando um alinhamento forte no significado geral do conteúdo.
  • O ChatGPT e o Perplexity tiveram desempenho muito próximo em algumas comparações específicas (ex: D2), mas o Perplexity liderou na média geral.
  • Todos os modelos tiveram uma queda significativa na similaridade com a resposta do médico D4, sugerindo desafios na replicação de certos estilos ou nuances específicas.

• Sobreposição de Entidades (Jaccard Similarity):

  • O ChatGPT demonstrou o melhor alinhamento contextual na captura de entidades nominais (termos médicos e conceitos), com pontuações de Jaccard variando entre 0.172 e 0.216.
  • O Perplexity foi consistente nos médicos D1, D2 e D3, mas todos os modelos lutaram para encontrar sobreposição de entidades com a resposta D4.

5. Significado e Conclusão

O estudo conclui que os LLMs, particularmente o ChatGPT e o Perplexity AI, têm potencial significativo como ferramentas de apoio para a comunicação em saúde materna na Índia.

• ChatGPT destaca-se por gerar respostas mais legíveis e clinicamente coerentes, essenciais para garantir que mulheres de diferentes níveis educacionais compreendam as orientações.
• Perplexity AI demonstra forte alinhamento semântico com o conhecimento médico especializado.
• Implicações: A integração dessas ferramentas pode ajudar a combater mitos, reduzir o estigma e melhorar a literacia digital em saúde em comunidades carentes.
• Limitações e Futuro: Embora promissores, os autores alertam que a legibilidade ainda pode ser uma barreira para algumas populações rurais. Recomenda-se futuros trabalhos para incluir mais domínios médicos, ajustar os modelos para diretrizes de saúde locais e realizar validações no mundo real para garantir o uso responsável da IA na saúde materna.