Resumo Técnico: Somático no Oriente, Psicológico no Ocidente?

Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados em aplicações de saúde mental, incluindo triagem, suporte conversacional e assistência à decisão clínica. No entanto, a psicologia clínica estabeleceu há muito tempo que a depressão se manifesta de forma diferente entre as culturas: populações ocidentais tipicamente enfatizam sintomas psicológicos (ex: tristeza, perda de interesse), enquanto muitas populações do leste asiático relatam mais sintomas somáticos (ex: fadiga, dor física). Essas diferenças são atribuídas a normas culturalmente moldadas de expressão emocional e estigma.

O problema central abordado por este estudo é se os LLMs de uso geral reproduzem esses padrões transculturais clinicamente estabelecidos. Se os LLMs refletirem desproporcionalmente as perspectivas culturais dominantes (ocidentais) ou falharem em capturar variações culturais matizadas na notificação de sintomas, sistemas construídos sobre eles podem interpretar erroneamente os sintomas ou negligenciar expressões culturalmente específicas de depressão, o que pode levar a intervenções de saúde mental inseguras ou ineficazes.

Metodologia

Os autores introduzem um framework de avaliação clinicamente fundamentado para testar duas hipóteses:

• H1: Os LLMs selecionarão sintomas psicológicos com mais frequência para personas culturais ocidentais e sintomas somáticos com mais frequência para personas orientais.
• H2: Prompts escritos na língua local de um país aumentarão o alinhamento cultural na seleção de sintomas em comparação com prompts em inglês.

Design Experimental:

• Modelos: Seis LLMs foram avaliados: Llama-3.1-8B-it, Gemma-7B-it, Qwen-2.5-7B-it, DeepSeek-R1-Distill-Qwen-7B, GPT-4o e MentaLLaMA-chat-7B (um modelo de saúde mental ajustado/fine-tuned).
• Personas: As personas culturais foram operacionalizadas ao nível do país. Grupos ocidentais incluíram americanos, canadenses e australianos; grupos orientais incluíram japoneses, chineses e indianos.
• Tarefa: Os modelos foram instigados a selecionar sintomas de depressão de uma lista predefinida de 14 sintomas baseados no DSM-5 (categorizados como somáticos ou psicológicos). A tarefa foi executada sob três condições: selecionando 1, 3 ou 5 sintomas por iteração.
• Variações de Prompt:
  • Idioma: Prompts em Inglês (ENG-P) vs. Prompts em Língua Local (LOC-P) (japonês, chinês, hindi).
  • Tipo de Instrução: Prompt de Cultura Implícita (ICP) fornecendo contexto geral vs. Prompt de Cultura Explícita (ECP) instruindo diretamente o modelo a considerar o contexto cultural.
• Métricas:
  • Alinhamento Cultural ($\Delta A_x$): Definido como a diferença na probabilidade de seleção de sintomas somáticos entre personas orientais e ocidentais ($P(somatic | P_{Eastern}) - P(somatic | P_{Western})$). Um valor positivo indica alinhamento com os achados clínicos.
  • Sensibilidade da Persona: Medida via similaridade de cosseno entre as distribuições de seleção de sintomas para personas ocidentais e orientais. Uma similaridade menor indica maior sensibilidade a pistas culturais.
  • Determinismo: Avaliado usando coeficientes de Gini para medir a concentração da seleção de sintomas.

Resultados Principais

1. Falha em Reproduzir Padrões Clínicos (H1)
Sob prompts em inglês (ENG-P), a maioria dos LLMs falhou em reproduzir os padrões culturais esperados. De 30 configurações testadas (5 modelos × 3 condições de escolha × 2 tipos de prompt), apenas três configurações mostraram padrões consistentes com os achados clínicos.

• A maioria dos modelos exibiu valores absolutos pequenos de alinhamento cultural ($\Delta A_x$), particularmente em condições de múltipla escolha (3 e 5 escolhas), onde as diferenças foram marginais (0,03–0,05).
• Os modelos exibiram hierarquias de preferência de sintomas fortemente invariantes à cultura. Por exemplo, "Diminuição de energia/fadiga" (somático) e "Humor deprimido" (psicológico) foram consistentemente os sintomas mais selecionados, independentemente da persona cultural, frequentemente sobrepondo-se às pistas culturais.
• O MentaLLaMA, o modelo específico de saúde mental, não conseguiu gerar saídas válidas devido a restrições de alinhamento de segurança.

2. Impacto Limitado de Línguas Locais (H2)
O uso de prompts em línguas locais (LOC-P) melhorou o alinhamento em algumas configurações, mas não apoiou universalmente a H2.

• 15 de 30 configurações mostraram um aumento no alinhamento sob LOC-P.
• O DeepSeek mostrou um aumento estatisticamente significativo no alinhamento com prompts de língua local, enquanto o GPT mostrou uma diminuição no alinhamento.
• A análise estatística (testes t pareados) indicou que, embora o alinhamento tenha aumentado ligeiramente no geral, o resultado não foi estatisticamente significativo ($p=0,90$). A eficácia das pistas linguísticas dependeu fortemente do modelo específico, da condição de escolha e do tipo de prompt.

3. Baixa Sensibilidade de Persona e Determinismo

• Sensibilidade: Os modelos exibiram baixa sensibilidade a personas culturais sob ENG-P, com valores de similaridade de cosseno entre as distribuições ocidentais e orientais variando de 0,77 a 1,00. Isso sugere que as tendências internas do modelo sobrepõem-se às instruções culturais.
• Determinismo: Modelos como Gemma, Qwen e DeepSeek mostraram coeficientes de Gini elevados, indicando que selecionavam repetidamente um conjunto limitado de sintomas. Esse determinismo frequentemente levou à sub-representação de sintomas específicos (ex: ideias suicidas eram raramente selecionadas, provavelmente devido a filtros de segurança).

4. Hierarquia de Sintomas
Em todas as condições, os modelos favoreceram uma hierarquia específica de sintomas (ex: fadiga, humor deprimido, perda de interesse) que parecia refletir a frequência desses sintomas nos dados de treinamento, em vez de nuances culturais. Essa hierarquia frequentemente suplantava a influência das personas culturais.

Significância e Alegações

Os autores afirmam que este é o primeiro estudo a examinar se os LLMs de uso geral reproduzem padrões transculturais clinicamente estabelecidos de sintomas de depressão. A significância do trabalho reside na identificação de limitações críticas nos atuais LLMs para aplicações de saúde mental:

1. Insuficiência dos Dados de Treinamento Geral: Modelos de uso geral treinados em corpora da web carecem do conhecimento fundamental para replicar o raciocínio culturalmente sensível e clinicamente fundamentado.
2. Limitações dos Frameworks de Avaliação Atuais: O estudo sugere que confiar apenas em benchmarks sociológicos amplos (como o World Values Survey) pode não capturar variações específicas do domínio de saúde mental.
3. Risco de Desalinhamento: Os achados destacam que os atuais LLMs dificilmente farão as distinções culturais necessárias quando as identidades culturais são introduzidas apenas através de personas baseadas em prompts. Isso representa um risco para ferramentas diagnósticas ou chatbots baseados em IA que possam interpretar erroneamente os sintomas para usuários de diferentes contextos culturais.
4. Necessidade de Raciocínio Cultural Robusto: O artigo conclui que abordagens robustas são necessárias para incorporar o conhecimento clínico culturalmente sensível no desenvolvimento de LLMs, uma vez que os modelos atuais são dominados por hierarquias de sintomas invariantes à cultura que anulam as pistas culturais.

Os autores mantêm uma postura modesta, reconhecendo que sua categorização binária Leste-Oeste é uma simplificação e que o estudo serve como um benchmark fundamental, em vez de uma solução abrangente para o viés cultural na IA de saúde mental.