Resumen Técnico: ¿Somático en el Este, Psicológico en el Oeste?

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) se están implementando cada vez más en aplicaciones de salud mental, incluyendo el cribado, el apoyo conversacional y la asistencia en la toma de decisiones clínicas. Sin embargo, la psicología clínica ha establecido desde hace tiempo que la depresión se manifiesta de manera diferente entre las culturas: las poblaciones occidentales suelen enfatizar los síntomas psicológicos (p. ej., tristeza, pérdida de interés), mientras que muchas poblaciones del este de Asia reportan más síntomas somáticos (p. ej., fatiga, dolor físico). Estas diferencias se atribuyen a las normas culturalmente moldeadas de la expresión emocional y al estigma.

El problema central abordado por este estudio es si los LLM de propósito general reproducen estos patrones transculturales clínicamente establecidos. Si los LLM reflejan desproporcionadamente las perspectivas culturales dominantes (occidentales) o no logran capturar las variaciones culturales matizadas en el reporte de síntomas, los sistemas construidos sobre ellos podrían malinterpretar los síntomas o pasar por alto expresiones de la depresión culturalmente específicas, lo que podría conducir a intervenciones de salud mental insegres o ineficaces.

Metodología

Los autores introducen un marco de evaluación clínicamente fundamentado para probar dos hipótesis:

• H1: Los LLM seleccionarán síntomas psicológicos con más frecuencia para las personas (personas) culturales occidentales y síntomas somáticos con más frecuencia para las personas culturales orientales.
• H2: Los prompts escritos en el idioma local de un país aumentarán la alineación cultural en la selección de síntomas en comparación con los prompts en inglés.

Diseño Experimental:

• Modelos: Se evaluaron seis LLM: Llama-3.1-8B-it, Gemma-7B-it, Qwen-2.5-7B-it, DeepSeek-R1-Distill-Qwen-7B, GPT-4o y MentaLLaMA-chat-7B (un modelo de salud mental ajustado).
• Personas (Personas): Las personas culturales se operacionalizaron a nivel de país. Los grupos occidentales incluyeron a estadounidenses, canadienses y australianos; los grupos orientales incluyeron a japoneses, chinos e indios.
• Tarea: Se instó a los modelos a seleccionar síntomas de depresión de una lista predefinida de 14 síntomas basados en el DSM-5 (categorizados como somáticos o psicológicos). La tarea se ejecutó bajo tres condiciones: seleccionando 1, 3 o 5 síntomas por iteración.
• Variaciones de Prompt:
  • Idioma: Prompts en Inglés (ENG-P) vs. Prompts en Idioma Local (LOC-P) (japonés, chino, hindi).
  • Tipo de Instrucción: Prompt de Cultura Implícita (ICP) que proporciona un contexto general vs. Prompt de Cultura Explícita (ECP) que instruye directamente al modelo a considerar el trasfondo cultural.
• Métricas:
  • Alineación Cultural ($\Delta A_x$): Definida como la diferencia en la probabilidad de seleccionar síntomas somáticos entre las personas orientales y occidentales ($P(somático | P_{Oriental}) - P(somático | P_{Occidental})$). Un valor positivo indica alineación con los hallazgos clínicos.
  • Sensibilidad de la Persona: Medida mediante la similitud de coseno entre las distribuciones de selección de síntomas para las personas occidentales y orientales. Una menor similitud indica una mayor sensibilidad.
  • Determinismo: Evaluado mediante coeficientes de Gini para medir la concentración de la selección de síntomas.

Resultados Clave

1. Fracaso en la Reproducción de Patrones Clínicos (H1)
Bajo prompts en inglés (ENG-P), la mayoría de los LLM no reprodujeron los patrones culturales esperados. De los 30 escenarios probados (5 modelos × 3 condiciones de elección × 2 tipos de prompt), solo tres configuraciones mostraron patrones consistentes con los hallazgos clínicos.

• La mayoría de los modelos exhibieron valores absolutos pequeños de alineación cultural ($\Delta A_x$), particularmente en las condiciones de elección múltiple (3 y 5 elecciones), donde las diferencias fueron marginales (0.03–0.05).
• Los modelos mostraron jerarquías de preferencia de síntomas fuertemente invariantes a la cultura. Por ejemplo, "Disminución de la energía/fatiga" (somático) y "Estado de ánimo deprimido" (psicológico) fueron consistentemente los síntomas más seleccionados independientemente de la persona cultural, a menudo superando las claves culturales.
• MentaLLaMA, el modelo específico de salud mental, no pudo generar salidas válidas debido a las restricciones de alineación de seguridad.

2. Impacto Limitado de los Idiomas Locales (H2)
El uso de prompts en idiomas locales (LOC-P) mejoró la alineación en algunas configuraciones, pero no apoyó universalmente la H2.

• 15 de los 30 escenarios mostraron un aumento en la alineación bajo LOC-P.
• DeepSeek mostró un aumento estadísticamente significativo en la alineación con prompts en el idioma local, mientras que GPT mostró una disminución en la alineación.
• El análisis estadístico (pruebas t de muestras pareadas) indicó que, si bien la alineación aumentó ligeramente en general, el resultado no fue estadísticamente significativo ($p=0.90$). La efectividad de las claves lingüísticas dependió en gran medida del modelo específico, la condición de elección y el tipo de prompt.

3. Baja Sensibilidad de la Persona y Determinismo

• Sensibilidad: Los modelos exhibieron una baja sensibilidad a las personas culturales bajo ENG-P, con valores de similitud de coseno entre las distribuciones occidentales y orientales que oscilaron entre 0.77 y 1.00. Esto sugiere que las tendencias internas del modelo anulan las instrucciones culturales.
• Determinismo: Modelos como Gemma, Qwen y DeepSeek mostraron coeficientes de Gini altos, lo que indica que seleccionaron repetidamente un conjunto limitado de síntomas. Este determinismo a menudo llevó a la subrepresentación de síntomas específicos (p. ej., ideas suicidas, que rara vez fueron seleccionadas, probablemente debido a los filtros de seguridad).

4. Jerarquía de Síntomas
En todas las condiciones, los modelos favorecieron una jerarquía específica de síntomas (p. ej., fatiga, estado de ánimo deprimido, pérdida de interés) que parecía reflejar la frecuencia de estos síntomas en los datos de entrenamiento en lugar de la matiz cultural. Esta jerarquía a menudo superaba la influencia de las personas culturales.

Significado y Reivindicaciones

Los autores afirman que este es el primer estudio que examina si los LLM de propósito general reproducen los patrones transculturales de los síntomas de la depresión clínicamente establecidos. La significancia del trabajo radica en la identificación de limitaciones críticas en los LLM actuales para aplicaciones de salud mental:

1. Insuficiencia de los Datos de Entrenamiento General: Los modelos de propósito general entrenados en corpora de la web carecen del conocimiento fundacional para replicar el razonamiento culturalmente sensible y clínicamente fundamentado.
2. Limitaciones de los Marcos de Evaluación Actuales: El estudio sugiere que confiar únicamente en benchmarks sociológicos amplios (como el World Values Survey) puede no capturar las variaciones específicas del dominio en salud mental.
3. Riesgo de Desalineación: Los hallazgos resaltan que los LLM actuales son poco propensos a realizar las distinciones culturales necesarias cuando las identidades culturales se introducen únicamente a través de personas basadas en prompts. Esto plantea un riesgo para las herramientas de diagnóstico o chatbots impulsados por IA que podrían malinterpretar los síntomas para usuarios de diferentes trasfondos culturales.
4. Necesidad de un Razonamiento Cultural Robusto: El artículo concluye que se necesitan enfoques más robustos para incorporar el conocimiento clínico culturalmente sensible en el desarrollo de LLM, ya que los modelos actuales están dominados por jerarquías de síntomas invariantes a la cultura que anulan las claves culturales.

Los autores mantienen una postura modesta, reconociendo que su categorización binaria Este-Oeste es una simplificación y que el estudio sirve como un benchmark fundacional más que como una solución integral al sesgo cultural en la IA de salud mental.