Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges

Resumen Técnico: Construcción de Conjuntos de Datos Multilingües para la Predicción de la Gravedad de la Salud Mental mediante LLMs

1. El Problema

A pesar del creciente uso de Modelos de Lenguaje de Gran Escala (LLMs) en el ámbito médico, existe una brecha significativa en la investigación sobre su eficacia en aplicaciones de salud mental que no sean en inglés. La mayoría de los estudios actuales se centran en el idioma inglés, lo que limita la capacidad de estas herramientas para servir a poblaciones diversas. Además, el diagnóstico de salud mental es complejo debido a los matices lingüísticos y culturales, y los métodos tradicionales (entrevistas clínicas, cuestionarios manuales) son lentos y demandan mucho personal.

2. Metodología

Los autores proponen un marco de trabajo para evaluar la capacidad de los LLMs para detectar y clasificar la gravedad de condiciones de salud mental en múltiples idiomas utilizando contenido generado por usuarios (redes sociales). La metodología sigue estos pasos:

1. Traducción Automática: Utilizan un LLM para traducir conjuntos de datos de salud mental existentes en inglés hacia seis idiomas adicionales: griego, turco, francés, portugués, alemán y finlandés.
2. Conjuntos de Datos de Referencia: Se emplearon dos datasets clave:
   • DEP-SEVERITY: Clasifica la depresión en cuatro niveles (mínima, leve, moderada y severa).
   • C-SSRS: Evalúa la ideación y el comportamiento suicida en cinco categorías (de apoyo, indicador, ideación, comportamiento e intento).
3. Modelos Evaluados: Se realizaron experimentos con GPT-3.5-turbo, GPT-4o-mini y Llama 3.1, utilizando técnicas de 0-shot (sin ejemplos) y 1-shot (con un ejemplo por clase) mediante prompting.
4. Evaluación: Se midieron métricas de precisión (Pr), exhaustividad (Rec) y F1-score para comparar las predicciones de los modelos con las etiquetas reales (ground truth).

3. Contribuciones Clave

• Creación de un nuevo dataset multilingüe: Un conjunto de datos derivado de redes sociales, traducido automáticamente, que cubre siete idiomas (incluyendo el inglés).
• Evaluación exhaustiva: Un estudio comparativo del rendimiento de los LLMs en la predicción de la gravedad de la salud mental a través de diferentes familias lingüísticas.
• Análisis de errores y de costos: Una investigación sobre cómo las sutilezas lingüísticas afectan la precisión y una demostración de que este método es altamente rentable en comparación con el entrenamiento de modelos desde cero.

4. Resultados Principales

• Variabilidad Lingüística: El rendimiento de los modelos no es uniforme. Se observó una inconsistencia notable entre idiomas; por ejemplo, el rendimiento disminuyó en turco (debido a la escasez de recursos médicos digitales en ese idioma) pero mejoró en francés y alemán.
• Superioridad de Modelos Avanzados: GPT-4o-mini demostró ser mucho más estable y consistente en sus predicciones que GPT-3.5.
• Efecto de la Traducción: El experimento de "retro-traducción" (traducir de inglés a un idioma objetivo y luego de vuelta al inglés) mostró que traducir el contenido antes de la predicción puede, en algunos casos, mejorar el rendimiento del modelo.
• Dificultad de Clasificación: Las tareas de clasificación multiclase resultaron ser significativamente más difíciles para los LLMs que las tareas binarias, especialmente en la distinción entre niveles de ideación suicida.

5. Significado e Implicaciones

El estudio subraya una advertencia crítica: los LLMs no deben utilizarse de forma autónoma para diagnósticos médicos. Debido a la variabilidad en su precisión y al riesgo de diagnósticos erróneos causados por matices culturales o lingüísticos mal interpretados, estos modelos deben considerarse únicamente como herramientas de apoyo para profesionales de la salud.

Sin embargo, el trabajo tiene un potencial enorme para la democratización de la salud mental digital, ya que ofrece un método de bajo costo para adaptar herramientas de detección a idiomas con pocos recursos, permitiendo una intervención temprana y más inclusiva a escala global.