Leveraging LLMs for Translating and Classifying Mental Health Data

Resumen Técnico: Aprovechamiento de los LLM para la traducción y clasificación de datos de salud mental

Planteamiento del problema
Si bien los Modelos de Lenguaje Extensos (LLM) ofrecen potencial para la identificación temprana de condiciones de salud mental a través de marcadores lingüísticos en textos generados por usuarios, su aplicación sigue estando fuertemente sesgada hacia conjuntos de datos en el idioma inglés. Existe una brecha significativa en la investigación con respecto al rendimiento de estos modelos en lenguas de bajos recursos y contextos no ingleses. Además, la eficacia del uso de LLM para traducir automáticamente datos de salud mental del inglés a otro idioma y, posteriormente, clasificarlos, sigue sin explorarse suficientemente. Este estudio aborda estas brechas investigando si un LLM puede predecir con precisión la gravedad de la depresión en publicaciones en inglés y si este rendimiento se mantiene cuando las publicaciones se traducen automáticamente al griego, un idioma que carece de recursos específicos para esta tarea.

Metodología
Los autores proponen un flujo de trabajo que utiliza un LLM multilingüe de última generación (GPT-3.5-turbo) tanto para las tareas de traducción como de clasificación.

• Conjunto de datos: El estudio utiliza el conjunto de datos DEPSEVERITY (Naseem et al., 2022), que comprende 3,553 publicaciones de Reddit etiquetadas con cuatro niveles de gravedad de la depresión: Mínima, Leve, Moderada y Severa. Se señala que el conjunto de datos está altamente desbalanceado, con la mayoría de las publicaciones clasificadas en la categoría "Mínima".
• Procedimiento:
  1. Línea base (Inglés): Se le solicita al LLM que clasifique las publicaciones originales en inglés en los cuatro niveles de gravedad utilizando aprendizaje de cero disparos (0-shot learning).
  2. Traducción: El mismo LLM traduce las publicaciones en inglés al griego.
  3. Clasificación de destino (Griego): Los textos traducidos al griego se introducen nuevamente en el LLM con una instrucción para predecir los niveles de gravedad.
  4. Evaluación: El rendimiento se mide utilizando Precisión, Sensibilidad (Recall) y puntuaciones F1, comparando las clases predichas con las etiquetas de verdad fundamental (ground truth) en ambos idiomas. El parámetro de temperatura se estableció en 0 para garantizar la reproducibilidad.
• Estrategia de Prompting: Antes de los experimentos principales, los autores realizaron un prompting preliminar para comprender la lógica interna del LLM. El modelo identificó patrones como emociones negativas persistentes, autocrítica y cambios de comportamiento, adaptando los niveles de gravedad para ajustarse a los contextos de las redes sociales (por ejemplo, definiendo "Severo" como publicaciones que indican riesgo de autolesión o aislamiento social completo).

Resultados Clave
Los resultados experimentales indican que el LLM tiene dificultades para distinguir con precisión entre niveles específicos de la gravedad de la depresión en ambos idiomas, aunque el rendimiento varía según la clase y el idioma.

• Rendimiento en Inglés: El modelo alcanzó su puntuación F1 más alta para la clase "Mínima" (0.25) y la clase "Severa" (0.22). La puntuación F1 macro general fue baja, situándose en 0.17. Los autores atribuyen esta dificultad a las sutiles distinciones entre los niveles de gravedad en las publicaciones de los usuarios en comparación con otras condiciones.
• Rendimiento en Griego: Tras la traducción, el rendimiento decayó generalmente en la mayoría de las clases.
  • La clase "Leve" experimentó una ligera caída (F1: 0.07 en inglés vs. 0.06 en griego).
  • La clase "Mínima" cayó significativamente (F1: 0.25 en inglés vs. 0.14 en griego).
  • La clase "Severa" también descendió (F1: 0.22 en inglés vs. 0.20 en griego).
  • Notablemente, la clase "Moderada" mostró una mejora en la puntuación F1 (0.17 en inglés vs. 0.23 en griego).
• Análisis de Errores: Los autores analizaron casos específicos donde el LLM clasificó erróneamente síntomas de ansiedad o pánico como depresión. Por ejemplo, una publicación que describía pánico y ansiedad fue clasificada como "Severa" por el LLM, mientras que la verdad fundamental era "Mínima". Los autores sugieren que el LLM puede confundir la angustia general (pánico/ansiedad) con la gravedad de la depresión, un matiz que las etiquetas de verdad fundamental sí distinguían.
• Costo: Los experimentos se realizaron con un costo total de API de menos de $30, lo que demuestra que tales evaluaciones pueden realizarse sin una infraestructura de GPU costosa o un ajuste fino (fine-tuning).

Significancia y Reivindicaciones
El artículo sostiene que, si bien los LLM muestran potencial, aún no son lo suficientemente fiables para determinar por sí solos la gravedad de la depresión, particularmente cuando se depende de la traducción automática para lenguas de bajos recursos como el griego.

• Limitaciones de la Automatización: El estudio subraya que el rendimiento de los LLM varía significativamente entre idiomas y clases de gravedad. Los autores enfatizan que los resultados actuales son insuficientes para un diagnóstico directo del paciente.
• Rol de la Supervisión Humana: En consonancia con los hallazgos de Stade et al. (2024), los autores afirman que el diagnóstico de salud mental nunca debe dejarse enteramente a sistemas automáticos. La supervisión humana sigue siendo crucial para evitar diagnósticos erróneos.
• Utilidad Potencial: En lugar de reemplazar a los clínicos, los autores sugieren que este enfoque podría ser valioso para la formación de profesionales de la salud mental, particularmente en regiones donde los recursos son escasos y no se habla inglés.
• Necesidades Futuras: El trabajo destaca la necesidad de mayor investigación en enfoques cultural y lingüísticamente sensibles, una mejor recopilación de datos para lenguas de bajos recursos y el desarrollo de técnicas de transferencia de aprendizaje más robustas para manejar los matices de la terminología de salud mental a través de diferentes culturas.