SynSym: A Synthetic Data Generation Framework for Psychiatric Symptom Identification

Resumen Técnico: SynSym

1. El Problema

La identificación de síntomas psiquiátricos en redes sociales es crucial para la detección temprana y la intervención personalizada en salud mental. Sin embargo, el desarrollo de modelos robustos para esta tarea enfrenta barreras significativas:

• Escasez de Datos: La construcción de conjuntos de datos a gran escala a nivel de síntomas es difícil debido al alto costo de la anotación por expertos y la falta de guías estandarizadas.
• Calidad y Fiabilidad de las Etiquetas: Muchos conjuntos de datos existentes dependen de anotaciones realizadas por no expertos (crowdsourcing), lo que genera baja concordancia inter-anotador y validez clínica cuestionable.
• Falta de Generalización: Los datos disponibles suelen provenir de una sola plataforma (ej. Twitter o Reddit) y reflejan un estilo lingüístico específico (ya sea clínico o coloquial), lo que limita la capacidad de los modelos para generalizar a nuevas plataformas o estilos de expresión.
• Desbalance de Clases: Los síntomas raros tienen muy pocas instancias (a veces menos de 100), lo que dificulta el aprendizaje de la diversidad de expresiones.

2. Metodología: El Marco SynSym

Los autores proponen SynSym, un marco de generación de datos sintéticos basado en Modelos de Lenguaje Grande (LLM) diseñado para crear conjuntos de datos generalizables y de alta calidad para la identificación de síntomas. El marco opera en cuatro etapas clave:

1. Expansión de Conceptos de Síntomas:

   • En lugar de usar solo etiquetas de alto nivel (ej. "Ideación Suicida"), el sistema utiliza un LLM para expandir cada síntoma en múltiples sub-conceptos granulares y concretos.
   • Esto se basa en criterios clínicos (DSM-5) para capturar diversas manifestaciones reales del síntoma, aumentando la diversidad de entrada para la generación.

2. Generación de Expresiones de Síntoma Único (Estilo Dual):

   • Se generan expresiones sintéticas en dos estilos lingüísticos distintos para cubrir la variabilidad observada en el mundo real:
     • Estilo Clínico: Declaraciones formales y objetivas que utilizan terminología médica (simulando documentación diagnóstica).
     • Estilo Coloquial: Descripciones informales en primera persona, típicas de las redes sociales.
   • Motivación: Los LLMs tienden a evitar términos clínicos explícitos o sensibles (como "autolesión") si no se les instruye específicamente. Esta etapa fuerza la generación de lenguaje clínico directo para asegurar la cobertura de indicadores críticos.

3. Generación de Expresiones de Múltiples Síntomas:

   • Simula la co-ocurrencia realista de síntomas dentro de una sola publicación.
   • Utiliza conocimiento clínico sobre patrones de comorbilidad (basado en literatura médica) para guiar al LLM en la creación de combinaciones de síntomas plausibles (ej. "Ideación Suicida" + "Sentimiento de inutilidad"), evitando combinaciones arbitrarias que generarían correlaciones espurias.

4. Evaluación y Control de Calidad:

   • Un LLM valida las expresiones generadas para asegurar que se alineen semánticamente con las etiquetas de síntomas objetivo. Las expresiones con baja puntuación de alineación se descartan.
   • Además, se realizó una validación por expertos (dos psiquiatras certificados) que confirmaron la validez clínica de los sub-conceptos y las expresiones sintéticas.

3. Contribuciones Clave

• Primer Marco de su Tipo: SynSym es el primer marco que utiliza LLMs para generar datos sintéticos específicamente para la identificación de síntomas psiquiátricos (en lugar de solo clasificación binaria de trastornos).
• Generalización de Estilos: Al generar datos en estilos clínicos y coloquiales, y basándose en combinaciones clínicamente fundamentadas, el marco supera las limitaciones de los datos reales que suelen estar sesgados hacia una sola plataforma.
• Escalabilidad y Eficiencia: Permite generar miles de muestras de entrenamiento de alta calidad con un esfuerzo manual mínimo, resolviendo el problema de la escasez de datos etiquetados por expertos.
• Recursos Abiertos: El conjunto de datos sintético y el código están disponibles públicamente.

4. Resultados Experimentales

Los autores evaluaron SynSym en tres conjuntos de datos de referencia (benchmarks) para síntomas depresivos: PsySym (Reddit, estilo clínico), PRIMATE (Reddit, narrativo largo) y D2S (Twitter, metafórico/corto).

• Rendimiento con Datos Sintéticos Puros: Los modelos entrenados exclusivamente con datos generados por SynSym lograron un rendimiento comparable a los modelos entrenados con datos reales en todos los conjuntos de datos.
• Mejora con Fine-Tuning Híbrido: Los modelos que se entrenaron primero con datos sintéticos y luego se ajustaron finamente (fine-tuning) con una pequeña cantidad de datos reales (SynSym with Real) superaron consistentemente a todos los baselines (incluyendo BERT, DeBERTa, MentalBERT y enfoques Zero-shot de GPT-4o) en la mayoría de las métricas (F1 Macro y Recall).
• Generalización Cruzada: Los modelos entrenados con SynSym mostraron una capacidad de transferencia superior entre diferentes conjuntos de datos (entrenar en SynSym y probar en D2S/PRIMATE) en comparación con modelos entrenados en datos reales de una sola fuente, que sufrieron de una generalización pobre.
• Extensibilidad: El marco demostró ser efectivo más allá de la depresión, mostrando buenos resultados en la identificación de síntomas de TEPT, Trastornos Alimentarios y TDAH, donde los datos reales son extremadamente escasos.
• Comparación con Back-Translation: A diferencia de la traducción inversa (una técnica común de aumento de datos), que degradó el rendimiento en algunos conjuntos de datos debido al ruido y la distorsión de metáforas, SynSym mejoró el rendimiento al proporcionar expresiones clínicamente fundamentadas y diversas.

5. Significado e Impacto

• Alternativa a la Anotación Real: SynSym demuestra que los datos sintéticos de alta calidad pueden servir como un recurso viable y efectivo para modelar síntomas psiquiátricos, reduciendo la dependencia de costosos procesos de anotación humana.
• Robustez Clínica: Al integrar conocimiento clínico en la generación (comorbilidades y sub-conceptos), el marco asegura que los datos sintéticos no solo sean lingüísticamente variados, sino también médicamente relevantes.
• Implicaciones Éticas: El estudio aborda cuidadosamente los riesgos éticos, diseñando prompts para generar contenido sensible (como ideación suicida) de manera clínica y descriptiva, evitando lenguaje que romanticice o incite al daño, mientras se mantiene la utilidad para la detección de riesgos.

En conclusión, SynSym representa un avance significativo en el Procesamiento del Lenguaje Natural (NLP) clínico, proporcionando una solución escalable para la escasez de datos que frena el desarrollo de herramientas de salud mental basadas en IA.