psytechlab at CLPsych 2026: Utilising Natural Language Processing methods and Large Language Models for Social Media Text Analysis

Resumen Técnico: Psytechlab en CLPsych 2026

Planteamiento del Problema
El artículo aborda el desafío de analizar textos de redes sociales para comprender los estados de salud mental y el bienestar del usuario. Si bien las redes sociales ofrecen una rica fuente de datos para identificar patrones relacionados con la depresión, la ansiedad y otros trastornos, los enfoques existentes enfrentan limitaciones significativas: la dependencia de etiquetas auto-declaradas potencialmente ruidosas, la dificultad de obtener datos anotados clínicamente fiables y la tendencia a asignar etiquetas estáticas a estados mentales inherentemente dinámicos. Para abordar estos problemas, los autores participaron en la Tarea Compartida CLPsych 2026, que utilizó un conjunto de datos anotado profesionalmente utilizando el marco MIND. Este marco modela la experiencia humana como una serie de auto-estados en continua evolución. El equipo tuvo la tarea de resolver tres desafíos específicos:

1. Tarea 1: Predecir los subelementos dominantes de ABCD (Afecto, Comportamiento, Cognición, Deseo) Adaptativos y Maladaptativos y estimar el valor de presencia (escala de 1 a 5) de los auto-estados en las publicaciones.
2. Tarea 2: Identificar eventos de "Cambio" (cambios repentinos en el bienestar) y "Escalada" (intensificación gradual) dentro de secuencias cronológicas de publicaciones.
3. Tarea 3: Generar resúmenes a nivel de línea de tiempo de la dinámica de los auto-estados (Tarea 3.1) e identificar patrones recurrentes de deterioro o mejora (Tarea 3.2).

Metodología
El equipo de Psytechlab empleó un enfoque híbrido que combina tuberías (pipelines) tradicionales de PLN, aprendizaje supervisado y Modelos de Lenguaje de Gran Escala (LLMs).

• Tarea 1 (Predicción de ABCD y Estimación de Presencia):

  • Enfoque de Tubería (Envío 1): El equipo dividió las publicaciones en oraciones y las clasificó en subelementos o en una clase "irrelevante". Para abordar la escasez de datos, aumentaron el conjunto de datos traduciendo datos existentes de una fuente semánticamente alineada (Buyanov et al., 2025) y generando ejemplos sintéticos utilizando un modelo local Qwen3.5-35B-A3B. Entrenaron clasificadores utilizando BERT y ModernBERT, logrando un rendimiento comparable (0.80 de Macro F1 para ModernBERT).
  • Agregación: Las predicciones a nivel de oración se agregaron utilizando pesos derivados de la proporción de subelementos en el conjunto de datos de origen. El subelemento dominante determinó el estado y la valencia.
  • Estimación de Presencia: Se utilizó ModernBERT en modo de regresión sobre el texto completo de la publicación para estimar el valor de presencia para cada valencia.
  • Enfoque de LLM (Envío 2): El modelo local Qwen3.5-35B-A3B fue instruido (prompted) con nombres de subelementos para resolver la tarea de clasificación directamente, mientras que ModernBERT se encargó de la estimación de la presencia.

• Tarea 2 (Detección de Cambio y Escalada):

  • Extracción de Características: Las publicaciones se dividieron en oraciones, y los embeddings de MiniLM-L6-v2 se combinaron con vectores de probabilidad de modelos de sentimiento y emoción (BERTweet, EmoRoBERTa, twitter-roberta-emotion).
  • Clasificación: Un modelo BiLSTM predijo las etiquetas de "Cambio" y "Escalada" por separado. Los hiperparámetros se optimizaron mediante Optuna.
  • Características Temporales (Envío 2): Un envío adicional incorporó características temporales de las publicaciones en la misma arquitectura.
  • Modelos Alternativos: El equipo experimentó con Tempoformer y HoRoBERT, pero enfrentó dificultades para entrenar Tempoformer dentro del cronograma de la competencia.

• Tarea 3 (Resumen de Línea de Tiempo):

  • Tarea 3.1: El equipo utilizó prompting de cero disparos (zero-shot) y de pocos disparos (few-shot) con el modelo local Qwen3.5-35B-A3B. Los prompts incluyeron la descripción del marco MIND y resúmenes intermedios de publicaciones individuales derivados de las predicciones de la Tarea 1.
  • Tarea 3.2: Para identificar patrones recurrentes, el equipo utilizó Llama-3.2-3B-Instruct. Se instruyó al LLM para detectar direcciones de cambio de bienestar, identificar elementos ABCD y asignar etiquetas de auto-estado. Se utilizó el análisis estadístico de estados adaptativos frente a maladaptativos a través de tipos de cambio para generar resúmenes de líneas de tiempo de ejemplo.

Resultados Clave
El sistema del equipo logró resultados que superaron a casi todos los modelos base, aunque no alcanzó el nivel superior en todas las tareas.

• Tarea 1: Logró un Macro F1 promedio de subelementos de 0.274 (Puesto 12/17) y un RMSE promedio de 1.407 para la estimación de presencia (Puesto 15/17). Los autores atribuyen el bajo ranking a la dificultad de clasificar la clase de oración "irrelevante", lo que introdujo ruido durante la agregación.
• Tarea 2: Logró un Macro F1 combinado de 0.372 (Puesto 15/18). Los autores señalan que la detección de "Cambio" funcionó significativamente peor que la de "Escalada", hipotetizando que la etiqueta de "Cambio" depende de una capa intermedia oculta (puntuaciones de Evaluación Global de la Función) que es difícil de inferir directamente del texto.
• Tarea 3: El sistema logró un éxito notable, ocupando el puesto 8 de 13 para la Tarea 3.1 (Puntuación 7.3) y 5º/6º de 9 para las puntuaciones de Mejora/Deterioro de la Tarea 3.2. Los autores se sorprendieron de que un modelo comparativamente pequeño con prompts simples lograra puntuaciones altas en métricas de consistencia y contradicción.

Significancia y Contribuciones
El artículo afirma que, al desarrollar y probar estos sistemas de estimación de estados de salud mental, el equipo contribuyó al objetivo más amplio de mejorar los sistemas de apoyo a la salud mental. El trabajo demuestra la viabilidad de combinar la clasificación a nivel de oración con la síntesis basada en LLM para analizar estados mentales dinámicos.

Los autores destacan explícitamente las siguientes limitaciones y afirmaciones modestas:

• Aproximación, no Diagnóstico: Los modelos producen aproximaciones de patrones de auto-estado anotados, no evidencia directa de la condición clínica mental de una persona.
• Restricciones de Datos: El uso de datos traducidos y generados sintéticamente puede haber introducido desajustes de distribución.
• Privacidad y Alcance: El estudio se llevó a cabo en un entorno de acceso restringido utilizando únicamente LLMs desplegados localmente para preservar la privacidad. Los autores enfatizan que sus sistemas son estrictamente para fines de investigación y no deben utilizarse para el diagnóstico clínico o la toma de decisiones autónoma.
• Trabajo Futuro: El análisis sugiere que las mejoras futuras requieren un mejor manejo de las clases de texto "irrelevante", un modelado temporal más robusto para la detección de "Cambio" y una integración cuidadosa de los datos de contenido sin comprometer la exactitud estructural de los resúmenes.