UKP_Psycontrol at SemEval-2026 Task 2: Modeling Valence and Arousal Dynamics from Text

Resumen Técnico: UKP_Psycontrol en SemEval-2026 Task 2

1. Planteamiento del Problema

El artículo aborda el SemEval-2026 Task 2, una tarea centrada en el análisis afectivo longitudinal. El objetivo es modelar tanto el afecto actual como el cambio afectivo a corto plazo en textos generados por usuarios de manera cronológica.

• Contexto: A diferencia de los conjuntos de datos tradicionales de redes sociales o reseñas (donde el afecto es anotado por terceros), este desafío utiliza un conjunto de datos longitudinal de autoevaluaciones de trabajadores de la industria de servicios en EE. UU.
• Datos: Incluye ensayos libres y listas de palabras de sentimiento, acompañados de calificaciones de valencia (0-4) y activación/arousal (0-2) basadas en el circulo afectivo.
• Subtareas:
  • Subtarea 1: Evaluación del afecto (predicción de valencia y activación) para cada texto en una secuencia.
  • Subtarea 2A: Predicción de la variación futura (cambio de estado) en valencia y activación basándose en textos y estados previos.

2. Metodología

El equipo UKP_Psycontrol propuso y comparó tres enfoques complementarios para abordar las subtareas:

A. Prompting con Grandes Modelos de Lenguaje (LLM)

• Modelos: Se utilizaron GPT-OSS 120B para experimentación y GPT-5 para las envíos finales.
• Estrategias de Prompting:
  • Consciente del usuario (User-aware): El prompt incluye ejemplos cronológicos del mismo usuario para capturar patrones de expresión individuales.
  • Agnóstico del usuario (User-agnostic): El prompt utiliza ejemplos aleatorios balanceados de diferentes usuarios.
  • Formatos de salida: Se comparó la generación de etiquetas textuales (mapeadas luego a números) frente a la predicción numérica directa. Se observó que la predicción textual seguida de mapeo fue más estable.
  • Ventana deslizante: Se implementó una estrategia dinámica que actualiza el contexto con las últimas $N=15$ entradas, aunque esto introdujo acumulación de errores en comparación con los shots fijos.

B. Modelo de Máxima Entropía (MaxEnt) con Interacciones de Ising

• Concepto: Un modelo probabilístico gráfico que asume que los estados mentales evolucionan en un paisaje de energía subyacente siguiendo una distribución de Boltzmann.
• Funcionamiento: Modela dependencias estructuradas entre variables binarias (niveles de valencia/activación y características semánticas latentes).
• Procesamiento Semántico: Las palabras de sentimiento se agrupan en 10 clústeres semánticos y se comprimen mediante un autoencoder para crear vectores binarios que se integran en el modelo MaxEnt.
• Objetivo: Capturar interacciones de pares y dependencias entre estados afectivos y señales semánticas.

C. Modelo de Regresión Neuronal Ligero

• Enfoque: Diseñado específicamente para la Subtarea 2A (predicción de cambios).
• Entradas: Utiliza una ventana deslizante de las últimas entradas (1-4), embeddings de texto (RoBERTa-base), el estado actual, el cambio previo y embeddings de usuario entrenables para capturar la dinámica individual.
• Hallazgo clave: Los modelos que no incluían características textuales (usando solo trayectorias numéricas previas y embeddings de usuario) rindieron mejor, sugiriendo que la historia numérica reciente es un predictor más fuerte que la semántica del texto para cambios a corto plazo.

3. Resultados Clave

El sistema obtuvo el primer lugar en ambas subtareas según la métrica oficial (correlación de Pearson compuesta).

• Subtarea 1 (Evaluación de Afecto):

  • Mejor rendimiento: El enfoque basado en LLM (GPT-5) superó a los baselines y al modelo MaxEnt.
  • Métricas: Logró una correlación de 0.667 para valencia y 0.554 para activación en el conjunto de prueba.
  • Observación: El prompting consciente del usuario funcionó ligeramente mejor, pero la diferencia fue marginal, indicando que los ejemplos aleatorios balanceados capturan gran parte de la variabilidad.
  • Insight: Los LLMs capturan eficazmente señales afectivas estáticas, especialmente en textos ricos (ensayos).

• Subtarea 2A (Predicción de Variación):

  • Mejor rendimiento: El modelo de regresión neuronal combinado con el modelo MaxEnt superó a los baselines.
  • Métricas: Correlación de 0.675 (valencia) y 0.683 (activación).
  • Observación: Para predecir cambios futuros, las trayectorias numéricas recientes (historial de estados) fueron mucho más informativas que el contenido semántico del texto. La activación mostró una autocorrelación a corto plazo más fuerte que la valencia.

4. Contribuciones y Conclusiones

• Diferenciación de Dinámicas: El estudio demuestra una distinción clara: la evaluación estática del afecto se beneficia de la riqueza semántica y el contexto del usuario (LLMs), mientras que la predicción de cambios dinámicos a corto plazo depende más de las trayectorias numéricas previas que de la interpretación textual.
• Efectividad de LLMs: En conjuntos de datos pequeños y longitudinales, el prompting de LLMs supera a los modelos probabilísticos estructurados (como MaxEnt) para tareas de clasificación y regresión estática, debido a su capacidad para generalizar patrones lingüísticos complejos.
• Limitaciones Identificadas:
  • La estabilidad de los LLMs depende de la temperatura (mayor temperatura aumenta la varianza).
  • El uso de modelos propietarios plantea problemas de reproducibilidad y privacidad.
  • La mayoría de los usuarios en el conjunto de datos solo tienen un periodo de dos semanas, lo que limita la generalización a dinámicas de salud mental a largo plazo (semanas o meses).

5. Significado

Este trabajo es significativo porque establece un nuevo estado del arte en el análisis afectivo longitudinal. Proporciona evidencia empírica de que, para predecir la evolución emocional a corto plazo, los modelos deben priorizar la historia de estados numéricos sobre el análisis semántico profundo del texto inmediato. Además, valida el uso de LLMs avanzados en tareas de psicología computacional, aunque advierte sobre la necesidad de marcos de modelado más robustos para capturar la lenta dinámica de los trastornos mentales a largo plazo.