psytechlab at CLPsych 2026: Utilising Natural Language Processing methods and Large Language Models for Social Media Text Analysis

Resumo Técnico: Psytechlab no CLPsych 2026

Declaração do Problema
O artigo aborda o desafio de analisar textos de redes sociais para compreender estados de saúde mental e o bem-estar do usuário. Embora as redes sociais ofereçam uma rica fonte de dados para identificar padrões relacionados à depressão, ansiedade e outros transtornos, as abordagens existentes enfrentam limitações significativas: dependência de rótulos autorreferenciais potencialmente ruidosos, a dificuldade de obter dados anotados clinicamente confiáveis e a tendência de atribuir rótulos estáticos a estados mentais inerentemente dinâmicos. Para abordar essas questões, os autores participaram da CLPsych Shared Task 2026, que utilizou um conjunto de dados profissionalmente anotado usando o framework MIND. Este framework modela a experiência humana como uma série de autoestados em constante evolução. A equipe teve a tarefa de resolver três desafios específicos:

1. Tarefa 1: Prever os subelementos dominantes de ABCD (Afeto, Comportamento, Cognição, Desejo) Adaptativos e Maladaptativos e estimar o valor de presença (escala de 1 a 5) dos autoestados nos posts.
2. Tarefa 2: Identificar eventos de "Switch" (mudanças súbitas no bem-estar) e "Escalação" (intensificação gradual) dentro de sequências cronológicas de posts.
3. Tarefa 3: Gerar resumos em nível de linha do tempo da dinâmica dos autoestados (Tarefa 3.1) e identificar padrões recorrentes de deterioração ou melhoria (Tarefa 3.2).

Metodologia
A equipe Psytechlab empregou uma abordagem híbrida combinando pipelines tradicionais de PLN, aprendizado supervisionado e Grandes Modelos de Linguagem (LLMs).

• Tarefa 1 (Previsão de ABCD e Estimativa de Presença):

  • Abordagem de Pipeline (Submissão 1): A equipe dividiu os posts em sentenças e classificou cada uma em subelementos ou em uma classe "irrelevante". Para lidar com a escassez de dados, eles aumentaram o conjunto de dados traduzindo dados existentes de uma fonte semanticamente alinhada (Buyanov et al., 2025) e gerando exemplos sintéticos usando um modelo local Qwen3.5-35B-A3B. Eles treinaram classificadores usando BERT e ModernBERT, alcançando um desempenho comparável (0,80 de Macro F1 para ModernBERT).
  • Agregação: As previsões ao nível de sentença foram agregadas usando pesos derivados da proporção de subelementos no conjunto de dados de origem. O subelemento dominante determinou o estado e a valência.
  • Estimativa de Presença: O ModernBERT foi usado em modo de regressão no texto completo do post para estimar o valor de presença para cada valência.
  • Abordagem de LLM (Submissão 2): O modelo local Qwen3.5-35B-A3B foi instruído com nomes de subelementos para resolver a tarefa de classificação diretamente, enquanto o ModernBERT lidou com a estimativa de presença.

• Tarefa 2 (Detecção de Switch e Escalação):

  • Extração de Características: Os posts foram divididos em sentenças, e os embeddings do MiniLM-L6-v2 foram combinados com vetores de probabilidade de modelos de sentimento e emoção (BERTweet, EmoRoBERTa, twitter-roberta-emotion).
  • Classificação: Um modelo BiLSTM previu os rótulos de "Switch" e "Escalação" separadamente. Os hiperparâmetros foram otimizados usando Optuna.
  • Características Temporais (Submissão 2): Uma submissão adicional incorporou características temporais dos posts na mesma arquitetura.
  • Modelos Alternativos: A equipe experimentou com Tempoformer e HoRoBERT, mas enfrentou desafios para treinar o Tempoformer dentro do cronograma da competição.

• Tarefa 3 (Sumarização de Linha do Tempo):

  • Tarefa 3.1: A equipe utilizou prompting zero-shot e few-shot com o modelo local Qwen3.5-35B-A3B. Os prompts incluíram a descrição do framework MIND e resumos intermediários de posts individuais derivados das previsões da Tarefa 1.
  • Tarefa 3.2: Para identificar padrões recorrentes, a equipe utilizou o Llama-3.2-3B-Instruct. O LLM foi instruído a detectar direções de mudança de bem-estar, identificar elementos ABCD e atribuir rótulos de autoestado. A análise estatística de estados adaptativos versus maladaptativos através dos tipos de mudança foi usada para gerar resumos de linhas do tempo de exemplo.

Principais Resultados
O sistema da equipe alcançou resultados que superaram quase todas as bases de comparação, embora não tenha atingido o nível de elite em todas as tarefas.

• Tarefa 1: Alcançou um Average Subelement Macro F1 de 0,274 (Rank 12/17) e um Average RMSE de 1,407 para estimativa de presença (Rank 15/17). Os autores atribuem o ranking inferior à dificuldade de classificar a classe de sentença "irrelevante", que introduziu ruído durante a agregação.
• Tarefa 2: Alcançou um Combined Macro F1 de 0,372 (Rank 15/18). Os autores observam que a detecção de "Switch" teve um desempenho significativamente pior do que a de "Escalação", hipotetizando que o rótulo "Switch" depende de uma camada intermediária oculta (escores de Avaliação Global de Funcionamento) que é difícil de inferir diretamente do texto.
• Tarefa 3: O sistema obteve sucesso notável, classificando-se em 8º de 13 para a Tarefa 3.1 (Pontuação 7,3) e 5º/6º de 9 para a Tarefa 3.2 (pontuações de Melhoria/Deterioração). Os autores ficaram surpresos que um modelo comparativamente pequeno com prompts simples alcançasse altas pontuações em métricas de consistência e contradição.

Significância e Contribuições
O artigo afirma que, ao desenvolver e testar esses sistemas de estimativa de estado de saúde mental, a equipe contribuiu para o objetivo mais amplo de melhorar os sistemas de suporte à saúde mental. O trabalho demonstra a viabilidade de combinar classificação ao nível de sentença com sumarização baseada em LLM para analisar estados mentais dinâmicos.

Os autores destacam explicitamente as seguintes limitações e alegações modestas:

• Aproximação, não Diagnóstico: Os modelos produzem aproximações de padrões de autoestado anotados, não evidências diretas da condição clínica de uma pessoa.
• Restrições de Dados: O uso de dados traduzidos e gerados sinteticamente pode ter introduzido descompassos distributivos.
• Privacidade e Escopo: O estudo foi conduzido em um ambiente de acesso restrito usando apenas LLMs implantados localmente para preservar a privacidade. Os autores enfatizam que seus sistemas são estritamente para fins de pesquisa e não devem ser usados para diagnóstico clínico ou tomada de decisão autônoma.
• Trabalhos Futuros: A análise sugere que melhorias futuras exigem um melhor tratamento das classes de texto "irrelevantes", modelagem temporal mais robusta para detecção de "Switch" e integração cuidadosa de dados de conteúdo sem comprometer a precisão estrutural dos resumos.