SynSym: A Synthetic Data Generation Framework for Psychiatric Symptom Identification

1. O Problema

A identificação de sintomas psiquiátricos em mídias sociais visa inferir sintomas de saúde mental de alta granularidade (como anedonia, insônia ou humor deprimido) a partir de posts gerados por usuários. No entanto, a construção de conjuntos de dados em larga escala para essa tarefa enfrenta desafios significativos:

• Escassez de Dados: A maioria dos conjuntos de dados existentes é pequena, com poucas instâncias por classe de sintoma (algumas com menos de 100 exemplos), dificultando o aprendizado da diversidade de expressões.
• Custo e Complexidade de Anotação: A anotação de nível de sintoma é complexa, exigindo múltiplos rótulos por post e julgamento subjetivo, o que leva a baixa concordância entre anotadores e falta de protocolos padronizados.
• Generalização Limitada: Modelos treinados em dados de uma única plataforma ou estilo linguístico (ex: Twitter vs. Reddit) frequentemente falham ao generalizar para novos contextos ou estilos de expressão (direto/clínico vs. figurativo/indireto).
• Qualidade dos Dados: Muitos conjuntos públicos são anotados por não especialistas, comprometendo a validade clínica e a confiabilidade dos rótulos.

2. Metodologia: O Framework SynSym

O SynSym é um framework de geração de dados sintéticos baseado em Grandes Modelos de Linguagem (LLMs) projetado para criar conjuntos de dados generalizáveis e clinicamente relevantes sem necessidade de ajuste fino (fine-tuning) específico da tarefa. O framework opera em quatro etapas principais:

1. Expansão de Conceitos de Sintomas:

   • O LLM recebe um sintoma de alto nível (ex: "Ideação Suicida") e uma descrição clínica breve.
   • O modelo expande esse sintoma em pelo menos 10 sub-conceitos de alta granularidade que representam manifestações concretas e diversas no mundo real. Isso aumenta a diversidade das expressões geradas.

2. Geração de Expressões de Sintoma Único (Estilos Duais):

   • Para cada sub-conceito, o LLM gera expressões em dois estilos distintos para capturar a variabilidade linguística:
     • Estilo Clínico: Declarações formais e objetivas usando terminologia médica (garantindo a cobertura de termos diagnósticos críticos que o LLM poderia evitar por segurança).
     • Estilo Coloquial: Descrições informais em primeira pessoa, refletindo como os usuários expressam sintomas em redes sociais.
   • Isso resulta em 50 expressões sintéticas por sub-conceito.

3. Geração de Expressões de Múltiplos Sintomas:

   • Reconhecendo que posts reais frequentemente contêm sintomas co-ocorrentes, esta etapa gera exemplos com múltiplos sintomas.
   • O processo é guiado por conhecimento clínico sobre padrões de comorbidade (extraído de literatura psiquiátrica) para garantir que as combinações de sintomas sejam realisticamente plausíveis, evitando correlações espúrias.

4. Avaliação e Controle de Qualidade:

   • Um LLM avalia se as expressões geradas alinham-se semanticamente com os rótulos de sintoma pretendidos.
   • Expressões com baixa pontuação de alinhamento (≤ 2 em uma escala de 5) são descartadas.
   • Além disso, validação por especialistas humanos (psiquiatras) foi realizada para confirmar a validade clínica dos sub-conceitos e das expressões.

3. Contribuições Principais

• Primeiro Framework de Sintomas: O SynSym é apresentado como o primeiro framework a utilizar LLMs especificamente para a geração de dados sintéticos voltados à identificação de múltiplos sintomas psiquiátricos (classificação multi-rótulo), em vez de apenas classificação binária de transtornos.
• Abordagem Híbrida de Estilos: A introdução de estilos clínicos e coloquiais resolve o problema de viés do LLM em evitar termos sensíveis, garantindo que o modelo de aprendizado seja exposto a indicadores de risco críticos.
• Validação Clínica Rigorosa: Diferente de abordagens puramente automatizadas, o SynSym incorpora validação por psiquiatras licenciados, alcançando alta concordância (94,86% para sub-conceitos e 99,66% para expressões).
• Recursos Abertos: O conjunto de dados sintético (18.254 amostras) e o código são disponibilizados publicamente.

4. Resultados Experimentais

Os autores avaliaram o SynSym em três conjuntos de dados de referência (benchmarks) para sintomas depressivos: PsySym (Reddit, estilo clínico), PRIMATE (Reddit, narrativo longo) e D2S (Twitter, figurativo/curto).

• Desempenho com Dados Sintéticos Puros: Modelos treinados apenas com dados do SynSym (sem dados reais) alcançaram desempenho comparável aos modelos treinados em dados reais de referência, demonstrando a alta qualidade e generalização dos dados sintéticos.
• Benefício do Ajuste Fino Híbrido: Modelos inicializados com dados sintéticos e posteriormente ajustados (fine-tuned) com uma pequena quantidade de dados reais (SynSymwith Real) superaram consistentemente todas as linhas de base (incluindo BERT, DeBERTa, MentalBERT e abordagens Zero-shot de LLMs) na maioria das métricas (F1 Macro e Recall).
• Generalização Transversal: O modelo treinado no SynSym demonstrou forte capacidade de generalização ao ser testado em datasets de plataformas diferentes (ex: treinado em dados sintéticos, testado em Twitter e Reddit), superando modelos treinados em dados reais de uma única fonte.
• Extensibilidade: O framework mostrou-se eficaz para outros transtornos além da depressão, como TEPT, Transtornos Alimentares e TDAH, onde a escassez de dados reais é ainda mais crítica.
• Ablação: Estudos de ablação confirmaram que cada componente do framework (expansão de conceito, conhecimento clínico, estilos duais e avaliação) contribui positivamente para o desempenho final.

5. Significado e Impacto

O trabalho do SynSym é significativo por oferecer uma solução prática para o gargalo de dados na pesquisa de NLP em saúde mental. Ele demonstra que:

1. Dados Sintéticos de Alta Qualidade podem substituir ou complementar anotações do mundo real, reduzindo a dependência de anotadores humanos caros e demorados.
2. A diversidade linguística controlada (clínica + coloquial) é crucial para criar modelos robustos que funcionam em diferentes plataformas.
3. O framework permite a construção de sistemas de identificação de sintomas mais precisos e generalizáveis, facilitando a detecção precoce de indivíduos de alto risco e intervenções personalizadas.

Em suma, o SynSym estabelece um novo paradigma para a criação de corpora em saúde mental, equilibrando a escalabilidade da IA generativa com a rigorosa validade clínica necessária para aplicações psiquiátricas.