A Reliable Framework for The Safe and Interpretable Detection of Mental Health Risks from Social Media Texts

Resumo Técnico: Um Framework Confiável para a Detecção Segura e Interpretável de Riscos de Saúde Mental em Textos de Redes Sociais

Definição do Problema
A detecção automatizada de riscos de saúde mental em textos de redes sociais enfrenta um desafio crítico: a ambiguidade inerente, a linguagem metafórica e a sobreposição semântica no conteúdo gerado por usuários frequentemente tornam a classificação binária definitiva insegura. Os modelos atuais frequentemente forçam uma decisão para cada entrada, levando a erros de alto risco quando as amostras residem próximas às fronteiras de decisão ou exibem baixa confiabilidade. Além disso, os modelos de aprendizado profundo padrão muitas vezes carecem de calibração de probabilidade e falham em distinguir entre previsões confiantes e decisões genuinamente dignas de confiança, particularmente sob mudanças de domínio. O artigo argumenta que o design de decisão orientado à segurança é tão crucial quanto o desempenho preditivo, necessitando de um framework que possa identificar quando uma decisão deve ser adiada em vez de forçada.

Metodologia: O Framework SAFER-MIND
Os autores propõem o SAFER-MIND (Safe, Adaptive, Fair, Explainable, and Reliable Medical Identity Network), um framework seletivo, calibrado e interpretável projetado para categorizar textos em três estados: Aceito, Ambíguo ou Adiado. A arquitetura integra múltiplas avaliações de confiabilidade antes de produzir uma decisão final:

1. Representação de Texto Multi-Visão: O framework extrai características usando duas perspectivas complementares: TF-IDF de nível de palavra (capturando semântica lexical) e TF-IDF de nível de caractere (preservando padrões de subpalavras, variações de ortografia e escrita informal comum em redes sociais).
2. Classificação de Ensemble Calibrada: Classificadores base independentes (Regressão Logística, SVM Linear e Naive Bayes Polinomial) processam essas características. Seus outputs passam por calibração sigmoide para alinhar a confiança prevista com a correção empírica. Um ensemble ponderado, selecionado via conjunto de validação, combina essas probabilidades calibradas.
3. Espaço de Identidade Médica Latente (VAE): Para avaliar a consistência estrutural, o framework utiliza um Autoencoder Variacional (VAE) com um objetivo $\beta$-VAE. Este comprime as representações de texto em um espaço latente probabilístico (64 dimensões) que modela incerteza e sobreposição entre classes, em vez de impor uma separação rígida.
4. Energia de Protótipo Inspirada em DBM: Dentro do espaço latente, os protótipos de classe são calculados como vetores médios. Uma pontuação de energia "inspirada em DBM" é computada com base na distância de cosseno ao quadrado entre a representação latente de uma amostra e o protótipo da sua classe prevista. Uma energia menor indica forte concordância estrutural; uma energia maior sinaliza instabilidade ou ambiguidade.
5. Predição Conforme (Conformal Prediction): O framework utiliza predição conforme para gerar conjuntos de predição. Isso determina se a evidência suporta uma classe única (conjunto singleton), múltiplas etiquetas plausíveis (conjunto multi-classe) ou nenhuma predição confiável (conjunto vazio).
6. Regra de Decisão Final: Uma amostra é Aceita apenas se três condições convergem:
   • A confiabilidade do ensemble calibrado excede um limiar ($\tau = 0,84$).
   • O conjunto de predição conforme é um singleton.
   • A energia do protótipo está abaixo de um limiar ($\eta$).
     Amostras que falham nesses critérios são classificadas como Ambíguas (evidências conflitantes) ou Adiadas (suporte insuficiente).

Principais Contribuições
O artigo identifica quatro contribuições técnicas primárias:

• Decisão de Três Estados Seletiva: Ir além da classificação forçada para produzir explicitamente os estados "Aceito", "Ambíguo" ou "Adiado", evitando assim decisões de alto risco em textos incertos.
• Camadas de Segurança Integradas: A integração inovadora de calibração de probabilidade, predição conforme e energia de protótipo latente em uma única regra de decisão, em vez de usá-las como métricas post-hoc isoladas.
• Identidade Médica Interpretável: A construção de um espaço latente baseado em VAE especificamente para medir a estabilidade da "identidade médica", usando energia inspirada em DBM para detectar casos que são estruturalmente inconsistentes com sua classe prevista.
• Validação Externa Rigorosa: Avaliação abrangente através de divisões internas e conjuntos de dados externos (Reddit, Classificação de Texto de Saúde Mental) para demonstrar robustez contra mudanças de domínio e a utilidade do mecanismo de adiamento.

Resultados
O framework foi avaliado em conjuntos de dados internos e externos com as seguintes descobertas:

• Desempenho Interno: O ensemble completo alcançou uma acurácia de 95,18%, ROC-AUC de 98,84% e Precisão Média de 99,48%.
• Desempenho Seletivo: Após aplicar a camada de decisão SAFER-MIND, a acurácia dos casos Aceitos subiu para 98,42% com uma cobertura de 84,58%. Isso demonstra que adiar os 15,42% de casos mais incertos melhora significativamente a confiabilidade das decisões automatizadas.
• Validação Externa: O desempenho variou por conjunto de dados, destacando os desafios de mudança de domínio. No conjunto de dados "Depression Reddit Cleaned", a acurácia dos casos aceitos atingiu 99,40%. No mais desafiador "Mental Health Combined Test", a acurácia total caiu para 84,88%, mas a acurácia dos casos Aceitos permaneceu alta em 92,33% após o adiamento, confirmando a capacidade do framework de lidar com mudanças de distribuição ao abster-se de predições não confiáveis.
• Robustez e Equidade: Testes contrafatuais mostraram uma taxa de estabilidade de predição de 99,6% sob pequenas perturbações textuais (ex: remover pontuação). Auditorias preliminares de equidade através de comprimento de texto e grupos de origem de dados não mostraram colapsos severos de desempenho.

Significância e Alegações
O artigo alega que o SAFER-MIND aborda a lacuna crítica entre alto desempenho preditivo e implantação clínica segura. Ao mudar o foco da avaliação de "o modelo consegue rotular todo texto?" para "a evidência é suficiente para uma decisão automatizada segura?", o framework prioriza a confiabilidade sobre a cobertura. Os autores enfatizam que o sistema é projetado como uma ferramenta de indicação de risco, e não como um sistema de diagnóstico. Sua principal significância reside na capacidade de:

1. Quantificar a Incerteza: Distinguir explicitamente entre casos claros e aqueles que requerem revisão humana.
2. Mitigar a Mudança de Domínio: Usar mecanismos de adiamento para manter a alta acurácia mesmo quando a distribuição dos dados de teste difere da de treinamento.
3. Prover Interpretabilidade: Oferecer uma explicação multifacetada para as decisões (probabilidade calibrada, conjunto conforme e energia latente) em vez de um único score de caixa-preta.

Os autores concluem que, embora o framework melhore a segurança e a interpretabilidade, ele depende de conjuntos de dados secundários que possuem vieses inerentes e carece de dados demográficos abrangentes de equidade. Trabalhos futuros são sugeridos para explorar representações baseadas em Transformers, modelos de energia mais profundos e análise longitudinal de postagens de usuários.