DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment

Resumo Técnico: DynaBridge para Avaliação de Saúde Mental Estruturada em DASS

Problema
As abordagens multimodais atuais para avaliar depressão, ansiedade e estresse (DAS) frequentemente tratam os rótulos de risco finais como alvos de classificação independentes, ignorando a estrutura psicométrica subjacente das ferramentas de avaliação. Especificamente, nas Escalas de Depressão, Ansiedade e Estresse (DASS-21), os escores de risco são derivados de subconjuntos fixos de 21 itens de sintomas ordinais. Tratar as respostas aos itens e os riscos das subescalas como saídas independentes pode levar a previsões inconsistentes. Além disso, embora os Grandes Modelos de Linguagem (LLMs) ofereçam capacidades de sumarização semântica, utilizá-los como preditores diagnósticos diretos é arriscado devido ao potencial de alucinações e ao desalinhamento com pistas comportamentais observáveis ou regras psicométricas.

Metodologia: DynaBridge
Os autores propõem o DynaBridge, um framework multimodal de fusão dinâmica guiada por sumários, projetado para conectar pistas acústicas, visuais e textuais com evidências semânticas geradas por LLM e a estrutura psicométrica do DASS-21. O framework opera através dos seguintes estágios:

1. Representação Multimodal e Guiada por Sumário:

   • Entrada: O modelo processa dados de quatro sessões: uma sessão de leitura de texto fixo (apenas acústica/visual) e três sessões de resposta livre (estado diário, memória positiva, memória negativa) contendo áudio, vídeo e transcrições.
   • Codificação de Sessão: Características acústicas, visuais e textuais são codificadas por sessão e agregadas em uma representação de nível de participante ($h_i$).
   • Geração de Sumário Dinâmico: Um LLM congelado gera três níveis de sumários conscientes do DASS apenas a partir das transcrições de resposta livre, sem acessar rótulos de verdade fundamental (ground-truth) ou previsões do modelo.
     • Estágio 1: Pistas afetivas/comportamentais de nível global do participante.
     • Estágio 2: Evidência organizada em categorias de Depressão, Ansiedade e Estresse.
     • Estágio 3: Evidência de nível de item para os 21 itens do DASS, marcando a evidência como explícita, fraca ou não observada.
   • Fusão: Esses sumários são codificados em uma representação semântica ($e^{sum}_i$) e fundidos com a representação multimodal do participante para criar um espaço latente compartilhado ($z_i$).

2. Cabeças de Predição de Tarefas Cruzadas:

   • Predição de Itens Ordinais: O modelo prevê uma distribuição de probabilidade sobre os quatro níveis ordinais (0–3) para cada um dos 21 itens do DASS, preservando a incerteza.
   • Reconstrução de Item-para-Risco Estruturada no DASS: Usando o mapeamento pré-definido do DASS-21, os escores esperados dos itens são reconstruídos em escores de subescala (Depressão, Ansiedade, Estresse). Estes são mapeados para probabilidades de risco.
   • Fusão de Risco: A predição de risco final combina a predição de risco multimodal direta e a evidência de risco reconstruída (derivada das predições de itens) via um peso de interpolação específico de dimensão. Isso garante consistência entre a evidência de item refinada e os rótulos de risco grosseiros.

3. Refinamento de Item Consciente de Confiança (Apenas Inferência):

   • Na inferência, se o sumário gerado pelo LLM fornecer evidência explícita e de alta confiança para um item específico, a distribuição de itens prevista pelo modelo é refinada de forma conservadora.
   • Este refinamento é controlado tanto pela confiança do sumário quanto pela própria confiança do modelo, evitando que pistas do LLM sem suporte sobreponham previsões comportamentais fortes.

4. Objetivo de Treinamento:

   • O modelo é otimizado usando uma soma ponderada de perdas: supervisão de nível de risco, supervisão ordinal de nível de item (com penalidade de distância), supervisão de reconstrução e uma perda de consistência para alinhar as predições de risco direta e reconstruída.

Principais Contribuições

• Formulação de Tarefa Cruzada Estruturada: O artigo formula a avaliação do DASS como um problema de tarefa cruzada ordinal estruturado, conectando explicitamente as respostas de nível de item com a predição de risco da subescala, em vez de tratá-las como alvos independentes.
• Fusão Dinâmica Guiada por Sumário: Introduz um framework que integra sumários semânticos estruturados gerados por LLM congelado como uma modalidade distinta, servindo como extratores de evidência estruturada em vez de geradores de pseudo-rótulos.
• Mecanismos de Reconstrução e Refinamento: Os autores propõem uma reconstrução de item-para-risco consciente do DASS para impor consistência psicométrica e uma estratégia de refinamento consciente da confiança para incorporar pistas semânticas de forma conservadora durante a inferência.

Resultos
Avaliado no split de validação oficial do AdoDAS (um benchmark de preservação de privacidade para saúde mental de adolescentes), o DynaBridge superou o baseline oficial e métodos multimodais representativos (ex: CubeMLP, Summary-enhanced Fusion).

• Predição de Risco (A1): Alcançou um F1 médio de 0.5012 (vs. 0.4604 do baseline) e AUROC médio de 0.7585.
• Predição de Item (A2): Alcançou um Kappa Ponderado Quadrático (QWK) médio de 0.3216 (vs. 0.2675 do baseline) e o menor Erro Médio Absoluto (MAE).
• Estudos de Ablação: Confirmaram que os sumários dinâmicos, a modelagem ordinal, a reconstrução de item-para-risco e o refinamento consciente da confiança contribuíram incrementalmente para os ganhos de desempenho.

Significância e Alegações
O artigo afirma que o DynaBridge demonstra o valor de unir pistas comportamentais multimodais, sumários semânticos e a estrutura psicométrica específica dos rótulos derivados de questionários. Ao respeitar o mapeamento de item-para-subescala do DASS-21, o modelo alcança previsões mais consistentes e interpretáveis. Os autores enfatizam que o DynaBridge é um sistema computacional orientado à triagem, não uma ferramenta de diagnóstico clínico. Sua significância reside em melhorar a inspetabilidade do processo de avaliação (rastreando riscos até a evidência do item) e em aproveitar a natureza estruturada das escalas psicológicas para aprimorar a fusão multimodal, em vez de depender de classificações de caixa-preta de ponta a ponta. Os resultados sugerem que explorar a estrutura psicométrica dos rótulos é benéfico para a avaliação multimodal de saúde mental.