Resumo Técnico: UTS no PsyDefDetect

Definição do Problema

O artigo aborda a tarefa compartilhada PsyDefDetect no BioNLP 2026, que exige a classificação de enunciados-alvo em diálogos de suporte emocional em nove níveis da Escala de Avaliação de Mecanismos de Defesa (DMRS). A DMRS é um instrumento clínico hierárquico que varia do Nível 1 (defesas baseadas em ação) ao Nível 7 (coping altamente adaptativo).

O desafio central é duplo:

1. Ambiguidade Contextual: Os mecanismos de defesa são definidos pela função psicológica e não pela forma linguística. A mesma expressão superficial pode indicar níveis diferentes dependendo do contexto (por exemplo, reconhecer uma dificuldade sem resposta emocional pode indicar o Nível 6 Isolamento do Afeto em vez do Nível 7 Coping Adaptativo).
2. Desequilíbrio Severo de Classes: O conjunto de dados exibe um efeito de "Atrator L7", onde o Nível 7 (Altamente Adaptativo) compreende 51,9% dos dados de treinamento, enquanto as classes de defesa de nível inferior (L1–L5) coletivamente representam apenas 21,5%. Isso leva os Modelos de Linguagem de Grande Escala (LLMs) a superprever a classe majoritária, confundindo engajamento emocional com coping adaptativo.

Metodologia

O sistema proposto, UTS no PsyDefDetect, emprega uma arquitetura de conselho deliberativo multifaseada, aumentada por um ensemble de substituição direcionada.

1. Conselho Deliberativo Multifaseado

Construído sobre a API Gemini 2.5, o sistema substitui a votação padrão por um processo estruturado de avaliação de evidências:

• Fase 1 (Proposta): Três agentes especialistas (Analista Clínico, Especialista em Mecanismos, Analista de Padrões) geram independentemente rótulos candidatos e alternativas.
• Fase 2 (Advocacia): Advogados específicos de classe avaliam a força das evidências para cada rótulo candidato, classificando-os como FORTE, MODERADO ou FRACO. Esta fase utiliza exemplos recuperados de poucos exemplos (few-shot).
• Fase 3 (Resolução): Uma função de resolução julga com base na qualidade das evidências e não na contagem de votos. Uma classificação única FORTE vence imediatamente; empates são resolvidos por comparação direta par a par.

Codificação do Conhecimento Clínico:
Um componente crítico é a codificação da hierarquia DMRS como um espectro de integração afeto-cognição. O sistema raciocina sobre o que está ausente (afeto ausente, cognição bloqueada, realidade negada) em vez de apenas sobre o que está presente. Cinco regras em nível de prompt foram implementadas:

1. Integração de mais de 60 indicadores comportamentais do DMRS-Q.
2. Distinção entre emoção e defesa (por exemplo, "Sinto-me triste" não é uma defesa sem distorção).
3. Preferência por defesas de nível inferior (menos maduras) em casos ambíguos.
4. Uma lista de vigilância para pares de classes de alta confusão.
5. Um portal de verificação L7 exigindo um mecanismo adaptativo nomeado.

2. Recuperação e Ajuste Fino

• Recuperação: TF-IDF com Relevância Marginal Máxima (MMR) é utilizado na Fase 1 para garantir diversidade, prevenindo o agrupamento de conteúdo emocional que a recuperação semântica poderia causar. A exclusão por ID de diálogo é estritamente aplicada para prevenir vazamento de recuperação (exemplos do mesmo diálogo).
• Ajuste Fino: Três modelos Qwen3.5 (9B, 35B-A3B MoE e uma variante especializada de 9B) foram ajustados finamente usando LoRA em quantização de 4 bits.
  • Intervenção Chave: O treinamento utilizou perda apenas de conclusão (train_on_responses_only), calculando a perda apenas no token do rótulo. Isso impediu que o modelo desperdiçasse atualizações de gradiente na conclusão automática de diálogos, aumentando a precisão de 25–55% para 59–65%.
  • Autoconsistência: A inferência envolve múltiplas execuções (temperatura=0,3) para gerar pontuações de confiança.

3. Ensemble de Substituição Direcionada

Para abordar a tendência do conselho de estar "confiantemente errado" em classes minoritárias (especificamente o atrator L7), foi desenvolvido um sistema de substituição direcionada:

• Substituições Tipo A: Corrige superprevisões de L7 quando um modelo ajustado finamente mostra ≥80% de autoconsistência para uma classe minoritária e é corroborado por um resolvedor par a par.
• Substituições Tipo B: Corrige confusões de minoria para minoria quando ≥3 de 6 fontes independentes concordam.
• Seleção Agente: A seleção de substituições foi gerenciada por um sistema estruturado de múltiplos agentes composto por um Construtor (varre candidatos), um Crítico (argumenta contra propostas) e uma Guarda de Regressão (rejeita rigidamente submissões que falham em verificações estruturais). Esta decomposição formal de funções rendeu um ganho maior de F1 em uma iteração do que oito tentativas ad hoc anteriores combinadas.

Resultados Principais

O sistema alcançou a 2ª colocação entre 64 entradas (F1 0,406) no ranking da tarefa compartilhada.

• Impacto das Regras Clínicas: A integração de regras de raciocínio clínico no prompt forneceu o maior ganho único, aumentando o F1 de 0,268 para 0,382 (+11,4 pontos percentuais).
• Impacto da Substituição: O ensemble direcionado de 16 substituições (7 Tipo A, 9 Tipo B) adicionou +2,4pp à pontuação F1, trazendo o resultado final para 0,406.
• Precisão: O sistema alcançou a maior precisão (0,461) entre todas as equipes do top-5, refletindo a natureza conservadora da estratégia de substituição.
• Análise de Erros:
  • Atrator L7: 54% dos erros estáveis foram previsões incorretas de L7.
  • Confiantemente Errado: Para classes minoritárias (L3, L4, L6, L8), 59–80% das previsões estáveis foram incorretas, enquanto previsões instáveis foram paradoxalmente mais precisas.
  • Sobreajuste: Modificações que melhoraram o F1 do conjunto de treinamento degradaram consistentemente o desempenho no teste, indicando sobreajuste do prompt.

Significado e Alegações

O artigo postula que a principal percepção para esta tarefa é que os mecanismos de defesa são definidos pelo que está ausente. Codificar esse "raciocínio baseado em ausência" em regras clínicas provou ser mais eficaz do que mudanças arquitetônicas ou escalonamento de modelos.

Os autores destacam que:

1. Decomposição Formal de Funções: Estruturar o processo de seleção de substituições em funções distintas (Construtor, Crítico, Guarda) foi mais eficaz do que a automação isolada, prevenindo viés de confirmação e melhorando a qualidade das evidências.
2. Estratégia de Recuperação: Para seleção de poucos exemplos sob desequilíbrio de classes, TF-IDF com MMR superou a recuperação semântica ao evitar o agrupamento de conteúdo emocional, preservando assim a diversidade de classes.
3. Intervenção de Treinamento: O uso de perda apenas de conclusão durante o ajuste fino foi uma intervenção crítica e de alto impacto que melhorou significativamente o desempenho do modelo nesta tarefa específica de classificação.

O sistema é explicitamente enquadrado como uma ferramenta de pesquisa para analisar construtos psicológicos em diálogos, não um instrumento de diagnóstico clínico. O trabalho representa um dos primeiros estudos computacionais em grande escala aplicando LLMs à classificação hierárquica de mecanismos de defesa em conversas terapêuticas naturalistas.