Resumo Técnico: Além da Acurácia: Interpretando a Representação de Tópicos em Modelos de Detecção de Ideação Suicida

Declaração do Problema

Modelos de detecção de ideação suicida são tipicamente avaliados por meio de métricas de desempenho agregadas (ex: acurácia, F1-score), mas suas representações internas de fatores de risco psicologicamente significativos permanecem amplamente opacas. Em aplicações de saúde mental de alto risco, essa falta de interpretabilidade dificulta a identificação de correlações espúrias, a auditoria de representações aprendidas e a garantia de uma implantação segura.

Pesquisas atuais indicam que os conjuntos de dados existentes frequentemente sofrem de desequilíbrio de tópicos: fatores de risco comuns (ex: depressão, ansiedade) são sobrerrepresentados, enquanto outros (ex: imigração, crise financeira) são sub-representados ou ausentes. Esse desequilíbrio pode levar os classificadores a desenvolver relações causais falsas com conceitos sobrerrepresentados ou a tornar-se menos sensíveis a tópicos raros. Consequentemente, os modelos podem falhar em formar representações internas claras e distintas para todos os fatores de risco psicológicos, podendo emaranhá-los com características não relacionadas (polissemanticidade) ou falhar totalmente em capturá-los.

O artigo aborda duas questões de pesquisa primárias:

1. Como os fatores de risco psicológicos são representados dentro do espaço de ativação interna dos modelos de linguagem treinados para detecção de ideação suicida?
2. A aumentação de dados sintéticos consciente de tópicos melhora a clareza, separabilidade e especialização dessas representações de fatores de risco?

Metodologia

O estudo desloca o foco das saídas do modelo para suas representações internas, especificamente os vetores de ativação intermediária no fluxo residual (residual stream). A metodologia emprega uma abordagem de interpretabilidade mecanística fundamentada na hipótese da representação linear e na hipótese da superposição.

1. Dados e Modelos

• Conjuntos de Dados: A análise utiliza o Conjunto de Dados de Suicidabilidade do Reddit da Universidade de Maryland (UMD) como base. Um segundo conjunto de dados é construído usando aumentação consciente de tópicos, onde posts sintéticos relacionados ao suicídio são gerados via Grandes Modelos de Linguagem (LLMs) e combinados com subconjuntos dos dados originais do UMD para equilibrar a cobertura de tópicos.
• Modelo Base: Um modelo ALBERT-base-V2 é ajustado (fine-tuned) separadamente no conjunto de dados UMD original e no conjunto de dados aumentado. O ALBERT foi escolhido por sua arquitetça compacta e representações estáveis de fluxo residual.

2. Aprendizado de Dicionário via Autoencoders Esparsos (SAEs)

Para descobrir direções de características interpretáveis, os autores treinam autoencoders esparsos supercompletos sobre as ativações do fluxo residual ao nível de token dos modelos ALBERT ajustados.

• Arquitetura: O SAE utiliza um dicionário supercompleto onde o número de características latentes ($F=4096$) excede significativamente a dimensão de entrada ($D=768$). Este design visa o desmembramento de características que estão superpostas nas densas ativações do modelo.
• Mecanismo: O SAE decompõe vetores de ativação em combinações lineares esparsas de direções de base aprendidas (vetores decodificadores). Cada direção representa uma potencial característica, e a saída do codificador indica a força de ativação dessa característica para um determinado token.
• Mapeamento de Característica-Tópico: As características são atribuídas a um "tópico dominante" com base na ativação média da característica através de posts rotulados com tópicos psicológicos específicos (ex: "Problemas Familiares", "Imigração").

3. Técnicas de Análise

Dois métodos complementares são usados para avaliar a estrutura e a interpretabilidade das características aprendidas:

• Visualização UMAP: A Projeção de Aproximação de Variedade Uniforme (UMAP) é aplicada aos vetores decodificadores normalizados para visualizar a organização geométrica das direções de características em 2D. Isso permite a avaliação qualitativa de se as características associadas ao mesmo tópico formam agrupamentos (clusters) coerentes e compactos (indicando monosemanticidade) ou se estão dispersas (indicando polissemanticidade).
• Distância de Cosseno para Separabilidade: Uma métrica quantitativa é introduzida para medir a separação angular entre o vetor de ativação médio de um conjunto de conceito (posts com um tópico específico) e um baseline não-conceito (posts não relacionados do Reddit).
  • As ativações ao nível de token são agregadas ao nível de post usando max-pooling para preservar sinais salientes.
  • Os vetores de características ao nível de post são calculados pela média para criar vetores médios para os conjuntos de conceito e não-conceito.
  • A distância de cosseno ($d_{cos}$) é calculada entre essas médias. Uma distância maior indica que o modelo codifica o conceito em uma direção distinta de textos não relacionados, significando maior clareza representacional.

Principais Resultados

1. Visualização de Características Latentes (UMAP)

As projeções UMAP revelam diferenças distintas entre os modelos treinados nos dados originais do UMD versus os dados aumentados:

• Modelo UMD: Características associadas a tópicos sub-representados (ex: imigração, perfeccionismo) aparecem como pontos esparsos e dispersos, sugerindo cobertura de tópicos limitada e forte superposição (características respondendo a múltiplos fenômenos).
• Modelo Aumentado (AUG): Os mesmos tópicos exibem um maior número de direções de características destacadas que formam agrupamentos compactos e coerentes. Isso indica uma mudança em direção à monosemanticidade, onde direções de características específicas respondem de forma mais seletiva a conceitos psicológicos alvo.
• Interpretação: A aumentação consciente de tópicos aumenta a disponibilidade e a consistência de direções seletivas de tópicos no espaço latente, reduzindo o emaranhamento para fatores sub-representados.

2. Separabilidade Quantitativa (Distância de Cosseno)

A Tabela 1 no artigo resume a distância de cosseno entre as médias dos tópicos e o baseline não-conceito.

• Melhorias Significativas: A aumentação leva a aumentos substanciais na separação direcional para vários tópicos chave. Os maiores ganhos são observados para Problemas de Relacionamento (+0,334), Crise Financeira (+0,310) e Problemas Familiares (+0,266).
• Melhorias Abrangentes: Melhorias consistentes (aprox. +0,18 a +0,22) são vistas para Ansiedade, Racismo, Raiva, Bullying e Imigração.
• Exceções:
  • Desesperança (Hopelessness): Mostra uma leve diminuição (-0,017), provavelmente devido à forte sobreposição semântica com outros fatores de risco (ex: depressão), limitando sua capacidade de ser separada como uma direção independente.
  • Desemprego (Unemployment): Mostra uma diminuição (-0,079), mas isso é atribuído a um "efeito de teto", já que o tópico já exibia uma separação muito alta em ambos os modelos (0,82–0,90).

Principais Contribuições

O artigo apresenta três contribuições primárias para o campo da interpretabilidade de NLP em saúde mental:

1. Análise Mecanística: Ele vai além das métricas de desempenho para analisar o espaço de ativação interna de modelos de detecção de suicídio usando autoencoders esparsos supercompletos para extrair direções de características interpretáveis.
2. Análise de Especialização de Características: Através de visualizações UMAP e análise de amostras de maior ativação, demonstra que a aumentação consciente de tópicos leva a representações mais estruturadas, onde características específicas se alinham com tópicos psicossociais distintos, formando agrupamentos coerentes.
3. Framework de Separabilidade Geométrica: Introduz um framework quantitativo usando distância de cosseno para medir a clareza da representação de conceitos psicológicos, demonstrando como a aumentação remodela a estrutura interna de características para melhor isolar fatores de risco.

Significância e Alegações

Os autores alegam que seus achados sugerem que a aumentação consciente de tópicos faz mais do que melhorar o desempenho de classificação; ela altera fundamentalmente a geometria interna do modelo para torná-lo mais interpretável e robusto.

• Representações Estruturadas: A aumentação ajuda o modelo a formar representações internas mais claras e distintas para fatores de risco psicossociais sub-representados (ex: imigração, problemas familiares), reduzindo a dependissão de correlações espúrias com conceitos sobrerrepresentados.
• Segurança e Transparência: Ao promover a monosemanticidade para riscos específicos, os modelos tornam-se mais transparentes. Isso permite uma melhor auditoria do que o modelo está "procurando" e apoia uma implantação mais segura e responsável em contextos de saúde mental de alto risco.
• Polissemanticidade Matizada: O artigo observa que, embora a monosemanticidade seja desejável para clareza, certa polissemanticidade (características compartilhadas) é natural e benéfica para conceitos sobrepostos. O objetivo da aumentação não é eliminar todo o overlap, mas reduzir a interferência prejudicial onde conteúdos não relacionados disparam os mesmos sinais de risco.

O estudo conclui que compreender a estrutura geométrica das representações aprendidas é essencial para diagnosticar lacunas na cobertura de tópicos e garantir que os modelos de detecção de suicídio generalizem efetivamente através de diversos contextos psicológicos.