Resumo Técnico: Analisando Representações de Autolesão em Modelos de Linguagem

Declaração do Problema

A detecção de conteúdo de autolesão em redes sociais é uma tarefa de alto risco que exige alta precisão para facilitar a intervenção oportuna e a sinalização de usuários em risco. Embora sistemas de detecção automatizada utilizando LSTMs, transformadores baseados em BERT e LLMs tenham sido desenvolvidos para moderação de conteúdo e monitoramento de saúde mental, permanece uma lacuna significativa na compreensão da mecânica interna desses modelos. Especificamente, há pouco conhecimento sobre:

• Onde os conceitos de autolesão se "cristalizam" na rede.
• A estabilidade geométrica dessas representações através das camadas.
• Se a representação estrutural da autolesão é consistente entre diferentes arquiteturas e escalas.

Os autores argumentam que compreender essas representações internas é crucial para construir sistemas mais seguros que vão além da engenharia de prompts para incluir componentes explícitos e testáveis para intervenção e governança.

Metodologia

O estudo emprega uma análise de arquitetura cruzada usando dois conjuntos de dados e quatro modelos de transformadores ajustados por instrução (instruction-tuned).

Conjuntos de Dados:

1. X-Sensitive (X-S): Um corpus multilabel de postagens de redes sociais em inglês anotadas para seis categorias. Os autores extraíram 200 postagens positivas para autolesão e 200 postagens de controle (todas as categorias zero).
2. SH-Detection (SH-D): Um conjunto de dados binário onde as postagens de autolesão são rotuladas como "autolesão" (self-harm) e todas as outras servem como controle. Um conjunto equilibrado de 600 postagens foi amostrado.
   O pré-processamento incluiu a remoção de postagens com menos de 20 caracteres, a remoção de URLs, o colapso de espaços em branco e a anonimização de menções.

Modelos:
Quatro transformadores ajustados por instrução foram analisados:

• Qwen3-0.6B (0,6B de parâmetros, 28 camadas)
• Llama 3.2-1B-Instruct (1B de parâmetros, 16 camadas)
• Llama 3.2-3B-Instruct (3B de parâmetros, 28 camadas)
• Gemma-3-4B-it (4B de parâmetros, 34 camadas)

Configuração Experimental:

1. Sondagem por Camada (Layer-wise Probing): Para cada camada $\ell$, os autores extraíram as ativações do fluxo residual do último token ($a_\ell$). Eles treinaram uma sonda de regressão logística com regularização $\ell_2$ usando validação cruzada estratificada de 5 dobras (5-fold stratified cross-validation). A métrica principal foi a média da ROC-AUC, reportada sem normalização prévia das ativações.
2. Análise de Direção Contrastiva: Seguindo Zou et al. (2023), os autores computaram um vetor de direção de autolesão contrastiva $d_\ell$ em cada camada como a diferença normalizada entre as médias das ativações das postagens de autolesão ($\bar{a}^+$) e das postagens de controle ($\bar{a}^-$).
   • Separabilidade: Medida usando o $d$ de Cohen nas projeções escalares das postagens sobre $d_\ell$ na camada de melhor separação.
   • Estabilidade: Avaliada via uma matriz de similaridade de cosseno $L \times L$ dos vetores de direção através das camadas para determinar se a direção permanece consistente ou rotaciona através da profundidade da rede.

Resultados Principais

1. Cristalização de Conceitos de Autolesão
Em todos os quatro modelos e ambos os conjuntos de dados, a informação de autolesão cristaliza-se consistentemente nas últimas 3 a 7% das camadas da rede (93% a 97% de profundidade).

• Desempenho: No conjunto de dados SH-Detection, todos os modelos alcançaram alto desempenho (AUC 0,923 a 0,972) com menor variância em comparação ao X-Sensitive. No X-Sensitive, o desempenho foi menor (AUC 0,703 a 0,817), provavelmente devido à presença de linguagem figurada e exemplos negativos mais sutis naquele corpus.
• Análise de Erro: Falsos negativos frequentemente envolveram linguagem figurada/metafórica ou contextos de terceira pessoa. Falsos positivos foram frequentemente postagens de defesa da saúde mental ou avisos de conteúdo que usavam vocabulário de crise sem transmitir angústia em primeira pessoa.

2. Separabilidade Geométrica vs. Precisão de Classificação
Uma descoberta crítica é que as sondas lineares mais precisas não são necessariamente as mais linearmente separáveis em termos de direções de diferença de média.

• Anomalia do Gemma-3-4B: O Gemma-3-4B alcançou o maior AUC de sonda no X-Sensitive (0,817), mas o menor $d$ de Cohen (0,71) entre os modelos.
• Interpretação: Os autores sugerem que o sinal de autolesão do Gemma não está concentrado em uma única direção, mas distribuído pelo espaço de ativação. Uma sonda linear pode encontrar um hiperplano que explora esse sinal distribuído, enquanto uma simples direção de diferença de média (Cohen's $d$) falha em capturar a separação total.
• Divergência: No Llama 3.2-3B, a direção contrastiva atingiu o pico de separabilidade (Cohen's $d$) na camada 14, bem antes das camadas finais onde o AUC da sonda continuou a subir, indicando que direções de meio de rede podem ser potentes, mas insuficientes para classificação precisa por si só.

3. Estabilidade Direcional
A direção contrastiva de autolesão não é estável através da profundidade da rede.

• Estrutura Diagonal de Bloco: Camadas adjacentes mostram alto alinhamento (similaridade de cosseno 0,76–0,92), mas direções do primeiro e do último terço da rede são quase ortogonais (similaridade de cosseno 0,14–0,38).
• Implicação: O conceito de autolesão é re-representado dinamicamente conforme passa pela rede; uma direção extraída em uma camada inicial não se transfere para as camadas tardias. O Gemma-3-4B exibiu a menor similaridade de cosseno entre camadas (0,135) no SH-D.

Significância e Alegações

O artigo afirma que suas descobertas pavimentam o caminho para estratégias de intervenção mais eficazes ao revelar a geometria interna das representações relevantes para a segurança. Especificamente:

• Engenharia de Representação: O estudo apoia o uso de engenharia de representação para entender os internos do modelo, indo além da detecção de caixa-preta para componentes explícitos e testáveis.
• Diferenças de Arquitetura: Os resultados destacam que diferentes modelos (por exemplo, Gemma vs. Llama) podem representar o mesmo conceito de segurança (autolesão) de maneiras estruturalmente diferentes (sinais concentrados vs. distribuídos), o que tem implicações para como os mecanismos de segurança podem precisar ser adaptados a arquiteturas específicas.
• Impacto da Qualidade dos Dados: A lacuna sistemática de desempenho entre os conjuntos de dados X-Sensitive e SH-Detection sugere que a qualidade da rotulagem e a composição do corpus afetam significativamente a qualidade representacional, um fator que deve ser considerado ao treinar ou avaliar modelos de segurança.

Os autores concluem que, embora os conceitos de autolesão cristalizem-se consistentemente nas camadas tardias, a natureza geométrica dessas representações é complexa e específica de cada modelo, desafiando a suposição de que exista uma única e estável "direção de segurança" através de todas as camadas e arquiteturas.