Resumo Técnico: Descoberta de Características Não Supervisionada através do Alinhamento de Semântica e Mecanismos

Declaração do Problema

À medida que os grandes modelos de linguagem (LLMs) são implementados em domínios de alto risco, há uma necessidade crescente de auditar não apenas os outputs dos modelos, mas os cálculos internos que os geram. Embora a interpretabilidade mecanística ofereça ferramentas para explicar comportamentos específicos, a abordagem dominante, a análise de circuitos, é tipicamente condicionada ao alvo. Isso significa que os analistas devem especificar um único prompt e um alvo de conclusão escolhido para identificar o circuito causal.

Esta configuração condicionada ao alvo apresenta duas limitações críticas:

1. Generalização: Não está claro se um mecanismo identificado para uma conclusão específica se generaliza para paráfrases semanticamente semelhantes ou se reflete uma dependência frágil de uma forma de superfície específica.
2. Heterogeneidade Oculta: Mesmo para um alvo fixo, a análise de alvo único pode obscurecer a heterogeneidade na computação interna. Outputs semanticamente semelhantes podem depender de padrões de ativação interna distintos que a análise de alvo único falha em capturar.

As avaliações comportamentais atuais são limitadas a correlações de entrada-saída, enquanto os métodos mecanísticos existentes frequentemente exigem a especificação manual de alvos, podendo perder os diversos "modos de continuação" que um modelo pode produzir para um único prompt.

Metodologia

Os autores propõem um framework para a descoberta de características não supervisionada ao nível da distribuição. Em vez de analisar um único alvo, o método agrupa a distribuição de amostragem de continuação de um modelo através do alinhamento conjunto de conteúdo semântico e atribuições mecanísticas ao nível da sequência.

O framework opera em três estáções:

1. Amostragem de Continuação

Dado um prefixo de entrada $x$, o modelo amostra $N$ continuações distintas $y^{(n)}$ usando amostragem de núcleo (nucleus sampling). Cada continuação é atribuída a uma probabilidade normalizada pelo comprimento $P_n$, representando sua verossimilhança sob a distribuição do modelo. Estas probabilidades são usadas para ponderar as contribuições de cada continuação durante o agrupamento (clustering).

2. Representação Dual

Cada continuação amostrada é representada por duas visões complementares:

• Embedding Semântico ($e_n$): Captura o significado linguístico da continuação no contexto, tipicamente derivado de um modelo de embedding pré-treinado (ex: EmbeddingGemma).
• Embedding Mecanístico ($a_n$): Captura como as características do prefixo afetam os logits da continuação. Isso é computado usando transcoders (autoencoders esparsos treinados para aproximar camadas MLP) para decompor as computações de MLP em características esparsas interpretáveis. O vetor de atribuição $a_n$ agrega a atribuição linear direta das características do prefixo aos logits desmeados ao longo de todo o span da continuação.

3. Agrupamento Conjunto via Taxa-Distorção

A inovação central é formular a descoberta latente como um problema de otimização taxa-distorção. O objetivo é encontrar um agrupamento que minimize a distorção (erro de reconstrução) em ambas as visões, semântica e mecanística, enquanto minimiza a taxa (entropia das atribuições de cluster).

A função objetivo é:
$$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$$
Onde:

• $H(C)$ é a entropia da priori do cluster (Taxa).
• $D(e)$ e $D(a)$ são distorções ponderadas pela probabilidade nos espaços semântico (L2) e de atribuição (L1), respectivamente.
• $\beta$ controla o equilíbrio entre compressão (menos clusters) e fidelidade (baixa distorção).
• $\gamma$ equilibra o peso entre as visões semântica e mecanística ($\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$).

Operações Adaptativas: Ao contrário do K-means, que fixa $K$ a priori, este framework utiliza operações de Split (Divisão) e Junk (Descarte) para ajustar adaptativamente o número de clusters:

• Split: Divide um cluster heterogêneo se a redução na distorção superar o custo do aumento da entropia (taxa).
• Junk: Remove clusters espúrios que capturam ruído em vez de modos coerentes, caso a reatribuição de seus membros reduza o objetivo total.

Principais Contribuições

1. Análise ao Nível da Distribuição: O artigo introduz o primeiro framework para agrupar a distribuição de continuação de um modelo usando tanto a estrutura semântica quanto a atribuição mecanística ao nível da sequência, indo além da análise de alvo único.
2. Otimização Conjunta: Demonstra que a otimização conjunta da coerência semântica e da consistência mecanística revela modos de continuação que os baselines de visão única (apenas semântica ou apenas atribuição via K-means) perdem.
3. Validação Causal via Direcionamento (Steering): Os autores fornecem evidência intervencional de que as assinaturas de cluster descobertas correspondem a fatores mecanísticos acionáveis. Ao direcionar (steering) ao longo das direções derivadas dos clusters (usando medoides), eles mostram mudanças direcionais e consistentes na preferência do modelo pelas continuações dentro daquele cluster.
4. Controle de Granularidade: O framework permite que os usuários controlem a granularidade dos modos descobertos ao realizar o annealing do parâmetro $\beta$, revelando estruturas hierárquicas onde clusters mais finos herdam assinaturas mecanísticas de clusters mais grosseiros.

Resultados Experimentais

O método foi avaliado no AmbigQA (usando Qwen3-8B) e MMLU, com experimentos adicionais no Gemma3 e tarefas de raciocínio (GSM8K, MATH500).

• Desempenho de Agrupamento: Em comparações de taxa equivalente, o agrupamento de Taxa-Distorção (RD) proposto alcançou a menor distorção mista ($D_\gamma$) em 94% das configurações em comparação com os baselines de K-means (KM-S para apenas semântica, KM-A para apenas atribuição). O KM-S preservou a coerência semântica, mas falhou na consistência mecanística, enquanto o KM-A apresentou o modo de falha oposto.
• Análise de Granularidade: A variação de $\beta$ revelou uma estrutura hierárquica. Por exemplo, um cluster grosseiro definido por "estilo de formatação" (ex: artista solo vs. banda) dividiu-se em clusters mais finos baseados em detalhes de conteúdo específicos (ex: listar membros da banda vs. descrições de gênero) conforme $\beta$ aumentava.
• Validação de Direcionamento (Steering): Experimentos de steering confirmaram relações causais. As direções de medoides derivadas de RD produziram correlações fortes e monotônicas entre a força do direcionamento ($\epsilon$) e as mudanças nos logits do alvo-cluster. Em contraste, os baselines de apenas semântica (KM-Sem) mostraram correlações próximas de zero, e os baselines de alvo único foram mais fracos e menos consistentes.
• Tarefas de Raciocínio: Nos benchmarks de raciocínio, o método identificou com sucesso que passos de raciocínio anteriores específicos influenciam causalmente clusters de passos alvo específicos, com os efeitos mais fortes observados entre os primeiros passos da fonte e os alvos posteriores.

Significância e Alegações

O artigo afirma que esta abordagem complementa a análise de circuito convencional e a avaliação comportamental ao fornecer uma auditoria escalável dos mecanismos subjacentes à distribuição de continuação do modelo.

• Complementaridade: Reduz a dependência de alvos escolhidos manualmente, trazendo à tona hipóteses mecanísticas suportadas por steering de nível de cluster. Usuários podem primeiro descobrir clusters e depois rastrear os circuitos específicos associados a um cluster selecionado.
• Mecanismos Acionáveis: Os modos descobertos não são meramente descritivos; eles correspondem a fatores mecanísticos acionáveis que podem ser manipulados para mudar o comportamento do modelo de formas previsíveis.
• Limitações: Os autores reconhecem limitações relativas ao overhead computacional (devido à necessidade de passagens de retropropagação para atribuição) e à falta de um framework principiológico para atribuir rótulos interpretáveis por humanos aos clusters. Eles observam que a validação sob intervenção não garante a unicidade das características identificadas, exigindo inspeção contrafactual adicional.

Em resumo, o trabalho propõe uma mudança da análise de pares isolados de entrada-saída para a análise da distribuição de continuações, oferecendo uma lente mais robusta para compreender as computações internas heterogêneas de grandes modelos de linguagem.