Resumo Técnico: Recuperação é Suficiente: Interpretabilidade Sem Treinamento com um Agente de Uso de Ferramentas

Declaração do Problema

O campo da interpretabilidade de redes neurais tem se deslocado cada vez mais para métodos baseados em treinamento, como Autoencoders Esparsos (SAEs) e Oráculos de Ativação. Esses métodos dependem de conjuntos de dados de treinamento em larga escala para aprender dicionários de características ou ajustar LLMs para verbalizar vetores de ativação. A suposição predominante é que esses sistemas aprendidos extraem insights que vão além do que é recuperável dos próprios dados de treinamento por meio de simples recuperação e álgebra linear clássica.

Este artigo desafia essa suposição, propondo a seguinte questão central: Os métodos baseados em treinamento revelam insights além do que é recuperável de seus dados de treinamento via recuperação e ferramentas clássicas? Os autores hipotetizam que os atuais métodos baseados em treinamento podem funcionar primariamente como "bancos de dados com perda" (lossy databases), comprimindo pares de ativação-contexto em um dicionário fixo ou modelo ajustado, perdendo assim a capacidade de descobrir conceitos mal representados no corpus original sem o retreinamento.

Metodologia: HARP

Para testar essa hipótese, os autores propõem o HARP (Hypothesis-driven Agentic Retrieval and Probing — Recuperação e Sondagem Agêntica Baseada em Hipóteses), um pipeline agêntico e livre de treinamento para interpretar vetores de ativação.

Componentes Principais

1. Construção de Banco de Dados Vetorial:

   • As ativações são extraídas de um corpus genérico (um subconjunto de The Pile) emparelhadas com seus contextos textuais.
   • Para cada posição de token, o fluxo residual (residual-stream) e uma janela de texto circundante são registrados.
   • As ativações são corrigidas de viés (centralizadas subtraindo a média do corpus) para remover a variância sem conteúdo.
   • O banco de dados é indexado usando Milvus com busca de produto interno aproximado.

2. O Loop Agêntico:

   • O HARP emprega um agente de LLM (usando gpt-4o-mini) equipado com um toolkit específico de operações de álgebra linear e ferramentas de recuperação de banco de dados.
   • Recuperação: O agente consulta o banco de dados em busca dos $k$ vizinhos mais próximos de uma ativação alvo (após projetar para fora os principais componentes para evitar vizinhos genéricos).
   • Formação de Hipótese: O agente inspeciona os trechos de texto recuperados para identificar um tema semântico coerente.
   • Construção de Conceito: O agente constrói um "vetor de conceito" que representa este tema. Isso é feito via difference_of_means (média de vetores recuperados positivos e subtração de um vetor zero ou amostras negativas) ou subspace_projection (ajuste de componentes principais a um cluster de vetores).
   • Verificação e Iteração: O vetor de conceito construído é projetado para fora da ativação alvo original. O agente então reconsulta o banco de dados com o vetor residual. Se o tema original desaparecer dos $k$ vizinhos mais próximos, o conceito é aceito. O processo se repete no residual para "descascar" e descobrir múltiplos conceitos distintos dentro de uma única ativação.

3. Conjunto de Ferramentas (Toolset):

   • query_vector_db: Recupera ativações similares.
   • get_activations: Gera exemplos negativos direcionados executando textos de sondagem escritos pelo agente através do modelo.
   • difference_of_means / subspace_projection: Constrói direções ou subespaços de conceito.
   • project_out: Remove conceitos identificados do vetor alvo.
   • check_reconstruction / dot_product: Ferramentas diagnósticas para verificação.

4. Habilidades (Skills):

   • O comportamento do agente é guiado por "skills" leves (instruções de alto nível) adaptadas a tarefas específicas (ex: discover_concepts, elicit_secrets, detect_specific_concept). Isso permite que o HARP seja reaproveitado em diversas tarefas sem treinamento.

Contribuições Principais

1. Reenquadramento da Interpretabilidade: O artigo postula que os métodos baseados em treinamento podem agir como compressões com perda de seus dados de treinamento, enquanto uma abordagem baseada em recuperação com ferramentas lineares pode alcançar desempenho comparável ou superior sem a rigidez de um conjunto de treinamento fixo.
2. Sistema HARP: A introdução de um agente modular, livre de treinamento, que combina recuperação vetorial com manipulação algébrica linear para descobrir, detectar e direcionar conceitos.
3. Evidência Empírica: Demonstração de que o HARP iguala ou supera o desempenho de SAEs e Oráculos de Ativação em quatro tarefas distintas de interpretabilidade.
4. Flexibilidade e Custo: Destaca que o HARP permite a expansão sob demanda de conjuntos de dados (indexação de novos documentos) sem retreinamento, uma capacidade ausente em SAEs e Oráculos.

Resultados Experimentais

Os autores avaliam o HARP contra um SAE pré-treinado (gemma-scope-9b-pt-res) e um Oráculo de Ativação (Gemma-2-9B-IT ajustado) no modelo gemma-2-9b.

1. Descoberta de Conceitos Não Supervisionada:

   • Tarefa: Identificar os principais conceitos em vetores de ativação de conjuntos de dados BILLS (resumos legislativos) e WIKI.
   • Métrica: Cobertura (quantos conceitos de base foram encontrados) e Importância (especificidade do conceito).
   • Resultado: O HARP supera ambos os baselines em cobertura (ganho de 1,9× sobre o SAE, 1,6× sobre o Oráculo) e importância. Crucialmente, o loop iterativo de "projeção para fora" do HARP evita redundâncias, enquanto o Oráculo frequentemente repete o mesmo tema.
   • Estudo de Caso: Quando o corpus inicial carecia de documentos legais, o HARP recuperou o desempenho simplesmente indexando um pequeno conjunto de textos legais. SAEs e Oráculos não puderam se adaptar sem retreinamento.

2. Detecção e Direcionamento de Conceitos:

   • Tarefa: Detectar conceitos específicos (do benchmark AXBENCH) e direcionar o modelo para gerar texto contendo esses conceitos.
   • Métrica: ROC-AUC para detecção; pontuação LM-judge para qualidade de direcionamento (steering).
   • Resultado: O HARP alcança uma média de AUC de 0,892 (vs. 0,877 para o Oráculo e 0,704 para o SAE). Em "negativos difíceis" (distratores intimamente relacionados ao conceito), o HARP supera significativamente o Oráculo (0,856 vs. 0,756), sugerindo que o Oráculo depende de pistas superficiais. No direcionamento, o HARP supera os SAEs por uma margem larga (0,20 vs. 0,02 na pontuação LM-judge).

3. Elicitação de Segredos:

   • Tarefa: Recuperar atributos ocultos (palavras secretas ou gênero do usuário) de modelos ajustados para não verbalizarem tais atributos.
   • Resultado:
     • Palavras Secretas: O Oráculo lidera (80% de precisão) devido ao seu treinamento em perguntas do tipo LatentQA, mas o HARP fecha a lacuna significativamente (73%) usando apenas uma busca de vizinho mais próximo. Isso sugere que a vantagem do Oráculo é amplamente devida à capacidade de recuperação.
     • Gênero: O HARP supera o Oráculo (94% vs. 91% de precisão) ao construir uma sonda de par de contraste precisa, demonstrando desempenho superior quando o atributo oculto corresponde a uma direção de baixa dimensão.

Significância e Alegações

O artigo conclui que a recuperação é frequentemente suficiente para tarefas de interpretabilidade. Os resultados sugerem que os métodos atuais baseados em treinamento ainda não extraem insights que vão além do que pode ser recuperado de seus dados de treinamento via recuperação e ferramentas lineares clássicas.

• Limite Inferior vs. Limite Superior: Os autores enquadram seus resultados como um limite inferior do que a recuperação pode alcançar, implicando que os métodos baseados em treinamento devem demonstrar a capacidade de desbloquear insights além da pura recuperação para justificar sua complexidade e custo.
• Modularidade: O design do HARP permite que componentes modulares (dataset, agente, toolkit) sejam trocados ou estendidos independentemente, oferecendo uma flexibilidade que os métodos baseados em treinamento não possuem.
• Direção Futura: O trabalho motiva a criação de benchmarks que exijam explicitamente que os métodos de interpretabilidade demonstrem insights que não podem ser recuperados através de simples recuperação, empurrando o campo em direção a métodos que realmente aprendam novas representações, em vez de apenas comprimir dados existentes.

Os autores disponibilizam seu código em https://github.com/SriramB-98/HARP.