Resumo Técnico: Interpretabilidade Automatizada e Descoberta de Características em Modelos de Linguagem com Agentes

Declaração do Problema

A interpretabilidade mecânica visa compreender as representações internas de grandes modelos de linguagem (LLMs) para determinar como conceitos, comportamentos ou propriedades de segurança específicos são codificados. Embora avanços recentes, como Autoencoders Esparsos (SAEs), tenham decomposto ativações densas em características esparsas e interpretáveis, os métodos existentes de interpretabilidade automatizada sofrem com duas limitações primárias:

1. Fragilidade de Explicações de Uma Única Tentativa: As abordagens automatizadas atuais geralmente geram uma única descrição em linguagem natural de uma característica com base em seus exemplos de ativação mais altos. Esses rótulos de "uma única tentativa" frequentemente dependem de evidências limitadas, não levam em conta restrições específicas (por exemplo, linguísticas ou estruturais) e são propensos a serem falsificados por contraexemplos.
2. O Gargalo da Descoberta: A maioria dos fluxos de trabalho assume que a característica de interesse já é conhecida. Em cenários realistas, os usuários começam com perguntas de alto nível (por exemplo, "encontrar características relacionadas a um idioma específico" ou "encontrar características relevantes para segurança") sem saber quais das milhares de características disponíveis inspecionar. A descoberta sistemática e não supervisionada de características permanece um gargalo significativo e subatendido no campo.

Metodologia: InterpAgent

Os autores introduzem o InterpAgent, um framework multiagente autônomo que unifica a descoberta de características e o refinamento de hipóteses em um único loop empírico iterativo. O sistema opera por meio de um supervisor coordenando dois subagentes especializados dentro de um ambiente de execução compartilhado:

1. FeatureFinder (Descoberta Estatística)

Este agente aborda o gargalo da descoberta. Dado um conjunto de prompts rotulados por categorias de alto nível (por exemplo, idioma, tópico ou segurança), ele identifica características candidatas que diferenciam de forma confiável esses grupos.

• Processo: Ele constrói uma matriz de ativação a partir das representações internas do modelo, aplica PCA para redução de dimensionalidade e constrói um grafo de k-vizinhos mais próximos (k-NN) no espaço incorporado.
• Agrupamento e Teste: Usando detecção de comunidades em grafos (algoritmo Leiden), ele agrupa prompts. Em seguida, realiza testes estatísticos (teste de soma de postos de Wilcoxon com correção de Benjamini–Hochberg) para encontrar características enriquecidas em agrupamentos específicos.
• Filtragem: Candidatos são filtrados por significância ajustada, tamanho do efeito (d de Cohen) e mudança logarítmica de dobra para garantir relevância prática, gerando uma lista classificada de IDs de características com evidências de suporte.

2. FeatureExplainer (Refinamento Iterativo de Hipóteses)

Este agente transforma uma característica candidata em uma explicação robusta e auditável por meio de um loop "proponha–teste–revise".

• Geração de Hipóteses: Começa com hipóteses iniciais (de baselines ou ativações principais) e mantém hipóteses concorrentes.
• Teste de Estresse: Para cada hipótese, o agente gera suites de prompts contrastivos (positivos previstos e controles negativos correspondentes) e as executa no modelo alvo para registrar ativações.
• Avaliação Multimetria: As hipóteses são pontuadas em uma bateria de sete métricas:
  1. F1 de Detecção (discriminabilidade)
  2. F1 de Fuzzing (robustez a perturbações de tokens)
  3. AUROC de Surpresa (coerência)
  4. Similaridade de Incorporação (alinhamento semântico)
  5. Separabilidade Estatística (valor-p)
  6. Tamanho do Efeito (d de Cohen)
  7. Coerência de LLM como Juiz
• Refinamento: O agente classifica as hipóteses, identifica modos de falha nas métricas mais fracas e propõe revisões direcionadas. O loop continua até a convergência ou o alcance de um orçamento fixo.
• Detecção de Polissemia: Se múltiplas hipóteses semanticamente distintas alcançarem suporte comparável, a característica é sinalizada como polissêmica, e todas as interpretações concorrentes são relatadas em vez de forçar um único rótulo.

Contribuições Principais

1. Framework Unificado: A introdução do InterpAgent, que combina descoberta não supervisionada de características e refinamento iterativo de hipóteses em um único loop orientado por linguagem natural, produzindo rastros auditáveis para cada etapa.
2. Algoritmo de Descoberta Estatística: Um pipeline inovador (FeatureFinder) que utiliza agrupamento de grafos k-NN e análise de ativação diferencial para recuperar características marcadoras específicas de categoria sem conhecimento prévio de IDs de características.
3. Pipeline de Refinamento Iterativo: Um processo rigoroso de explicação (FeatureExplainer) que utiliza uma bateria de avaliação de 7 métricas para afiar hipóteses, detectar polissemia e produzir explicações falseáveis.
4. Generalizabilidade: Demonstração de que o framework se aplica não apenas a características de SAE, mas também diretamente a ativações de neurônios MLP brutos em transformadores esparsos em pesos, recuperando circuitos identificados manualmente sem SAEs.

Resultados

O framework foi avaliado na família de modelos Gemma-2 e em transformadores esparsos em pesos.

• Desempenho de Refinamento: O refinamento iterativo superou consistentemente as autointerpretações de uma única tentativa. Na família Gemma-2, hipóteses refinadas foram selecionadas como a melhor explicação para aproximadamente 80% das características (usando Gemini 2.5 Pro e Claude 4 Sonnet) e 64% (usando GPT-4o-mini). As melhorias corrigiram principalmente restrições ausentes e rótulos excessivamente amplos dentro da primeira ou duas iterações.
• Precisão da Descoberta: O algoritmo FeatureFinder recuperou com sucesso características específicas de idioma (em 20 idiomas) e categorias não linguísticas (codificação, matemática, segurança) com alta significância estatística. A abordagem de grafo k-NN superou significativamente as bases de agrupamento padrão (K-Means, Aglomerativo) ao alinhar o espaço de ativação com a identidade do idioma.
• Estudos de Caso:
  • Convergência Monossêmica: O agente refinou com sucesso um rótulo vago de "conhecimento tecnológico" em uma explicação específica de "sintaxe francesa informal em solução de problemas técnicos".
  • Detecção de Polissemia: O sistema identificou corretamente uma característica com hipóteses concorrentes de "codificação/equações" e "discurso técnico-científico", sinalizando-a como polissêmica em vez de forçar um único rótulo.
  • Auditoria de Segurança: O agente descobriu uma característica relacionada a "explosivos", validou-a e demonstrou que a intervenção causal (direcionamento de ativação negativa) reduziu o comportamento de recusa em prompts sensíveis à segurança, confirmando o papel funcional da característica no circuito de recusa.
• Descoberta de Neurônios Brutos: Aplicado a neurônios MLP brutos em um transformador esparsos em pesos, o agente redescobriu automaticamente neurônios previamente identificados por especialistas humanos por meio de análise manual de circuitos, alcançando mais de 75% de precisão média de validação.

Significado e Alegações

O artigo argumenta que a interpretabilidade deve ser tratada não como uma tarefa estática de rotulagem, mas como um processo experimental envolvendo proposta de hipóteses, teste e revisão. Ao automatizar esse fluxo de trabalho, o InterpAgent produz explicações que são:

• Mais Nítidas e Mais Falseáveis: Indo além de rótulos frágeis de uma única tentativa para explicações validadas contra contraexemplos e métricas quantitativas.
• Auditáveis: Fornecendo um rastro completo de hipóteses, casos de teste, métricas e intervenções.
• Escaláveis: Capazes de lidar com a descoberta de características do zero, abordando o gargalo de identificar quais características explicar em grandes modelos.

Os autores afirmam que essa abordagem orientada por agentes produz insights mais robustos do que os métodos automatizados atuais e destaca o potencial para auditoria sistemática de bibliotecas de características em escalas atualmente impraticáveis para análise manual. Eles observam que a eficácia do sistema escala com as capacidades do LLM subjacente usado para geração e refinamento de hipóteses.