ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization

1. O Problema

A interpretabilidade de Grandes Modelos de Linguagem (LLMs) depende da capacidade de entender quais características (features) são codificadas por direções específicas no espaço de ativação latente do modelo. O método padrão para identificar essas características é a busca em conjuntos de dados (dataset search), onde o modelo é executado em um grande corpus para encontrar exemplos que ativem fortemente uma direção latente. No entanto, essa abordagem torna-se computacionalmente proibitiva para latentes aprendidos por técnicas alternativas (como Autoencoders Esparsos - SAEs) ou para subcomponentes complexos (circuitos).

Uma alternativa é a visualização de características (feature visualization), que otimiza prompts de entrada para maximizar a ativação de uma direção alvo. Contudo, a aplicação dessa técnica em LLMs enfrenta dois grandes obstáculos:

1. Natureza Discreta do Texto: Diferente das imagens, o texto é discreto, o que impede o uso direto de descidas de gradiente contínuas.
2. Mínimos Locais: O espaço de busca de prompts é vasto e propenso a mínimos locais, onde métodos de otimização existentes (como GCG ou busca em feixe simples) frequentemente falham ou convergem para soluções subótimas (ex: "gibberish" ou padrões não interpretáveis).

2. Metodologia: ADAPT

Os autores propõem o ADAPT (Adaptive DynAmic Prompt Tuning), um método híbrido de otimização de prompts projetado especificamente para superar as falhas das abordagens anteriores. O método combina três componentes principais:

A. Inicialização por Busca em Feixe (Beam Search Initialization)

• Motivação: A escolha da inicialização afeta drasticamente se o algoritmo encontrará um prompt altamente ativador. O GCG (Greedy Coordinate Gradient) é sensível à inicialização aleatória.
• Implementação: O ADAPT inicia com múltiplos "feixes" (beams) de sequências de tokens. Em vez de apenas adicionar tokens à direita (como no BEAST), o ADAPT realiza inserções no meio da sequência e substituições, explorando o contexto à esquerda e à direita. Isso permite uma exploração mais ampla do espaço de busca antes da fase de refinamento, evitando a estagnação prematura em mínimos locais.

B. Geração de Candidatos Híbrida (Hybrid Mutation)

• O algoritmo mantém uma população adaptativa de prompts e gera candidatos através de dois mecanismos de mutação, selecionados probabilisticamente:
  1. Trocas Guiadas por Gradiente (GCG-style): Utiliza uma estimativa de gradiente sobre a representação one-hot dos tokens para identificar quais substituições reduziriam a perda (aumentariam a ativação).
  2. Trocas de Logit (Logit-swaps): Uma abordagem livre de gradiente (inspirada no EPO) que amostra tokens baseados nas probabilidades do próprio modelo.
• Vantagem: A mistura adaptativa equilibra a exploração (logit-swaps, que são computacionalmente mais baratos e exploram a distribuição do modelo) com a exploração (gradiente, que busca refinamento local).

C. Avaliação e Seleção com Preservação de Diversidade

• Gestão de Slots: O sistema mantém grupos independentes de prompts para evitar a convergência rápida para variações menores do mesmo prompt (um problema comum no EPO).
• Slots Garantidos vs. Livres: Cada grupo tem "slots garantidos" para manter seu melhor prompt histórico, enquanto "slots livres" são preenchidos pelos melhores candidatos globais. Isso preserva a diversidade de soluções independentes.
• Penalidade de Fluência: Uma função de penalidade de entropia cruzada (fluência) é aplicada de forma gradual (schedule sigmoidal) ao longo das iterações. Inicialmente, a otimização foca na ativação; posteriormente, a fluência é penalizada para garantir que os prompts gerados sejam semanticamente coerentes e interpretáveis.

3. Contribuições Principais

1. Algoritmo ADAPT: Introdução de um novo algoritmo que supera as linhas de base existentes ao combinar inicialização por busca em feixe com mutações guiadas por gradiente e baseadas em logit.
2. Novas Métricas de Avaliação: Proposição de métricas baseadas em estatísticas de ativação em conjuntos de dados (Razão de Ativação e RANK de Ativação) para permitir uma comparação rigorosa entre técnicas, superando a dependência de avaliações subjetivas.
3. Análise de Falhas: Investigação detalhada das falhas de métodos existentes (GCG, BEAST, EPO), demonstrando que o GCG tem uma baixa relação sinal-ruído em suas estimativas de gradiente e é altamente sensível à inicialização, enquanto métodos puramente livres de gradiente carecem de refinamento fino.
4. Validação de Fluência: Demonstração de que penalidades de fluência não são apenas para evitar "gibberish", mas são cruciais para a interpretabilidade humana, e que o ADAPT gera prompts significativamente mais interpretáveis do que o GCG padrão.

4. Resultados Experimentais

Os experimentos foram realizados utilizando latentes de Autoencoders Esparsos (SAEs) do modelo Gemma 2 2B.

• Desempenho Geral: O ADAPT superou consistentemente os métodos de base (GCG, BEAST e EPO) em todas as camadas do modelo e tipos de latentes.
  • O ADAPT alcançou ativação superior ao GCG em 70,4% dos recursos (p < 10⁻²⁸).
  • Enquanto o GCG tende a falhar em camadas mais profundas e o BEAST em camadas iniciais, o ADAPT mantém um perfil de desempenho constante.
• Robustez: O método mostrou-se menos sensível à inicialização e à trajetória de otimização devido à sua estratégia de múltiplos feixes e grupos independentes.
• Interpretabilidade Humana: Em uma avaliação manual com 60 latentes, o ADAPT obteve uma pontuação média de interpretabilidade significativamente maior (4.44 em uma escala de 5) comparado ao GCG padrão (3.86) e ao GCG com penalidade de fluência (3.78).
• Correlação: Houve uma forte correlação (r = 0.645) entre a magnitude da ativação e a interpretabilidade humana, validando que a otimização de ativação recupera padrões de características reais e não apenas artefatos.
• Extensão: O método foi estendido com sucesso para otimização de objetivos duplos (dois latentes simultaneamente), demonstrando capacidade de encontrar contextos semânticos que satisfazem múltiplas restrições.

5. Significado e Conclusão

O artigo estabelece que a visualização de características para LLMs é tratável, mas requer suposições de design específicas para lidar com a natureza discreta do texto e a paisagem de perda complexa.

O ADAPT oferece uma ferramenta robusta para a pesquisa em interpretabilidade, permitindo a visualização de vetores de direção, componentes de circuitos e outras direções latentes onde a busca exaustiva em conjuntos de dados é inviável. A principal lição do trabalho é que a otimização de prompts para LLMs não pode ser uma aplicação direta de técnicas de visão computacional ou de otimização adversarial; ela exige uma abordagem híbrida que equilibre exploração global (busca em feixe), refinamento local (gradiente) e manutenção de diversidade para evitar mínimos locais.