Resumo Técnico: Geração Direcionada via Otimização Baseada em Gradiente em Características de Consulta Esparsas

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em cenários do mundo real exige adesão precisa a restrições definidas pelo usuário relacionadas a estilo, segurança e consistência lógica. Embora a engenharia de prompts seja uma estratégia prevalente, ela frequentemente se mostra ineficaz para restrições complexas, particularmente em modelos open-source menores, pois as instruções podem ser diluídas em contextos longos ou exigir demonstrações excessivas de aprendizado em contexto que incorrem em alto custo computacional.

Os métodos existentes de direcionamento no espaço latente (engenharia de ativações) intervêm diretamente nas ativações internas do modelo usando vetores de direcionamento estáticos. No entanto, esses métodos geralmente operam em espaços de ativação densos (por exemplo, o fluxo residual), que sofrem com a "hipótese de superposição", onde características semânticas distintas estão emaranhadas. Intervenções nesses espaços densos podem sobrescrever o contexto, induzir efeitos colaterais indesejados e carecer da precisão necessária para restrições rígidas (por exemplo, validade lógica) ou controle estilístico sutil.

2. Metodologia

Os autores propõem Direcionamento Esparsos Baseado em Protótipos, um framework que combina Autoencoders Esparsos (SAEs) com otimização baseada em gradiente para direcionar a geração no momento da inferência. A hipótese central é que as ativações de consulta de atenção servem como uma superfície de controle de alta fidelidade, oferecendo maior capacidade de direcionamento do que intervenções de estado gerais.

2.1. Local de Intervenção: Ativações de Consulta

Em vez de modificar o fluxo residual, o método intervém nas ativações de consulta de autoatenção. As consultas parametrizam como os tokens recuperam informações do contexto. Os autores argumentam que modificar as consultas permite controle localizado sobre quais informações são recuperadas, sem sobrescrever diretamente o estado residual acumulado, reduzindo assim a distorção global.

2.2. Representação Esparsa via SAEs

Para desentrelaçar características, o framework aplica um Autoencoder Esparso (SAE) às ativações de consulta em uma camada de intervenção específica $\ell$.

• Arquitetura: Um autoencoder ReLU de camada única ($Enc$e$Dec$) é treinado por cabeça de atenção de consulta.
• Objetivo: O SAE é treinado para reconstruir a ativação $s$ a partir de uma representação latente esparsa $z$, minimizando a perda de reconstrução, uma penalidade de esparsidade L1 ($\lambda \|z\|_1$) e um termo de decaimento de viés.
• Resultado: Isso decompõe as ativações de consulta densas em um conjunto esparsa de características interpretáveis, fatorizando direções de controle.

2.3. Otimização Baseada em Gradiente com Protótipos

Em vez de adicionar um vetor de direcionamento estático, o método trata o controle como um problema de otimização.

1. Definição de Protótipo: Para cada classe de atributo alvo $k$ (por exemplo, "Caminho Seguro", "Avaliar" na Taxonomia de Bloom), um centro de protótipo $c_k$ é computado como a média das representações latentes esparsas de um conjunto de suporte de exemplos de treinamento.
2. Objetivo de Otimização: Dada uma geração inicial, a representação latente esparsa $z$ é otimizada via ascensão de gradiente para maximizar a probabilidade do atributo alvo $k_T$. A probabilidade é definida por um softmax sobre distâncias negativas a todos os protótipos de classe:
   $$P_\phi(a = k_T | z) = \frac{\exp(-d_{k_T})}{\sum_{j=1}^K \exp(-d_j)}$$
   onde $d_k = \|z - c_k\|_2^2$.
3. Procedimento: O latente $z$ é atualizado iterativamente ($z^{(t+1)} = z^{(t)} + \eta \nabla_z \log P_\phi$) até a convergência. O latente otimizado é então decodificado de volta ao espaço de ativação e injetado no modelo para continuar a geração.

3. Contribuições Principais

1. Otimização de Consulta Esparsa Baseada em Protótipos: A formulação do controle no momento da inferência como otimização baseada em gradiente sobre latentes de consulta esparsos, usando um objetivo de distribuição de protótipos. Isso permite direcionamento adaptativo enquanto mantém os pesos do modelo base fixos.
2. Fidelidade de Controle em Nível de Consulta: Evidência quantitativa demonstrando que as ativações de consulta de atenção fornecem um local de intervenção mais local e com menor distorção do que o fluxo residual. Intervenções em nível de consulta exibem desvio de ativação entre camadas limitado e menor divergência de Jensen–Shannon (JSD) do próximo token em forças de direcionamento equivalentes.
3. Dados de Avaliação Orientados a Direcionamento: A construção de um novo conjunto de dados para direcionamento de estilo cognitivo baseado na Taxonomia de Bloom e um subconjunto filtrado do Textualized Gridworld (TGW) projetado para caminhos seguros, curtos e longos mutuamente distintos, permitindo avaliação baseada em regras.
4. Validação Experimental: Avaliação abrangente em restrições rígidas de planejamento (TGW), controle de estilo cognitivo suave (Taxonomia de Bloom) e direcionamento de veracidade (TruthfulQA).

4. Resultados

4.1. Restrições Rígidas (Textualized Gridworld)

No ambiente TGW, onde os caminhos devem satisfazer restrições estritas de validade e atributo (mais curto, mais seguro, mais longo):

• Desempenho: O método proposto (SAE-OPT) alcançou as taxas de sucesso mais altas ou empatadas com as mais altas em três modelos de pesos abertos (Qwen, Phi, LLaMA) em comparação com baselines incluindo Aprendizado em Contexto (ICL), Adição de Ativação Contrastiva (CAA) e direcionamento SAE estático.
• Validade: Crucialmente, o método manteve baixas taxas de violação lógica. Ao contrário das intervenções no fluxo residual denso, que frequentemente quebravam a validade do caminho, o direcionamento em nível de consulta reorientou os caminhos dentro da variedade válida.
• Comparação: A otimização baseada em gradiente de protótipos superou vetores de direcionamento estáticos, particularmente em alvos difíceis como caminhos "Seguros" e "Longos".

4.2. Controle Semântico Suave (Taxonomia de Bloom)

Em um domínio de feedback educacional, o método direcionou a complexidade cognitiva do feedback (Lembrar, Entender, Aplicar, Analisar, Avaliar, Criar):

• Precisão: O SAE-OPT alcançou as maiores taxas médias de acerto na classificação do nível cognitivo pretendido, com ganhos significativos em alvos discriminativos como "Lembrar" e "Criar".
• Relevância: O método manteve alta relevância para o código de entrada, enquanto os métodos de fluxo residual mostraram menor relevância, sugerindo que intervenções em consultas redirecionam o estilo sem deslocar a fundamentação.
• Avaliação AxBench: O método alcançou as maiores pontuações de média harmônica em 5 dos 6 níveis de Bloom, demonstrando melhor adesão ao conceito sem sacrificar o seguimento de instruções ou a fluência.

4.3. Veracidade e Custo Distribucional (TruthfulQA)

• Precisão vs. Distorção: No TruthfulQA, o método baseado em gradiente (Dense-opt) alcançou pontuações mais altas de veracidade/informatividade (%T×I) enquanto reduzia a JSD média (custo distribucional) em mais de uma ordem de magnitude em comparação com baselines de adição de vetores estáticos.
• Eixo de Otimização: Isso confirma que atualizações baseadas em gradiente incorrem em menor distorção distribucional do que a adição de vetores estáticos, mesmo quando aplicadas ao mesmo local de intervenção.

4.4. Benefícios da Esparsidade

Comparando regularização L1 (esparso) vs. L2 (denso) no autoencoder:

• Desentrelaçamento: A regularização L1 reduziu significativamente o "desvio não alvo" (movimento colateral na geometria de protótipos não alvo). O L1 forneceu uma interface de direcionamento mais limpa, alcançando convergência de alvo com menos interferência em outros atributos.

5. Significado e Alegações

O artigo alega que representações de consulta esparsas fornecem o desentrelaçamento necessário para controle unificado e interpretável tanto sobre planejamento lógico quanto sobre nuances estilísticas.

• Mecanismo: Ao mirar consultas de atenção, o método evita os efeitos de "sobrescrita" das intervenções no fluxo residual, preservando a validade estrutural em tarefas de restrição rígida.
• Otimização: Ao usar otimização baseada em gradiente sobre protótipos esparsos em vez de vetores estáticos, o método alcança maior fidelidade de controle com menor custo distribucional.
• Generalização: A abordagem mostrou-se eficaz em diversos domínios, desde o planejamento rígido em grid-world até os estilos cognitivos sutis de feedback educacional, e generaliza-se para tamanhos de grid maiores e diferentes arquiteturas de modelos.

Os autores posicionam este trabalho como um mecanismo principiado para geração controlável que vai além da engenharia de ativações estática em direção a intervenção adaptativa, esparsa e localizada.