Resumo Técnico: Transmutando Prompts em Pesos

Declaração do Problema

Os métodos atuais para controlar Grandes Modelos de Linguagem (LLMs) durante a inferência geralmente se enquadram em duas categorias empíricas: direcionamento de ativação (adição de "vetores de direcionamento" aos estados ocultos) e edição de modelo (aplicação de modificações de baixo posto às matrizes de pesos). Embora eficazes, essas técnicas dependem fortemente de heurísticas empíricas, como a média de ativações contrastivas, carecendo de uma justificativa teórica unificada fundamentada na arquitetura transformer. Além disso, abordagens existentes frequentemente tratam a informação do prompt como transitória ou exigem modificações arquitetônicas para codificar instruções permanentemente nos pesos. O desafio central é estabelecer um método baseado em primeiros princípios para condensar a entrada textual transitória (prompts) em atualizações de pesos reutilizáveis e independentes de tokens que possam codificar instruções ou novo conhecimento de forma durável sem a necessidade de reexecutar o prompt.

Metodologia

O artigo baseia-se na teoria fundamental de Dherin et al. (2025), que demonstrou que o efeito computacional de um prompt de entrada $I$ em um bloco transformer pode ser replicado perfeitamente pela aplicação de atualizações específicas de posto um (denominadas "patches de tokens mínimos") aos pesos e ao viés (bias) do feed-forward.

Os autores propõem um framework para generalizar essas atualizações transitórias e específicas de token em constructos estáticos e reutilizáveis chamados Vetores de Pensamento ($\delta(I)$) e Matrizes de Pensamento ($\Delta(I)$).

1. Derivação Teórica

• Patches Dependentes de Token: Para um prompt $C = [I, x_1, \dots, x_n]$, o efeito do contexto $I$ sobre um token $x$ é replicado por atualizações $\delta_x(I)$ e $\Delta_x(I)$.
• Vetor de Pensamento: Para criar um vetor independente de token, os autores minimizam o erro quadrático entre os vetores de token ideais e um único vetor. A solução é a média aritmética dos vetores específicos de token:
  $$\delta(I) := \frac{1}{n} \sum_{i=1}^n \delta_i = \frac{1}{n} \sum_{i=1}^n (A(C, x_i) - A(C \setminus I, x_i))$$
  Isso fornece uma justificativa teórica para a prática heurística de média de ativações contrastivas.
• Matriz de Pensamento: A matriz ideal é derivada pela minimização do erro entre todos os exemplos. O Teorema 2.1 prova que, se a matriz $Z = \sum a_i a_i^T$ for invertível, o mínimo global é alcançado por:
  $$\Delta(I) = \left( \sum_{i=1}^n W \delta_i a_i^T \right) Z^{-1}$$
  Isso demonstra que a matriz de pensamento ideal emerge naturalmente como uma soma de atualizações de posto um.

2. O Algoritmo de Patching de Pensamento

Os autores introduzem um procedimento de alinhamento iterativo camada a camada (Algoritmo 1) para transmutar instruções em pesos:

1. Passagem Contextual: Executa o modelo vanilla no prompt completo $[I, x]$ para coletar saídas de atenção "verdade fundamental" $A_l$.
2. Passagem Não-Contextual: Executa o modelo em $[x]$ usando os pesos atualmente patcheados para coletar saídas aproximadas $a_l$.
3. Cálculo de Discrepância: Calcula os resíduos $dz_l = A_l - a_l$.
4. Computação de Atualização:
   • A atualização do Vetor de Pensamento é a média das discrepâncias.
   • A atualização da Matriz de Pensamento é computada via minimização de mínimos quadrados (com regularização Ridge opcional) para resolver a atualização de peso que minimiza o erro residual.
5. Aplicação: As atualizações são escalonadas por uma taxa de aprendizado $\eta$ e aplicadas aos pesos.

3. Adaptações Arquiteturais

O método é adaptado para arquiteturas modernas como o Gemma 3, que utilizam RMSNorm e ativações Gated GeLU:

• Gated GeLU: A otimização da matriz de pensamento é desacoplada em duas estimativas de mínimos quadrados independentes para as projeções $W_{up}$ e $W_{gate}$.
• Ausência de Bias: Como o Gemma carece de parâmetros de viés (bias) explícitos na saída do MLP, o deslocamento do vetor de pensamento é absorvido diretamente na matriz de projeção $W_{down}$, ajustado para os fatores de escala do RMSNorm para manter as distribuições de ativação.

Principais Contribuições

1. Unificação Teórica: O artigo fornece uma explicação de primeiros princípios para o porquê do direcionamento de ativação (média de ativações contrastivas) e da edição de modelo de baixo posto funcionarem. Prova que essas heurísticas são equivalentes à aproximação de mínimos quadrados dos vetores e matrizes de pensamento ideais.
2. Framework de Transmutação: Ele eleva o conceito de um "patch de pensamento" de uma ferramenta teórica para compressão de prompt para um algoritmo prático de controle direto de modelos e injeção permanente de conhecimento.
3. Independência de Token: O método condensa com sucesso informações transitórias e dependentes de token em vetores e matrizes reutilizáveis e independentes de token, adequados para arquiteturas complexas e não lineares.
4. Implementação Algorítmica: Os autores fornecem um algoritmo concreto (Algoritmo 1) e modificações específicas para sua aplicação em modelos modernos como o Gemma.

Resultados Experimentais

A abordagem foi validada no modelo Gemma 3.0 1B Instruction Tuned em diversas tarefas:

• Tarefas Aritméticas e Linguísticas: Em tarefas como somar e multiplicar números, o modelo patcheado (sem a instrução no contexto) alcançou 100% de precisão, igualando-se perfeitamente ao desempenho do modelo original com o prompt completo. Isso foi alcançado utilizando apenas 10 exemplos.
• Desintoxicação (Detoxification): Aplicado ao dataset ParaDetox, o modelo patcheado reduziu a toxicidade de 90,53% para 6,22%, aproximando-se do baseline de contexto total (6,7%) enquanto preservava o significado semântico (scores BERT).
• Tradução e Recuperação de Conhecimento: O método alcançou alta precisão ao traduzir de Francês/Espanhol para Inglês e ao recuperar capitais de países, superando significativamente o baseline sem patch e aproximando-se do desempenho de contexto total.
• Injeção de Novo Conhecimento: O modelo absorveu com sucesso dicionários sintéticos de chave-valor. O desempenho permaneceu próximo a 100% para dicionários pequenos ($k \le 8$), mas mostrou degradação conforme o tamanho do dicionário aumentava ($k=32$ caiu para 91%) ou quando as estruturas de consulta divergiam dos prompts de treinamento.

Significância e Alegações

O artigo afirma estabelecer um elo teórico direto entre a mecânica transitória da inferência transformer e a modificação permanente do modelo. Ao agregar patches de tokens efêmeros em vetores e matrizes de pensamento reutilizáveis, os autores fornecem um método baseado em princípios e eficiente em dados para codificar duravelmente as instruções de prompt nos pesos.

A significância reside em confirmar que a média contrastiva e as atualizações de baixo posto não são meros truques empíricos, mas sim mecanismos nativos de codificação de instrução do transformer. O trabalho une as teorias do "continuum paramétrico" à implementação prática, oferecendo uma explicação matemática unificada para os métodos de controle existentes.

Os autores mantêm a modéstia quanto às limitações, observando que a formulação atual de mínimos quadrados é suscetível ao overfitting em estruturas de prompt específicas (evidente na tarefa de injeção de conhecimento, onde a divergência de consulta causou quedas de desempenho) e que trabalhos futuros focarão em regularização avançada para evitar o overfitting estrutural durante a injeção de conhecimento.