Resumo Técnico: Decompondo como o prompting direciona o comportamento

Declaração do Problema

Prompts de instrução permitem que Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) alterem seu comportamento durante a inferência sem atualizações de pesos. Embora esteja estabelecido que os prompts reestruturam as representações internas, a natureza mecânica específica dessa transformação permanece obscura. A literatura existente caracterizou essas mudanças por meio de métricas escalares (ex: similaridade representacional, capacidade do manifold) ou demonstrou que operadores de baixa complexidade projetados (ex: vetores aditivos, rotações) podem direcionar o comportamento. No entanto, há uma lacuna na compreensão da classe de transformação matemática que ocorre naturalmente quando uma instrução muda. Especificamente, não se sabe se as mudanças induzidas pelo prompt são melhor explicadas por simples translações, transformações rígidas, misturas afins ou não linearidades complexas, e se essas transformações impulsionam causalmente as mudanças comportamentais observadas.

Metodologia

Os autores introduzem um framework de decomposição geométrica aninhada para analisar como os prompts remodelam a geometria representacional. A abordagem central envolve tratar o prompting como uma transformação do manifold representacional para o conteúdo que segue o prompt.

1. Hierarquia Geométrica Aninhada

Para um determinado modelo, camada, conjunto de dados e par de prompts (Prompt de Origem $A$ e Prompt Alvo $B$), os autores ajustam uma sequência de mapas cada vez mais expressivos e invariantes ao estímulo $f: \mathbb{R}^D \to \mathbb{R}^D$ que alinham os estados ocultos de $A$ aos de $B$. A hierarquia consiste em cinco classes de transformação estritamente aninhadas:

1. Translação ($F_T$): Um simples deslocamento de média ($x + b$).
2. Transformação Rígida com Escalonamento Uniforme ($F_{O_u}$): Rotação/reflexão e escalonamento uniforme ($b + c(x-a)Q$).
3. Transformação Rígida com Escalonamento por Eixo ($F_{O_a}$): Permite o escalonamento independente dos eixos alinhados ($b + (x-a)QD$).
4. Transformação Afim ($F_L$): Mistura linear geral mais translação ($b + (x-a)M$).
5. Transformação Não Linear ($F_N$): Um Multi-Layer Perceptron (MLP) compartilhado ($b + g_\theta(x-a)$).

2. Métricas de Avaliação

O framework avalia essas transformações usando três famílias de medidas em estímulos não vistos (held-out):

• Variância Explicada Incremental ($\Delta R^2$): A variância adicional na representação do prompt alvo explicada por cada nível sobre o anterior na cadeia aninhada.
• Métricas de Geometria Representacional: Correlação de Spearman entre a Matriz de Dissimilaridade Representacional (RDM) transformada e a RDM da tarefa alvo, juntamente com pontuações de silhueta para medir a separação de clusters.
• Intervenção Causal: O mapa ajustado é aplicado ao estado oculto de um prompt de origem em uma única camada, substituindo o estado original. O modelo então continua o passo de propagação direta (forward pass). O resultado de saída é avaliado quanto à relevância (abordando o atributo alvo) e precisão (corretude da resposta) em relação ao ground truth do prompt alvo.

3. Configuração Experimental

• Modelos: Três LLMs (OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B) e três VLMs (BLIP-2, LLaVA-OneVision, Qwen3-VL).
• Datasets: Seis datasets (três de texto: EmotionalStory, WritingStyle, Number; três de imagem: EmoSet, StyleTransfer, COCO) com estruturas de atributos fatoriais para suportar comparações de prompts cross-attribute e within-attribute.
• Pares de Prompts: Seis grupos variando de cross-attribute (ex: tópico $\to$ emoção) a prompts de origem irrelevantes.

Principais Resultados

1. O Prompt Remodela a Geometria em Direção à Estrutura da Tarefa

As mudanças representacionais induzidas pelo prompt crescem quase monotonicamente com a profundidade da camada. Crucialmente, a geometria representacional do prompt alvo alinha-se cada vez melhor com a estrutura da tarefa (medida por correlação RDM e pontuações de silhueta) conforme a profundidade aumenta, separando-se claramente do prompt de origem em camadas mais profundas.

2. Mapas de Baixa Complexidade Explicam a Maior Parte da Variância

Em todos os modelos e datasets, a translação explica a maior parte da mudança representacional induzida pelo prompt, dominando nas camadas iniciais. Transformações rígidas com escalonamento uniforme fornecem a próxima contribuição significativa.

• Transformações afins são o primeiro nível que quase recupera a geometria da tarefa do prompt alvo e produz ganhos correspondentes em concordância comportamental.
• Transformações não lineares oferecem a recuperação mais forte, mas apresentam retornos decrescentes sobre os mapas afins; o salto de escala de eixo rígido para afim é mais significativo do que o salto de afim para não linear.

3. Estratégias de Roteamento Específicas de Modelo e Tarefa

• Diferenças de Modelo: O OPT-2.7B depende mais de componentes de rotação, reflexão e não lineares comparado ao Llama3 e Qwen3, que parecem utilizar "códigos de instrução" de baixa dimensão (dominados por translação).
• Diferenças de Par de Prompts: Pares de prompts específicos (ex: consultas de sim/não) dependem mais de transformações de rotação e afins do que pares abertos.
• Dependência de Profundidade: A translação domina as camadas iniciais, enquanto níveis de maior complexidade (afim, não linear) contribuem mais nas camadas médias a profundas.

4. Validação Causal

Intervenções causais confirmam que simplesmente transladar o estado oculto pode direcionar substancialmente o comportamento. No entanto, transformações afins são o limiar crítico para recuperar tanto a geometria representacional alvo quanto a alta precisão comportamental. Isso sugere que a mistura linear entre dimensões é um mecanismo chave para reorganizar as representações em direção à tarefa instruída.

Significância e Alegações

O artigo afirma fornecer um framework geral para decompor mudanças representacionais induzidas por prompting em componentes geométricos interpretáveis. A principal descoberta é que o efeito do prompting de instrução pode ser amplamente entendido como uma transformação afim da representação do conteúdo.

• Insight Mecanístico: Os autores argumentam que, embora a translação faça "a maior parte do trabalho" ao deslocar a representação, a rotação e o cisalhamento (componentes afins) corrigem o componente estruturado residual necessário para o alinhamento da tarefa.
• Interpretabilidade: Ao quantificar a contribuição de cada nível de transformação, o framework revela como os modelos roteiam a estrutura relevante da tarefa. Sugere que o prompting natural é implementado através de transformações de baixa complexidade no espaço de ativação, em vez de exigir reestruturações não lineares complexas.
• Limitações: Os autores explicitamente observam que sua análise é limitada a prompts de instrução zero-shot e não avalia demonstrações few-shot, soft prompts ou condicionamento de contexto longo. A intervenção é restrita a uma única camada e um único token.

O trabalho posiciona-se não como um método para projetar novos operadores de direcionamento, mas como uma ferramenta de diagnóstico para entender a natureza geométrica do prompting natural, sugerindo que as consequências operacionais do prompting estão concentradas na estrutura fina residual (rotação e pequenas partes não lineares) após a translação primária.