💬 NLP

Patches of Nonlinearity: Instruction Vectors in Large Language Models

Este trabalho investiga mecanicamente como os modelos de linguagem processam instruções, identificando "Vetores de Instrução" (IVs) que atuam como seletores de circuitos nas camadas finais, desafiando a hipótese de representação puramente linear ao demonstrar interações causais não lineares.

Autores originais: Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O Mistério da "Voz do Comandante": Como os LLMs entendem ordens?

Imagine que você tem um assistente muito inteligente, mas que funciona como uma cozinha de um restaurante super movimentado. Você chega e dá uma ordem: "Faça um suco de laranja, mas não use açúcar".

O assistente ouve, processa e entrega o suco. Mas, por dentro, como ele fez isso? Ele guardou a regra do "sem açúcar" em um bloquinho de notas? Ele criou um "chip" temporário no cérebro para essa tarefa? Ou ele só foi improvisando conforme as mãos se moviam?

O artigo "Patches of Nonlinearity" tenta abrir o "crânio" dos modelos de linguagem (como o ChatGPT) para entender como eles processam instruções.

1. O "Resumo de Bolso" (Instruction Vectors)

Os pesquisadores descobriram que, assim que o modelo termina de ler a sua instrução (o comando), ele cria o que chamam de Vetores de Instrução (IVs).

A Analogia: Imagine que, ao ler sua ordem, o assistente não precisa ficar repetindo "sem açúcar, sem açúcar" mentalmente o tempo todo. Em vez disso, ele cria um "Post-it Mental" colado na testa dele. Esse post-it contém o resumo da tarefa. Assim, quando ele vai para a parte de "fazer o suco" (a consulta/query), ele só precisa dar uma olhadinha rápida no post-it para saber como agir.

2. O Problema do "Trabalho em Equipe" (Superaditividade)

Aqui é onde a coisa fica estranha e desafia o que os cientistas pensavam. Antes, achava-se que o cérebro da IA funcionava de forma "linear": se a Camada 1 ajuda 10% e a Camada 2 ajuda 10%, o total seria 20%.

Mas os pesquisadores descobriram que a IA é "Superaditiva".

A Analogia: Pense em uma banda de rock. Se o baterista toca sozinho, ele faz um barulho ok. Se o guitarrista toca sozinho, ele faz um som ok. Mas, quando os dois tocam juntos, o efeito não é apenas "soma de dois sons"; é uma explosão de energia que transforma o ambiente! Na IA, certas camadas do "cérebro" só funcionam de verdade quando trabalham em conjunto, criando um efeito muito maior do que a simples soma de suas partes. Isso significa que a IA é muito mais complexa e "não-linear" do que imaginávamos.

3. O "Seletor de Circuitos"

O estudo também descobriu que esses "Post-its Mentais" (os vetores) servem para uma função crucial: eles são Seletores de Circuitos.

A Analogia: Imagine que o cérebro da IA é uma central elétrica gigante com milhares de caminhos e fios. Se você pede para "contar objetos", o post-it mental diz: "Ei, ative o circuito de matemática e desligue o circuito de poesia!". O post-it não faz o trabalho, mas ele direciona a eletricidade para os caminhos certos dentro da máquina para que a tarefa seja resolvida.

💡 Por que isso é importante para você?

Se entendermos exatamente onde e como a IA guarda essas "ordens", poderemos:

Torná-la mais segura: Impedir que ela "ignore" instruções de segurança (como "não dê receitas de bombas").
Corrigir erros: Se ela estiver errando o tom de voz, saberemos exatamente em qual "camada" do cérebro o post-it está escrito errado.
Eficiência: Criar modelos menores e mais rápidos que não precisam de um cérebro gigante para entender comandos simples.

Em resumo: O artigo mostra que as instruções não são apenas palavras que a IA lê; elas se transformam em "ferramentas mentais" poderosas que mudam a forma como toda a estrutura da IA se comporta, agindo como um maestro que decide quais instrumentos da orquestra devem tocar.

Resumo Técnico: Patches of Nonlinearity: Instruction Vectors in Large Language Models

1. O Problema

Embora o ajuste de instruções (instruction tuning) seja uma etapa onipresente no treinamento de Grandes Modelos de Linguagem (LLMs), o mecanismo interno pelo qual esses modelos representam e processam instruções ainda é pouco compreendido. A pesquisa busca responder: Como os modelos constroem e utilizam representações específicas de instruções para realizar tarefas?

O estudo questiona se o processamento é feito "just-in-time" (concomitante à consulta/query) ou de forma "eager" (antecipada), e investiga se as representações seguem a "hipótese de representação linear", comum na interpretabilidade mecanística.

2. Metodologia

Os autores utilizam os modelos OLMo-2 (1B e 7B) em diferentes estágios de pós-treinamento: Base, SFT (Supervised Fine-Tuning) e DPO (Direct Preference Optimization). A metodologia divide-se em três frentes:

Análise de Mediação Causal (Activation Patching): Utilizam técnicas de patching de ativação (tanto de uma única camada quanto de combinações de camadas) para localizar onde a informação da instrução está armazenada no fluxo residual. Eles medem o impacto no reciprocal rank e nos logits do token de resposta.
Análise Geométrica: Empregam Redução de Dimensionalidade Linear (LDA) e Probes Lineares para verificar se as representações de diferentes tarefas formam agrupamentos (clusters) separáveis linearmente no espaço de ativação.
Rastreamento de Caminhos (Path Tracing): Propõem um novo método para contornar a suposição de interações lineares. Eles tratam o Transformer como uma coleção de mapas localmente lineares de token-para-token, permitindo rastrear caminhos de alta importância que levam à resposta correta, sem depender de modelos de grafos acíclicos dirigidos (DAGs) que assumem aditividade.

3. Principais Contribuições

Identificação de Vetores de Instrução (IVs): Descobrem que os modelos criam "resumos neurais" localizados da instrução logo após o processamento do contexto instrucional (especificamente no último token da instrução, $T_{inst}$ ).
Descoberta da Superaditividade: O trabalho demonstra que os IVs não interagem de forma puramente linear. A influência combinada de duas camadas é maior do que a soma de suas influências individuais ( $f(x_i \cup x_j) \geq f(x_i) + f(x_j)$ ), desafiando a premissa de aditividade de muitos métodos de interpretabilidade atuais.
IVs como Seletores de Circuitos: Propõem que os vetores de instrução atuam como "seletores de circuitos", decidindo quais caminhos de processamento (circuitos) serão ativados nas camadas posteriores para resolver a tarefa específica.
Novo Método de Localização: Introduzem uma técnica de rastreamento de fluxo de informação livre de pressuposições de interações aditivas.

4. Resultados Principais

Localização e Eagerness: A representação da instrução é localizada e construída de forma "eager" (antecipada), antes mesmo do processamento da consulta (query).
Geometria: Embora os vetores de instrução formem clusters bem definidos por tarefa, eles não são necessariamente separáveis linearmente em baixas dimensões, embora probes lineares de alta dimensão consigam classificá-los com precisão superior a 98%.
Mecanismo de Seleção: Os modelos utilizam circuitos quase idênticos nas camadas iniciais (agnósticos à tarefa) para construir o vetor de instrução, mas utilizam circuitos distintos nas camadas finais, condicionados pelo vetor de instrução, para processar a consulta.
Impacto do Pós-treinamento: Enquanto modelos pré-treinados podem construir os vetores de tarefa, o ajuste de instruções (SFT/DPO) é indispensável para conferir ao modelo a capacidade de usar esses vetores para selecionar o circuito correto.

5. Significância

Este trabalho tem implicações profundas para a interpretabilidade mecanística. Ao provar a superaditividade, os autores alertam que métodos baseados em atribuição causal de componentes únicos (como "esta cabeça de atenção é responsável por X") podem subestimar o papel de variáveis importantes se elas dependerem de interações não lineares com outras variáveis. Além disso, a descoberta de que as instruções criam um "gargalo de informação" abre caminho para o desenvolvimento de modelos mais robustos contra ataques adversariais que tentam manipular o comportamento do modelo via instruções.