💬 NLP

Task Vectors, Learned Not Extracted: Performance Gains and Mechanistic Insight

Este trabalho propõe o treinamento direto de Vetores de Tarefa Aprendidos (LTVs), que superam os métodos de extração tradicionais em precisão e flexibilidade, enquanto revelam mecanismos fundamentais da aprendizagem em contexto, como o papel de cabeças de atenção específicas e a propagação linear desses vetores nas redes Transformer.

Autores originais: Haolin Yang, Hakaze Cho, Kaize Ding, Naoya Inoue

Publicado 2026-04-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haolin Yang, Hakaze Cho, Kaize Ding, Naoya Inoue

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um Gênio da Lâmpada (um Modelo de Linguagem Grande, ou LLM) que sabe tudo, mas às vezes precisa de um pequeno "empurrãozinho" para lembrar como fazer uma tarefa específica, como escrever um poema triste ou resolver um problema de matemática.

O artigo que você enviou, apresentado na conferência ICLR 2026, trata de como dar esse empurrãozinho de forma muito mais inteligente. Vamos descomplicar tudo usando analogias do dia a dia.

1. O Problema: A "Chave" que estava difícil de achar

Antes, os pesquisadores tentavam criar uma "Chave Mestra" (chamada de Task Vector ou Vetor de Tarefa) para ensinar o Gênio a fazer algo novo.

Como faziam antes: Eles olhavam para o que o Gênio já tinha feito (quando ele via exemplos) e tentavam "extrair" a chave. Era como tentar copiar a impressão digital de alguém olhando para a poeira que ele deixou no chão. Era difícil, sujo e a chave muitas vezes não funcionava bem.
O problema: Essas chaves antigas eram frágeis. Se você tentasse usá-las em um momento diferente da conversa ou em uma parte diferente do cérebro do Gênio, elas quebravam.

2. A Solução: A "Chave" que foi feita sob medida (LTV)

Os autores deste paper propuseram uma ideia genial: em vez de tentar extrair a chave, vamos treiná-la do zero.

A Analogia: Imagine que, em vez de tentar copiar a impressão digital de um ladrão para abrir uma porta, você contrata um ferreiro para forjar uma chave perfeita que se encaixe exatamente na fechadura.
O Resultado: Eles criaram os Vetores de Tarefa Aprendidos (LTVs). Essas chaves são treinadas diretamente para funcionar.
- Elas funcionam melhor do que as antigas.
- Elas são flexíveis: você pode colocá-las em qualquer "cômodo" do cérebro do Gênio (qualquer camada da rede neural) e elas ainda funcionam.
- Elas são tão eficientes que podem substituir o treinamento pesado de modelos inteiros, economizando tempo e energia.

3. Como isso funciona lá dentro? (O Mecanismo)

A parte mais interessante do paper é que eles não só criaram a chave, mas abriram o painel do carro para ver como ela mexe no motor. Eles descobriram duas coisas principais:

A. Os "Especialistas" (Cabeças de Atenção)

O cérebro do Gênio é feito de muitos pequenos especialistas (chamados attention heads).

A Descoberta: A chave não mexe com todos os especialistas de uma vez. Ela conversa principalmente com um pequeno grupo de especialistas-chave.
A Analogia: É como se você entrasse em uma sala cheia de pessoas e, em vez de gritar para todos, você sussurrasse apenas para os dois ou três líderes que têm o poder de mudar a decisão da sala. Se você tirar esses líderes, a chave perde o poder.

B. O Caminho da Chave: Girar e Esticar

Quando você injeta essa chave no início do processo (no começo da conversa), ela viaja pelo cérebro do Gênio até chegar à resposta final. O paper descobriu que esse viaje é surpreendentemente simples:

No início (Camadas Iniciais): A chave precisa ser girada. Imagine que a chave está apontando para o norte, mas a tarefa exige que ela aponte para o leste. As camadas iniciais do Gênio giram a chave até ela estar na direção certa.
No final (Camadas Finais): A chave já está na direção certa. Agora, ela só precisa ser esticada (aumentada em tamanho) para ter mais força e garantir que a resposta correta seja escolhida.

Resumo da Ópera: O Gênio não é uma caixa preta misteriosa. Ele funciona como um sistema de correção de rota: primeiro ajusta a direção (rotação) e depois aumenta o volume (estiramento) para garantir que a mensagem certa seja enviada.

Por que isso é importante para você?

Eficiência: Podemos ensinar modelos gigantes a fazer coisas novas sem precisar re-treinar o modelo inteiro (o que custa milhões). Basta injetar essa "chave" treinada.
Entendimento: Agora sabemos como o Gênio aprende com exemplos. Não é magia; é uma física de vetores, rotações e especialistas específicos trabalhando juntos.
Flexibilidade: Podemos usar essa técnica para corrigir comportamentos indesejados ou ensinar novos estilos de escrita de forma muito rápida e barata.

Em suma, o paper diz: "Pare de tentar decifrar a mente do Gênio tentando copiar seus pensamentos. Em vez disso, crie ferramentas (vetores) que conversam diretamente com os especialistas certos dele, e veja a mágica acontecer de forma controlada e eficiente."

Título: Vetores de Tarefa, Aprendidos e Não Extraídos: Ganhos de Desempenho e Insights Mecanísticos

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) possuem a capacidade de realizar novas tarefas através de demonstrações em contexto (In-Context Learning - ICL), sem atualizar os pesos do modelo. Estudos recentes sugerem que essas demonstrações são comprimidas em Vetores de Tarefa (TVs), representações vetoriais compactas que o modelo utiliza para prever.

No entanto, a pesquisa anterior enfrenta duas limitações críticas:

Extração Subótima e Opaca: Os métodos atuais extraem TVs a partir de estados ocultos ou saídas de modelos usando métodos complexos, opacos e dependentes da qualidade da representação do modelo (ex: subtração de estados zero-shot e ICL, ou otimização complexa). Isso frequentemente resulta em vetores subótimos.
Falta de Explicabilidade Mecanística: Pouco se sabe sobre como esses vetores influenciam o cálculo do modelo. A maioria dos trabalhos apenas demonstra que injetar o TV melhora o desempenho, mas não explica os mecanismos de baixo nível (interações com componentes específicos) ou de alto nível (como o vetor se propaga pelas camadas).

2. Metodologia Proposta: Vetores de Tarefa Aprendidos (LTVs)

Os autores propõem uma mudança de paradigma: em vez de extrair vetores de estados ocultos, eles propõem treinar diretamente os Vetores de Tarefa Aprendidos (LTVs).

Treinamento Direto: Um vetor $\theta$ é adicionado aos estados ocultos de uma camada específica (ou múltiplas camadas) de um prompt zero-shot. O vetor é otimizado via descida de gradiente (AdamW) para minimizar a perda de entropia cruzada na previsão correta da etiqueta, sem depender de demonstrações ICL para a extração.
Flexibilidade: Ao contrário dos métodos anteriores que injetam apenas no último token de uma camada específica, os LTVs podem ser treinados e injetados em:
- Camadas arbitrárias (início, meio ou fim da rede).
- Posições arbitrárias (qualquer token, não apenas o último).
- Múltiplas camadas e posições simultaneamente.
Análise Mecanística: O papel dos LTVs é investigado em dois níveis:
- Baixo Nível: Identificação de quais componentes do modelo (cabeças de atenção, MLPs) interagem com o vetor.
- Alto Nível: Análise de como o vetor se transforma (rotação, escala) ao passar pelas camadas subsequentes.

3. Contribuições Principais

A. Desempenho Superior e Eficiência

Precisão: Os LTVs superam consistentemente os métodos de extração (Vanilla TV e Function Vectors) em todas as camadas e tarefas, alcançando ou superando o desempenho do ICL completo.
Eficiência (PEFT): Os LTVs atuam como um método de Fine-Tuning Eficiente de Parâmetros (PEFT). Otimizar apenas $d$ parâmetros (dimensão do modelo) resulta em melhor desempenho e menor custo computacional (FLOPs e memória) comparado a técnicas como Prefix Tuning e LoRA.
Flexibilidade: LTVs funcionam bem em configurações complexas (múltiplas camadas/posições) e em tarefas de geração complexas (ex: dataset Myopic), onde métodos de extração falham.

B. Insights Mecanísticos de Baixo Nível

Circuitos OV de Cabeças de Atenção: A análise revela que os LTVs influenciam o modelo principalmente através dos circuitos OV (Value-Output) das cabeças de atenção.
Cabeças Chave: Um pequeno subconjunto de "cabeças chave" é responsável pela maior parte do efeito.
- Essas cabeças tendem a estar localizadas logo após a camada de injeção e nas camadas finais.
- Elas exibem padrões de atenção diferentes das cabeças aleatórias: evitam o "attention sink" (foco no primeiro token) e focam mais nas posições finais, permitindo explorar o vetor injetado.
Reconstrução: Reconstruir o efeito do TV apenas através dos circuitos OV das cabeças chave recupera a maior parte do ganho de desempenho, indicando que os MLPs têm um papel secundário nesse mecanismo.

C. Insights Mecanísticos de Alto Nível (Dinâmica de Propagação)

Linearidade Aproximada: Apesar das não-linearidades dos Transformers, a propagação do efeito do TV através das camadas subsequentes é largamente linear.
Dinâmica Rotação-Estiramento:
- Camadas Iniciais: Quando injetado no início, o TV sofre uma forte rotação pelas camadas subsequentes para alinhar-se com o subespaço relevante da tarefa (vetores de unembedding das etiquetas), aumentando os logits corretos.
- Camadas Tardias: Quando injetado no final, o efeito de rotação é mínimo; o mecanismo dominante é o estiramento (escala) da magnitude do vetor.
Generalização: A generalização entre tarefas depende da sobreposição do espaço de etiquetas. LTVs de tarefas com espaços de etiquetas semelhantes (ex: SNLI e RTE) mostram alinhamento, enquanto tarefas com espaços distintos não generalizam.

4. Resultados Experimentais

Modelos Testados: Llama3 (3B, 8B, 70B), Llama2, Qwen2.5, Yi.
Datasets: SST-2, TREC, SNLI, RTE, Capital, Capitalize, Antonym e Myopic.
Principais Achados:
- Em tarefas de classificação, LTVs injetados em camadas iniciais superam os baselines em até 45% em configurações de injeção única.
- Em tarefas de geração (Myopic), LTVs superam o ICL e os baselines, demonstrando capacidade de induzir comportamentos complexos.
- A análise de composição (soma de vetores de tarefas relacionadas) demonstra que LTVs podem ser combinados semanticamente, similar à aritmética de word2vec.
- A reconstrução linear do efeito do TV (usando uma matriz de transformação aprendida) consegue replicar o desempenho do TV original, validando a hipótese de linearidade na propagação.

5. Significado e Impacto

Este trabalho oferece uma dupla contribuição fundamental para a comunidade de IA:

Prática: Introduz um método eficiente e robusto para obter vetores de tarefa que superam as técnicas de extração atuais, permitindo controle mais flexível e eficiente sobre o comportamento de LLMs (útil para steering e PEFT).
Teórica: Fornece uma explicação mecanística clara e unificada de como o In-Context Learning funciona. Ao demonstrar que o ICL opera através de vetores que são rotacionados e escalados linearmente por circuitos de atenção específicos, o trabalho desmistifica a "caixa preta" do ICL, sugerindo que a capacidade de aprendizado em contexto é uma propriedade emergente da geometria linear e da dinâmica de atenção dos Transformers.

Em resumo, o artigo argumenta que os vetores de tarefa não são meros artefatos extraídos de representações imperfeitas, mas sim entidades otimizáveis que exploram a estrutura linear e os circuitos de atenção do modelo para realizar inferência em contexto.