🤖 machine learning

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation

O artigo propõe a Transferência Paramétrica de Habilidades (PaST), um framework que aborda as limitações do Ajuste Fino Supervisionado na adaptação de Modelos de Linguagem de Grande Escala mediante a injeção linear de vetores de habilidades agnósticos ao domínio derivados de Aprendizado por Reforço, permitindo assim uma adaptação contínua eficiente e eficaz para incorporação de conhecimento e uso de ferramentas por agentes.

Autores originais: Pingzhi Tang, Yiding Wang, Muhan Zhang

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pingzhi Tang, Yiding Wang, Muhan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Aluno "Inteligente, mas Desinformado"

Imagine que você tem um aluno brilhante (um Modelo de Linguagem de Grande Escala, ou LLM) que leu quase todos os livros da biblioteca até uma certa data. Esse aluno é ótimo em responder perguntas com base no que já sabe.

No entanto, o mundo continua mudando. Novos fatos aparecem todos os dias (como uma nova lei aprovada ontem ou um novo aplicativo lançado esta manhã).

O Jeito Antigo (SFT): Para ensinar esses novos fatos ao aluno, geralmente fazemos apenas com que ele memorize o novo texto. É como forçá-lo a decorar um novo livro didático na noite anterior a uma prova. Ele consegue recitar os fatos perfeitamente, mas se a prova pedir para usar esses fatos em uma situação complicada, ele frequentemente trava, chuta errado ou inventa coisas (alucina). Ele tem o conhecimento, mas falta a habilidade de aplicá-lo.
O Jeito Caro (RL): Para ensinar-lhe a pensar e resolver problemas, geralmente usamos Aprendizado por Reforço (RL). Isso é como contratar um treinador pessoal que faz o aluno praticar a resolução de problemas repetidamente, recompensando-o quando ele acerta. Isso funciona muito bem, mas exige uma quantidade massiva de tempo e dinheiro. Você não pode contratar um treinador para cada novo fato que surge no mundo.

A Descoberta: Dois Tipos Diferentes de Mudanças Cerebrais

Os pesquisadores da Universidade de Pequim descobriram algo fascinante sobre como o cérebro do aluno muda durante esses dois processos.

Eles constataram que, quando o aluno memoriza fatos (SFT) e quando ele aprende habilidades de raciocínio (RL), as mudanças ocorrem em duas partes completamente diferentes do seu cérebro.

Analogia: Imagine que o cérebro do aluno é uma biblioteca gigante.
- SFT é como adicionar novos livros às estantes. Isso muda o conteúdo da biblioteca.
- RL é como treinar o bibliotecário sobre como encontrar livros, cruzar referências e resolver quebra-cabeças usando-os. Isso muda a organização e a lógica da biblioteca.
- A Chave da Descoberta: Essas duas mudanças não atrapalham uma à outra. Elas são "ortogonais", o que significa que ocorrem em espaços separados e não sobrepostos. Você pode adicionar novos livros sem bagunçar a lógica do bibliotecário, e pode treinar o bibliotecário sem alterar os livros nas estantes.

A Solução: PaST (Transferência Paramétrica de Habilidades)

Como essas duas mudanças são separadas, os pesquisadores criaram um atalho inteligente chamado PaST.

Como funciona:

Extrair o "Vetor de Habilidade": Em vez de reeducar o aluno sobre cada novo tópico, eles pegam um modelo que já foi treinado em um tópico (como filmes) usando o método caro de "treinador" (RL). Eles comparam esse modelo "inteligente" com uma versão "burra" que apenas memorizou os fatos. A diferença entre eles é um "Vetor de Habilidade".
- Analogia: Pense nesse Vetor de Habilidade como um manual universal "Como Fazer" ou um chip de memória muscular. Ele contém a lógica pura de "como resolver um problema" sem estar ligado a fatos específicos.
Injetar a Habilidade: Quando um novo tópico surge (como um novo documento legal), eles primeiro ensinam rapidamente ao aluno os novos fatos (SFT leve). Em seguida, eles simplesmente colam o "Vetor de Habilidade" no cérebro do aluno.
- Analogia: É como dar ao aluno o novo livro didático (fatos) e, em seguida, conectar instantaneamente o "Chip de Resolução de Problemas" (habilidades) que ele aprendeu com o treinamento de filmes. O aluno agora conhece os novos fatos e sabe exatamente como usá-los, sem precisar de um novo treinador.

Por Que Isso é Importante

O artigo testou isso em três desafios diferentes:

Compreensão de Leitura (SQuAD): O modelo teve que memorizar um trecho e responder perguntas sem olhar para o texto novamente. O PaST tornou o modelo muito melhor em encontrar a resposta correta em comparação com apenas memorizar.
Documentos Longos (LooGLE): Quando o texto era enorme (como um documento de 20.000 palavras), os métodos padrão se perdiam. O PaST ajudou o modelo a manter o foco e encontrar a informação correta.
Uso de Ferramentas (ToolBench): O modelo teve que usar APIs (como baixar uma postagem do Instagram). Quando a conta do Instagram era privada, um modelo normal apenas chutaria uma nova ferramenta falsa para usar. O modelo PaST percebeu que a conta era privada, parou de chutar e deu a resposta correta: "Não posso fazer isso porque a conta é privada".

A Conclusão

O artigo prova que conhecimento e habilidades são coisas separadas. Você não precisa gastar uma fortuna reeducando a capacidade de "pensar" de um modelo toda vez que lhe dá novas informações. Em vez disso, você pode aprender a habilidade de "pensar" uma vez, extraí-la como uma ferramenta portátil e conectá-la a qualquer nova situação. Isso torna a IA muito mais rápida, barata e inteligente na adaptação ao mundo real.

Resumo Técnico: O Conhecimento Não é Suficiente: Injeção de Habilidades de RL para Adaptação Contínua

Declaração do Problema

Modelos de Linguagem de Grande Porte (LLMs) enfrentam um desafio fundamental de "corte de conhecimento": sua memória paramétrica é congelada após o pré-treinamento, impedindo a internalização nativa de novas informações ou ferramentas. Embora a Geração Aumentada por Recuperação (RAG) tente mitigar isso via contexto externo, ela sofre de problemas de modelagem de dependências de longo alcance e sobrecarga de inferência. Consequentemente, a pesquisa deslocou-se para Atualização Paramétrica de Conhecimento (por exemplo, Edição de Conhecimento, Treinamento no Tempo de Teste).

No entanto, existe uma limitação crítica nos paradigmas atuais de adaptação: uma desconexão funcional entre conhecimento e habilidades de raciocínio.

Ajuste Fino Supervisionado (SFT) memoriza efetivamente conteúdo factual (o "o quê"), mas frequentemente falha em ensinar ao modelo como raciocinar sobre ou manipular esse conhecimento em tarefas subsequentes. Modelos treinados via SFT podem "saber" fatos, mas falham em utilizá-los dinamicamente, levando a alucinações ou comportamento rígido ao encontrar erros.
Aprendizado por Reforço (RL) é essencial para adquirir habilidades robustas de raciocínio e execução (o "como"), mas seu alto custo computacional (exigindo exploração on-policy e dados de interação) o torna impraticável para adaptação contínua online eficiente a cada novo cenário.

O problema central é como equipar um modelo com novo conhecimento de domínio e as habilidades procedimentais para usá-lo, sem incorrer no custo proibitivo de treinar RL do zero para cada novo domínio.

Metodologia: Transferência Paramétrica de Habilidades (PaST)

Os autores propõem a Transferência Paramétrica de Habilidades (PaST), um framework modular que desacopla a aquisição de conhecimento da aquisição de habilidades, permitindo a transferência de capacidades de raciocínio entre domínios sem RL explícito no domínio alvo.

1. Base Teórica: Ortogonalidade das Atualizações

O método baseia-se na observação empírica de que as atualizações de parâmetros induzidas pelo SFT ( $\Delta W_{SFT}$ ) e pelo RL ( $\Delta W_{RL}$ ) são quase ortogonais.

Evidência Empírica: A análise de similaridade de cosseno através das camadas do modelo (por exemplo, nas tarefas LooGLE e ToolBench) mostra que $\Delta W_{SFT}$ e $\Delta W_{RL}$ residem em subespaços desenredados da paisagem de parâmetros. Sua correlação é consistentemente próxima de zero, enquanto duas atualizações independentes de SFT mostram correlação significativa.
Implicação: Conhecimento (injeção factual) e Habilidades (lógica procedimental) podem ser otimizados separadamente e compostos linearmente sem interferência destrutiva.

2. O Framework PaST

O PaST opera em duas etapas:

Etapa I: Extração de Habilidades do Domínio Fonte

Ancoragem SFT: Um modelo base é ajustado finamente em um corpus de conhecimento do domínio fonte ( $C_S$ ) para obter $\theta^S_{sft}$ .
Refinamento RL: O modelo SFT passa por treinamento de RL em trajetórias de interação da fonte ( $T_S$ ) para internalizar políticas de raciocínio, resultando em $\theta^S_{rl}$ .
Extração do Vetor de Habilidade: Um Vetor de Habilidade ( $v_{skill}$ $v_{s k i l l}$ ) agnóstico ao domínio é extraído subtraindo os parâmetros SFT dos parâmetros RL:
$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$
Este vetor captura a direção do "gradiente" de melhoria do raciocínio, desprovido de fatos declarativos específicos do domínio.
- Refinamento: Para evitar overfitting a conteúdos específicos da fonte, é empregada uma Estratégia de Bootstrapping Iterativo. O domínio fonte é dividido em subconjuntos; o vetor de habilidade é refinado iterativamente ao longo de rodadas, injetando o vetor da rodada anterior como um ponto de partida quente para a próxima fase de RL.

Etapa II: Adaptação ao Domínio Alvo

SFT Leve: O modelo alvo é ajustado finamente em novos documentos do domínio alvo ( $C_T$ ) para obter $\theta^T_{sft}$ . Isso ancora o modelo com os novos fatos.
Injeção Linear: O vetor de habilidade extraído é linearmente injetado no modelo alvo:
$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$
(onde $\lambda$ é um coeficiente de escala, definido como 1 nos experimentos). Isso enxerta a geometria de raciocínio aprendida na fonte sobre a variedade de conhecimento do alvo, permitindo a execução zero-shot de tarefas complexas.

Contribuições Principais

Identificação da Desconexão Raciocínio-Conhecimento: O artigo destaca que o SFT sozinho é insuficiente para transferir lógica procedimental para novos domínios, pois induz principalmente memorização de nível superficial.
Evidência Empírica de Ortogonalidade: Os autores fornecem evidências rigorosas de que as atualizações de SFT e RL ocupam subespaços quase ortogonais, validando a viabilidade de separar e recombinar conhecimento e habilidades.
Framework PaST: Um método novel que utiliza aritmética de vetores de tarefa para transferir habilidades aprendidas via RL de um domínio fonte para um domínio alvo, contornando a necessidade de RL caro no domínio alvo.
Desacoplamento e Transferibilidade: Demonstração de que a manipulação de conhecimento e as habilidades de execução podem ser efetivamente desacopladas e transferidas, permitindo adaptação robusta em domínios alvo com escassez de dados.

Resultados Experimentais

Os autores avaliaram o PaST em três benchmarks:

Incorporação de Conhecimento (SQuAD):
- Configuração: QA de livro fechado onde o modelo deve memorizar um trecho via atualizações no tempo de teste e responder perguntas sem contexto.
- Resultado: O PaST alcançou 56,9% de precisão, superando significativamente a linha de base de autoedição de última geração SEAL (47,0%) e uma linha de base padrão "Treinar no Trecho + Sintético" (39,7%). Isso representa uma melhoria absoluta de +17,2% sobre a linha de base sintética, provando que o vetor de habilidade fornece lógica de inferência essencial.
Raciocínio em Longo Contexto (LooGLE):
- Configuração: QA em documentos superiores a 21k tokens.
- Resultado: O PaST melhorou a precisão de 30,1% (SFT Padrão) para 38,1% (+8,0 pontos). O método escalou com sucesso para documentação massiva, transformando o modelo de um contêiner passivo de fatos em um especialista capaz de recuperação paramétrica precisa.
Uso de Ferramentas entre Domínios (ToolBench):
- Configuração: Execução de livro fechado onde o modelo deve usar APIs baseadas apenas em nomes (sem contexto), transferindo habilidades de um domínio fonte "Filmes" para 20 categorias alvo não vistas.
- Resultado: O PaST aumentou a taxa de sucesso média de 21,9% (SFT Alvo) para 32,2% (+10,3 pontos). Alcançou ativação zero-shot em domínios onde a linha de base falhou completamente (por exemplo, Publicidade: 0% $\to$ 16,7%).
Comparação de Eficiência:
- O PaST igualou o desempenho do RL treinado no domínio alvo por ~75 passos (44,0% vs 44,6%), mas incorreu em zero tempo de treinamento adicional no domínio alvo. O RL alvo exigiu ~72 minutos por documento, enquanto o PaST não exigiu nenhum.

Significado e Alegações

O artigo alega que o PaST oferece uma alternativa computacionalmente eficiente e escalável ao RL on-policy para adaptação contínua. Ao explorar a ortogonalidade das atualizações de parâmetros, o método permite que modelos adquiram novo conhecimento via SFT leve enquanto herdam simultaneamente capacidades robustas de raciocínio de uma fonte pré-treinada. Isso preenche a lacuna entre "saber" fatos e "usá-los", abordando um gargalo crítico na implantação de LLMs em ambientes dinâmicos e do mundo real onde tanto o conhecimento quanto as habilidades de raciocínio devem evoluir rapidamente.

Os autores observam modestamente limitações, incluindo a necessidade de domínios experimentais mais amplos além de QA e uso de ferramentas, o uso de um coeficiente de escala estático ( $\lambda=1$ ) e a dependência primária da arquitetura Qwen2.5-7B, sugerindo que trabalho futuro é necessário para confirmar essas dinâmicas em escalas de modelo mais amplas.