Resumo Técnico: CRAFT – Adaptação Baseada em Intervenção Consciente de Esquecimento para Aprendizado Contínuo

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) sofrem com esquecimento catastrófico quando adaptados a novas tarefas via ajuste fino (fine-tuning). Isso ocorre porque o ajuste fino padrão atualiza os mesmos parâmetros que codificam o conhecimento prévio, criando uma compensação inerente entre plasticidade (aprender novas tarefas) e estabilidade (retener as antigas). Soluções existentes — como regularização (por exemplo, EWC), mecanismos de replay ou restrições arquitetônicas como pools LoRA — operam dentro do espaço de parâmetros, onde o conflito origina-se. Esses métodos frequentemente exigem mecanismos de gate aprendidos (que são, eles próprios, suscetíveis ao esquecimento) ou referências fixas que falham em capturar o conhecimento compartilhado em evolução.

O artigo postula que o aprendizado contínuo deve ser reencenado não como um problema de competição de parâmetros, mas como a organização e o controle de intervenções em nível de representação. Ao manter os pesos do backbone congelados e editar representações ocultas em um subespaço de baixo rank, a fonte de interferência em nível de peso é removida. No entanto, desafios permanecem no aprendizado baseado em representação: como compartilhar capacidade entre tarefas semelhantes sem forçar tarefas não relacionadas a competir, como rotear tarefas sem um gate aprendido e como controlar o esquecimento durante a adaptação sem limitar a eficiência.

2. Metodologia: CRAFT

CRAFT (Ajuste Fino Ancorado em Representação Contínua) é um framework que realiza roteamento, adaptação e mesclagem inteiramente no espaço de representação sem modificar os pesos do modelo. Ele aproveita o LoReFT (ReFT em Subespaço Linear de Baixo Rank), que edita estados ocultos $h^{(l)}$ em posições específicas de tokens usando uma função de intervenção de baixo rank $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$.

O framework opera em três estágios unificados impulsionados por um único sinal de divergência de Kullback–Leibler (KL):

A. Arquitetura de Intervenção

O CRAFT divide intervenções em dois fluxos de prompt dentro do fluxo residual:

1. f-stream: Aplicado aos primeiros $t_{pos}$ tokens (prefixo), codificando instruções.
2. l-stream: Aplicado aos últimos $t_{pos}$ tokens (sufixo), onde a saída é comprometida.
   Tarefas dentro de um grupo de tarefas semelhantes $S_k$ compartilham um estado de intervenção comum $\phi_{S_k}$, enquanto tarefas em grupos diferentes permanecem isoladas.

B. Roteamento Determinístico (Sem Gate Aprendido)

Em vez de um roteador treinável, o CRAFT usa divergência de distribuição de saída para atribuir tarefas:

1. Aquecimento (Warm-up): Uma nova tarefa $\tau_t$ passa por um breve aquecimento ($S_{wu}$ passos) a partir de uma semente aleatória compartilhada para produzir uma intervenção provisória $\tilde{\phi}^{(t)}$.
2. Cálculo de Distância: A distribuição de saída $\pi_{\tilde{\phi}^{(t)}}$ é comparada às distribuições armazenadas dos grupos existentes $S_k$ usando uma distância KL simétrica normalizada:
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   onde $D_K$ é a distância da nova tarefa em relação à linha de base, $D_{G_k}$ é a distância do grupo em relação à linha de base e $D_{KG_k}$ é a distância entre a tarefa e o grupo.
3. Atribuição: Se $d(t, k) \le \delta$, a tarefa junta-se ao grupo $S_k$. Caso contrário, um novo grupo é semeado. Isso não requer parâmetros de roteamento treináveis ou identificadores de tarefa.

C. Adaptação e Mesclagem Regularizadas por KL

Uma vez atribuído a um grupo $S_k$:

1. Ancoragem: O estado atual do grupo $\phi_{S_k}$ é congelado como uma âncora $\phi_{anchor}$.
2. Treinamento: A intervenção da tarefa $\phi^{(t)}$ é treinada na nova tarefa com uma função de perda:
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   O termo KL atua como um sinal unificado que:
   • Regulariza o treinamento para evitar desvio do conhecimento prévio do grupo.
   • Prevê esquecimento: Com base em leis empíricas (Shenfeld et al., 2025), alta divergência KL correlaciona-se com esquecimento. Se a média de KL da época inicial exceder um limiar $\eta$, a tarefa é expulsa para um novo grupo.
3. Mesclagem: Após a convergência, o $\phi^{(t)}$ treinado sobrescreve o estado compartilhado $\phi_{S_k}$.

3. Contribuições Principais

1. Aprendizado Contínuo em Nível de Intervenção: O CRAFT é o primeiro framework a realizar conjuntamente roteamento, adaptação e mesclagem inteiramente no espaço de representação sem modificar os pesos do modelo.
2. Roteamento Determinístico sem Gates Aprendidos: Elimina a necessidade de parâmetros de roteamento treináveis ao usar um breve aquecimento e distância KL de distribuição de saída para atribuir tarefas, tornando o roteador robusto ao esquecimento.
3. Controle Unificado de Esquecimento: Introduz um único sinal baseado em KL que regula simultaneamente o desvio do treinamento, prevê esquecimento e governa a integração de novo conhecimento, substituindo heurísticas desconexas.
4. Validação Empírica: A abordagem é validada em três LLMs distintos (Llama-3.2-1B, Gemma-2B, Llama-2-7B) e benchmarks diversos (TRACE, Math-LLM, sequências O-LoRA).

4. Resultados Experimentais

O CRAFT foi avaliado contra bases fortes incluindo SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA e métodos recentes como SAPT e TASL.

• Ganhos de Desempenho: O CRAFT melhora o Desempenho Geral (OP) em até 8,03% (no Llama-3.2-1B) comparado aos melhores métodos state-of-the-art.
• Redução de Esquecimento: Reduz a taxa de esquecimento de Transferência Reversa (BWT) em até 6,49%. No fluxo de 15 tarefas com Llama-3.2-1B, o CRAFT alcançou um BWT de 2,60% comparado a 6,41% do TreeLoRA e 10,99% do O-LoRA.
• Eficiência de Parâmetros: O CRAFT usa 3,75 vezes menos parâmetros de intervenção treináveis do que bases fortes baseadas em LoRA. Por exemplo, no Llama-3.2-1B com 15 tarefas, o CRAFT requereu apenas 4,20M de parâmetros versus 15,73M para o LoRA padrão.
• Robustez: O método permanece robusto em diferentes ordenações de tarefas e é insensível a variações no limiar de roteamento $\delta$ e no comprimento de aquecimento $S_{wu}$ dentro de um amplo platô.
• Invariância Intergrupo: Análise teórica e empírica confirma que treinar uma tarefa em um cluster não afeta a saída de inferência de tarefas em outros clusters, pois o escopo do otimizador toca apenas a intervenção do grupo específico.

5. Significado e Alegações

O artigo alega que controlar a adaptação no espaço de representação, guiado pela divergência no espaço de saída, fornece uma abordagem escalável e principial para o aprendizado contínuo.

• Reenquadramento da Compensação: Ao remover atualizações de pesos, o CRAFT desloca a compensação estabilidade-plasticidade de uma luta de cabo de parâmetros para um problema de organizar edições de representação.
• Controle Principial de Esquecimento: O uso da divergência KL como um sinal unificado permite que o sistema meça e controle diretamente o esquecimento, em vez de depender de proxies.
• Escalabilidade: O framework escala com o número de grupos de tarefas descobertos ($K$) em vez do número total de tarefas ($T$), oferecendo uma solução mais eficiente para fluxos longos de tarefas.
• Limitações: Os autores reconhecem que o mecanismo de roteamento pode lutar com tarefas próximas ao teto ou fluxos onde as tarefas são quase duplicatas, mas apresentadas sequencialmente (por exemplo, duas metades do mesmo conjunto de dados), pois a distância KL simétrica pode saturar. Eles sugerem que trabalhos futuros poderiam envolver semear aquecimentos a partir de clusters existentes para lidar com tais casos.

Em essência, o CRAFT demonstra que o esquecimento catastrófico pode ser efetivamente controlado no nível das saídas do modelo através de edição estruturada de representação, sem a necessidade de restringir ou modificar os pesos base subjacentes.