On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning

Este trabalho demonstra que o esquecimento catastrófico no ajuste fino eficiente de parâmetros baseado em decomposição de baixo posto é fortemente influenciado pela geometria e parametrização do subespaço de atualização, destacando que abordagens tensoriais e alinhadas estruturalmente mitigam esse problema ao preservar representações pré-treinadas em cenários de aprendizado sequencial.

O essencial

Imagine que você tem um cérebro de supercomputador (um modelo de IA gigante) que já aprendeu tudo sobre o mundo: sabe identificar animais, entender paisagens, reconhecer esportes e muito mais. Esse cérebro foi treinado com milhões de livros e imagens.

Agora, você quer ensinar esse cérebro a fazer algo novo, como reconhecer raças específicas de pássaros. O problema é que, se você tentar reescrever todo o cérebro para aprender isso, ele pode esquecer tudo o que já sabia sobre esportes ou paisagens. Isso é o que os cientistas chamam de "Esquecimento Catastrófico".

Para evitar isso, os pesquisadores criaram uma técnica chamada PEFT (Ajuste Fino Eficiente). Em vez de reescrever todo o cérebro, eles criam um "caderno de anotações" pequeno e barato ao lado do cérebro. O cérebro original fica congelado (não muda), e a IA aprende apenas escrevendo nesse caderno.

Este artigo investiga como diferentes tipos de "cadernos" funcionam quando você precisa ensinar a IA várias coisas, uma após a outra (como primeiro pássaros, depois uso do solo, depois cenas naturais, depois esportes).

Aqui está a explicação simples das descobertas, usando analogias do dia a dia:

1. O Problema: O Caderno Muito Pequeno

Alguns métodos (como o LoRA) usam um caderno muito pequeno. Eles dizem: "Só podemos escrever em 8 linhas específicas".

• O que acontece: Quando você ensina a IA sobre pássaros, ela usa essas 8 linhas. Quando você ensina sobre esportes, ela é forçada a usar as mesmas 8 linhas.
• Resultado: As informações de pássaros e esportes começam a se misturar e se apagar. É como tentar escrever duas receitas diferentes no mesmo espaço de 8 linhas de um bloco de notas; uma vai apagar a outra. Quanto menor o espaço, mais a IA esquece o que aprendeu antes.

2. O Erro de Foco: O Caderno "Principal" (PiSSA)

Outro método (o PiSSA) é ainda mais rígido. Ele diz: "Só podemos escrever nas linhas onde o cérebro já é mais inteligente".

• A Analogia: Imagine que o cérebro é um pianista que já toca muito bem. O PiSSA diz: "Só vamos treinar os dedos que você já usa mais".
• O Problema: Se você tentar ensinar algo novo usando apenas os dedos que o pianista já domina, você acaba estragando a música que ele já tocava bem. O método PiSSA, ao focar apenas nas "partes principais" do conhecimento antigo, acaba bagunçando a memória original e fazendo a IA esquecer muito rápido.

3. A Solução Inteligente: O Caderno "Organizado" (WeGeFT)

Um método chamado WeGeFT é mais esperto. Ele não escreve em qualquer lugar. Ele diz: "Vamos escrever apenas nas linhas que já fazem sentido para o cérebro, mas vamos organizar isso de forma que não apague o antigo".

• A Analogia: É como se você tivesse um caderno onde as páginas já estão organizadas por assunto. Quando você aprende sobre pássaros, você escreve na seção de "Natureza". Quando aprende sobre esportes, você escreve na seção "Esportes".
• Resultado: Como o caderno respeita a estrutura do cérebro original, a IA consegue aprender coisas novas sem apagar as antigas. Ela esquece muito pouco.

4. A Solução Mágica: O Caderno em 3D (LoRETTA)

O método LoRETTA faz algo diferente. Em vez de usar um caderno de papel (matrizes 2D), ele usa um cubo de Rubik (tensores 3D).

• A Analogia: Imagine que você precisa guardar informações em uma caixa. O LoRA usa uma caixa plana e fina. O LoRETTA usa uma caixa cúbica e profunda. Mesmo que a caixa seja pequena (poucos parâmetros), ela consegue guardar muito mais informações porque usa o espaço de forma mais eficiente e complexa.
• Resultado: A IA consegue guardar detalhes ricos sobre pássaros e esportes no mesmo espaço pequeno, sem que um apague o outro. É como se ela tivesse uma memória de elefante, mas em um espaço de formiga.

Resumo da História

O artigo descobriu que, para uma IA não esquecer o que aprendeu enquanto aprende coisas novas, o "caderno de anotações" (o método de ajuste) precisa de um de dois jeitos:

1. Ser grande e flexível o suficiente para não misturar as coisas (como o LoRA com rank alto).
2. Ou ser super inteligente na forma como organiza a informação, seja respeitando a estrutura do cérebro (WeGeFT) ou usando formas 3D para guardar mais dados em menos espaço (LoRETTA).

Se o caderno for muito pequeno e forçar a IA a usar as mesmas "linhas" para tudo, ela vai esquecer tudo. Mas se o caderno for bem projetado, a IA pode aprender para sempre sem perder sua memória antiga.

Conclusão: Para ensinar uma IA várias coisas seguidas, não basta apenas economizar espaço; é preciso escolher a forma certa de organizar esse espaço.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning", apresentado em português:

1. O Problema

O Fine-Tuning Eficiente de Parâmetros (PEFT), baseado em decomposição de baixo posto (como o LoRA), tornou-se o padrão para adaptar grandes modelos pré-treinados a tarefas específicas, reduzindo drasticamente custos de treinamento e armazenamento. No entanto, o comportamento desses métodos em cenários de aprendizado sequencial (onde o modelo aprende uma série de tarefas ao longo do tempo) permanece pouco compreendido.

O foco central do trabalho é o Esquecimento Catastrófico: a degradação do desempenho em tarefas anteriores à medida que novas tarefas são aprendidas. A questão de pesquisa é se a restrição das atualizações de parâmetros a subespaços de baixa dimensão (como fazem o LoRA e suas variantes) mitiga ou agrava a interferência entre tarefas e como diferentes designs de reparametrização impactam a retenção de conhecimento.

2. Metodologia

Os autores realizaram um estudo empírico controlado utilizando um Vision Transformer (ViT) pré-treinado no ImageNet-1K como modelo base.

• Protocolo de Treinamento: Adotou-se um protocolo de aprendizado sequencial com quatro tarefas de classificação de imagens distintas, representando diferentes domínios visuais (espécies de pássaros, uso da terra, cenas naturais e esportes).
• Configuração: Durante o fine-tuning, todos os parâmetros do "backbone" (modelo base) foram congelados. Apenas os parâmetros introduzidos pelos módulos PEFT foram atualizados.
• Métodos Comparados: O estudo comparou o Full Fine-Tuning (FF) com quatro métodos de PEFT de última geração:
  1. LoRA: Decomposição em matrizes de baixo posto.
  2. PiSSA: Adaptação baseada nos principais valores e vetores singulares (atualiza apenas os componentes principais).
  3. LoRETTA: Utiliza decomposição Tensor Train (TT) para criar adaptadores tensorizados ultra-compactos.
  4. WeGeFT: Restringe atualizações a um subespaço alinhado com os pesos pré-treinados e compartilha parâmetros entre camadas.
• Métricas: A principal métrica foi o Esquecimento Médio (baseado na degradação de acurácia em tarefas anteriores após aprender novas), além da acurácia final média.

3. Principais Contribuições e Descobertas

O trabalho estabelece uma conexão clara entre a geometria do subespaço de atualização e o comportamento de esquecimento. As descobertas principais são:

• Flexibilidade vs. Restrição: O esquecimento está intrinsecamente ligado à liberdade de atualização permitida. O Full Fine-Tuning (sem restrições) permite que tarefas ocupem direções distintas, minimizando interferência.
• O Dilema do LoRA: O LoRA padrão, ao restringir atualizações a um subespaço de baixa dimensão compartilhado, sofre de maior interferência de tarefas (esquecimento) em ranks baixos. O esquecimento diminui monotonicamente à medida que o rank (dimensão do subespaço) aumenta.
• O Problema do PiSSA: O PiSSA, que restringe atualizações estritamente aos componentes singulares principais dos pesos pré-treinados, apresentou o pior desempenho em termos de esquecimento. Isso ocorre porque ele força atualizações em um subespaço altamente compartilhado e genérico, o que acaba perturbando a representação pré-treinada e causando forte interferência entre tarefas.
• Sucesso do LoRETTA (Decomposição Tensorial): O LoRETTA demonstrou que a decomposição baseada em tensores (Tensor Train) captura informações estruturais mais ricas do que matrizes simples de baixo posto. Mesmo com orçamentos de parâmetros extremamente compactos, o LoRETTA manteve baixo esquecimento e alta acurácia, provando que a eficiência paramétrica não precisa comprometer a retenção se a estrutura for adequada.
• Sucesso do WeGeFT (Alinhamento Estrutural): O WeGeFT, ao alinhar o subespaço de atualização com os pesos pré-treinados e compartilhar parâmetros, preservou as representações pré-treinadas, resultando em baixo esquecimento mesmo sob orçamentos rigorosos.

4. Resultados Quantitativos (Resumo)

Os experimentos foram realizados em ViT-Base e ViT-Large:

• ViT-Base: O LoRETTA (57K parâmetros) e WeGeFT (54K parâmetros) tiveram esquecimento médio de ~0.07, comparável ao Full Fine-Tuning (0.074), enquanto o LoRA (313K) teve 0.149 e o PiSSA (313K) teve 0.208.
• ViT-Large: O LoRETTA (132K) e WeGeFT (65K) superaram significativamente o LoRA (835K) e o PiSSA (835K) em retenção de conhecimento, com o PiSSA exibindo o esquecimento mais alto (0.2339).
• Tendência: Aumentar o rank no LoRA reduz o esquecimento, mas métodos como LoRETTA e WeGeFT alcançam resultados superiores com muito menos parâmetros treináveis.

5. Significado e Conclusão

Este trabalho oferece diretrizes práticas para o design de métodos PEFT em aprendizado contínuo:

1. Design do Subespaço é Crucial: A geometria e a parametrização do subespaço de atualização são fatores determinantes para a estabilidade do aprendizado contínuo.
2. Dois Regimes Eficazes: Para mitigar o esquecimento, deve-se optar por:
   • Alta Flexibilidade/Informação Rica: Usar decomposições tensoriais (como LoRETTA) que capturam dependências estruturais complexas com poucos parâmetros.
   • Restrição Estruturada Alinhada: Usar métodos que forçam as atualizações a permanecerem alinhadas com a representação pré-treinada (como WeGeFT).
3. Aviso sobre Restrições Excessivas: Métodos que restringem atualizações a subespaços pequenos e altamente compartilhados e que perturbam o espaço pré-treinado (como PiSSA em ranks baixos) tendem a sofrer de esquecimento catastrófico severo.

Em suma, o artigo demonstra que a eficiência paramétrica e a estabilidade no aprendizado contínuo não são mutuamente exclusivas, desde que o design do método considere cuidadosamente a estrutura geométrica das atualizações.