Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

Resumo Técnico: Passos de Parâmetros Mais Finos para PEFT de Baixo Posto

Declaração do Problema
Adaptadores de baixo posto, como o LoRA, são o padrão para o Ajuste Fino de Parâmetros Eficientes (PEFT). No entanto, o parâmetro de posto $r$ no LoRA fixa a resolução do orçamento de parâmetros. Para matrizes de projeção grandes (ex: $2048 \times 2048$ no OPT-1.3B), um único incremento de posto adiciona 4.096 escalares treináveis por projeção. Isso cria lacunas discretas grandes na região de baixo orçamento, resultando em uma curva de acurácia–orçamento esparsamente amostrada. O artigo investiga se uma família de adaptadores com incrementos de capacidade mais finos pode revelar diferentes pontos de operação ou melhorar o observado compromisso entre acurácia e orçamento em comparação ao LoRA.

Metodologia
Os autores propõem uma comparação controlada entre o LoRA e adaptadores de tensor Canônico de Componentes Fixos (CP).

1. Formulação do Adaptador:

   • LoRA: Utiliza a atualização padrão $\Delta W = BA$, onde o posto $r$ determina a contagem de parâmetros. Para uma matriz $2048 \times 2048$, um passo de posto equivale a 4.096 parâmetros.
   • Adaptadores CP: A atualização da matriz é remodelada em um tensor de quatro vias ($32 \times 64 \times 32 \times 64$). A atualização é parametrizada como uma soma de $c$ componentes de posto um com fatores normalizados:
     $$T(\Delta W) = \sum_{s=1}^{c} \lambda_s u^{(1)}_s \circ u^{(2)}_s \circ u^{(3)}_s \circ u^{(4)}_s$$
     onde os fatores possuem norma unitária. Um componente CP armazena 193 escalares treináveis (fatores 32+64+32+64 + 1 escalar), aproximadamente 21 vezes menor que um único passo de posto do LoRA.

2. Protocolo Experimental:

   • Modelo & Tarefas: Modelo OPT-1.3B adaptado em três tarefas de classificação: SST-2, RTE e BoolQ.
   • Alvos: Módulos de atenção $q$-proj e $v$-proj (48 projeções no total).
   • Métrica de Comparação: Em vez de comparar apenas em contagens de parâmetros correspondentes, os autores definem uma curva "melhor-sob-orçamento" $U_A(B)$. Para um determinado teto de orçamento $B$, isso reporta a maior acurácia alcançada por qualquer configuração com uma contagem de parâmetros $\le B$. Esta abordagem torna explícita a discretização dos orçamentos viáveis.
   • Controles: Protocolos de treinamento, limites de dados, cronogramas de sementes (grade base: sementes 0–2; confirmação: sementes 0–9) e seleção de checkpoints são mantidos constantes. As taxas de aprendimento foram fixadas antes da varredura principal ($10^{-4}$ para LoRA, $2 \times 10^{-4}$ para CP).

Resultados Principais
O estudo revela que o benefício de passos de parâmetros mais finos é altamente dependente da tarefa:

• SST-2 (Platô Precoce): Pequenos adaptadores CP (ex: $c=2$) atingem um platô de acurácia (~0.93) com uma fração do orçamento do LoRA $r=1$. No entanto, adicionar mais componentes CP não melhora monotonicamente o desempenho, e nenhuma configuração CP excede o melhor resultado do LoRA sob os mesmos tetos de orçamento. A região de baixo orçamento parece saturar precocemente.
• BoolQ (Ascensão Gradual e Saturação): A curva CP mostra uma melhoria clara e gradual de $c=1$ para $c=43$, revelando um crescimento de capacidade intermediário útil que a grade grosseira do LoRA perde. No entanto, a curva eventualmente satura ligeiramente abaixo do melhor resultado do LoRA ($0.739$ vs. $0.743$).
• RTE (Lacuna Persistente): O LoRA supera consistentemente o CP em todos os níveis de orçamento. Mesmo com passos de parâmetros mais finos e componentes adicionais, o CP falha em fechar a lacuna de acurácia, sugerindo que, para esta tarefa, a expressividade das direções de posto um densas e não restringidas do LoRA é mais crítica do que a granularidade do orçamento.

Principais Contribuições

1. Discretização Explícita do Orçamento: O artigo introduz um framework de comparação "melhor-sob-orçamento" que visualiza explicitamente como diferentes famílias de adaptadores discretizam o espaço de parâmetros, indo além das simples comparações de parâmetros correspondentes.
2. Estudo Controlado de Adaptador Tensorizado: Os autores instanciam este framework usando adaptadores CP de componentes fixos, fornecendo um caso de teste controlado onde o tamanho do passo do parâmetro de capacidade é significativamente menor que o do LoRA.
3. Diagnósticos Dependentes de Tarefa: O estudo demonstra que passos de parâmetros mais finos atuam como uma ferramenta de diagnóstico. Eles revelam a forma da curva de resposta ao orçamento (ex: saturação precoce vs. crescimento gradual), mas não garantem inerentemente um compromisso acurácia–orçamento superior.

Significância e Alegações
Os autores declaram explicitamente que não alegam que o adaptador CP de componentes fixos seja um novo método de estado da arte para PEFT. Em vez disso, a significância reside em isolar o efeito da granularidade do orçamento.

O artigo conclui que, embora passos de parâmetros mais finos sejam úteis para diagnosticar a sensibilidade do orçamento do PEFT e revelar pontos de operação entre os postos do LoRA, eles não superam automaticamente as lacunas de expressividade. Em alguns casos (RTE), a flexibilidade da estrutura de atualização do LoRA é mais importante do que a resolução da grade de orçamento; em outros (BoolQ), passos mais finos revelam ganhos de desempenho intermediários; e em outros (SST-2), a tarefa satura tão cedo que a resolução da grade é menos crítica. O trabalho serve como um estudo controlado sobre como a discretização do parâmetro de capacidade influencia o panorama de desempenho observado.