Resumo Técnico: BiCo – Alinhamento Bilinear de Coordenadas para Transferência de Vetores de Tarefa Sem Treinamento

Declaração do Problema

O paradigma predominante no aprendizado de máquina moderno envolve adaptar modelos pré-treinados em larga escala a tarefas especializadas de domínio downstream por meio de ajuste fino (fine-tuning). No entanto, à medida que as famílias de modelos pré-treinados se expandem com novas variantes que diferem em escala, dados de pré-treinamento ou receitas de treinamento, a expertise adquirida por meio do ajuste fino torna-se vinculada à parametrização específica do modelo original. Consequentemente, quando uma nova versão do modelo é lançada, o conhecimento ajustado finamente não pode ser reutilizado diretamente, tornando necessários processos de ajuste fino custosos e repetitivos.

As abordagens existentes para transferir essa expertise de "vetor de tarefa" (definida como a diferença de parâmetros $\tau = \theta_{ft} - \theta_{pre}$) entre diferentes modelos enfrentam limitações significativas. Métodos que dependem de alinhamento no espaço de parâmetros (por exemplo, re-basin via simetrias de permutação) exigem compatibilidade arquitetônica estrita e dimensões correspondentes. Métodos recentes sem treinamento que utilizam sinais específicos da tarefa, como ativações ou gradientes (por exemplo, THESEUS, GradFix), fornecem correspondências parciais, mas ainda exibem uma lacuna substancial de desempenho em relação ao ajuste fino direto do modelo alvo. O desafio central é transferir vetores de tarefa entre modelos com diferentes larguras, profundidades e configurações de pré-treinamento sem atualizações adicionais de parâmetros.

Metodologia: BiCo

Os autores propõem o BiCo (Alinhamento Bilinear de Coordenadas), um framework sem treinamento que reformula a transferência de vetores de tarefa como um problema de alinhamento em espaço dual.

1. Insight Teórico: Formação Bilinear de Vetores de Tarefa

Os autores revisitam a formação mecânica de um vetor de tarefa. Ao analisar a regra de atualização de descida de gradiente, eles demonstram que um vetor de tarefa $\tau^{(l)}$ para uma camada $l$ é o acúmulo de interações bilineares entre ativações do lado de entrada ($x_t$) e gradientes do lado de saída ($g_t$) ao longo da trajetória de ajuste fino:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
Esta formulação implica que um vetor de tarefa não é meramente um deslocamento de parâmetros, mas um acoplamento de dois espaços de coordenadas distintos: o espaço de ativação de entrada e o espaço de gradiente de saída. Os autores argumentam que a transferência bem-sucedida requer o alinhamento de ambos os espaços para preservar a geometria subjacente da atualização, em vez de alinhar apenas ativações ou apenas parâmetros.

2. O Framework BiCo

O BiCo estima mapeamentos de Procrustes ortogonais para ambos os espaços de entrada e saída usando um pequeno conjunto de calibração ($N$ amostras) e uma única passagem forward–backward através de modelos pré-treinados congelados. Nenhum parâmetro do modelo alvo é atualizado.

• Alinhamento do Lado de Entrada: O método assume que as ativações pré-treinadas servem como proxies eficazes para as ativações da trajetória. Ele calcula a covariância cruzada entre as ativações pré-treinadas da fonte ($\bar{X}_{A,pre}$) e as ativações pré-treinadas do alvo ($\bar{X}_{B,pre}$). Uma solução de Procrustes ortogonal ($R_{in}$) é derivada via Decomposição em Valores Singulares (SVD) para mapear as coordenadas de entrada da fonte para o espaço de entrada do alvo, preservando a geometria relacional (medida pelo Alinhamento de Kernel Centralizado, CKA).
• Alinhamento do Lado de Saída: Da mesma forma, o método calcula gradientes em relação às saídas da camada na inicialização pré-treinada ($\bar{G}_{A,pre}$ e $\bar{G}_{B,pre}$). Uma segunda solução de Procrustes ortogonal ($R_{out}$) é estimada para alinhar as coordenadas do gradiente de saída. Esta etapa é crucial porque as dimensões de saída frequentemente diferem entre os modelos de origem e alvo, e as direções "sensíveis à tarefa" podem ser codificadas em bases diferentes.
• Transferência de Vetor de Tarefa: O vetor de tarefa da fonte $\tau_A^{(l)}$ é transformado na atualização compatível com o alvo $\hat{\tau}_B^{(l)}$ aplicando os mapeamentos aprendidos a ambos os lados da estrutura bilinear:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  O modelo alvo final é atualizado como $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$.

3. Tratamento de Incompatibilidades Estruturais

• Incompatibilidade de Largura: A formulação de Procrustes lida naturalmente com casos onde as dimensões de entrada/saída diferem (por exemplo, transferência de estreito para largo ou de largo para estreito) encontrando a projeção ortogonal ótima.
• Incompatibilidade de Profundidade: Para modelos com diferentes números de camadas, é empregada uma estratégia simples de correspondência discreta de índice de camada, mapeando a camada alvo $j$ para a camada de origem mais próxima $i(j)$.

Contribuições Principais

1. Revisão da Formação de Vetores de Tarefa: O artigo estabelece que os vetores de tarefa são acúmulos de interações bilineares entre ativações de entrada e gradientes de saída, motivando uma abordagem de alinhamento em espaço dual em vez de alinhamento em espaço único ou espaço de parâmetros.
2. Framework BiCo: Introdução de um método sem treinamento que utiliza alinhamento de Procrustes ortogonal tanto em ativações de entrada quanto em gradientes de saída para transferir vetores de tarefa. Requer apenas uma única passagem forward–backward em um pequeno conjunto de calibração e não envolve atualizações de parâmetros ou ajuste de hiperparâmetros.
3. Validação Empírica: Experimentos extensivos em benchmarks de visão computacional (8-Vision benchmark) e processamento de linguagem natural (GLUE suite) demonstram que o BiCo supera consistentemente as bases existentes sem treinamento (por exemplo, THESEUS, GradFix, TransFusion) e reduz a lacuna de desempenho em relação ao ajuste fino direto, mesmo entre modelos com diferentes larguras, profundidades e distribuições de pré-treinamento.

Resultados

• Escalonamento de Largura: Ao transferir de um ViT-B/16 para um ViT-B/16-plus mais largo, o BiCo supera significativamente o preenchimento ingênuo e o THESEUS. Com apenas 100 amostras de calibração, o BiCo alcança um ganho médio de acurácia de +18,88% sobre a linha de base zero-shot, comparado a +3,81% para o THESEUS.
• Arquitetura Idêntica: Mesmo quando as arquiteturas correspondem, mas os dados de pré-treinamento diferem (Datacomp-XL para LAION-2B), a transferência ingênua degrada o desempenho. O BiCo melhora a acurácia média em +17,81% sobre a linha de base zero-shot com 5 shots por classe, superando substancialmente o GradFix e o THESEUS.
• Escalonamento de Profundidade e Largura: Em cenários desafiadores envolvendo incompatibilidades tanto de profundidade quanto de largura (ViT-B/16 para ViT-L/14), o BiCo melhora a linha de base zero-shot em +12,89%, demonstrando generalizabilidade estrutural.
• Generalização em NLP: Aplicado a modelos T5 (T5-3B para T5-Large), o BiCo mostra melhorias robustas na acurácia de sondagem linear em tarefas GLUE, escalando efetivamente com o número de amostras de calibração.
• Estudos de Ablação: A análise confirma que alinhar apenas o lado de entrada ou apenas o lado de saída é insuficiente. A combinação de ambos, especificamente usando gradientes para o lado de saída, é crítica para o desempenho. O alinhamento apenas de entrada pode até degradar o desempenho abaixo da linha de base zero-shot em camadas profundas.

Significado e Alegações

O artigo alega que o BiCo aborda a ineficiência de re-ajustar modelos finamente, permitindo a reutilização direta de expertise específica da tarefa entre diversas variantes de modelos. Ao interpretar vetores de tarefa como interações bilineares, os autores argumentam que preservar a geometria tanto do espaço de ativação de entrada quanto do espaço de gradiente de saída é essencial para uma transferência eficaz.

O significado deste trabalho reside em sua capacidade de:

• Reduzir a Sobrecarga Computacional: Eliminar a necessidade de ajuste fino iterativo de modelos alvo, exigindo apenas uma única passagem forward–backward para calibração.
• Permitir Reutilização Escalável: Facilitar a transferência de conhecimento entre modelos com diferentes larguras, profundidades e configurações de pré-treinamento, o que é crítico à medida que as famílias de modelos fundamentais evoluem.
• Reduzir a Lacuna de Desempenho: Reduzir substancialmente a lacuna entre transferência sem treinamento e ajuste fino direto, oferecendo uma alternativa prática e plug-and-play para adaptação de modelos.

Os autores mantêm modéstia quanto às limitações, observando que o método assume estruturas internas suficientemente compatíveis (por exemplo, dentro da mesma família de backbones) e que uma pequena lacuna em relação ao ajuste fino direto permanece, sugerindo que o alinhamento linear de coordenadas sozinho pode não capturar todas as informações específicas da tarefa. Eles também observam que o método não corrige inerentemente vieses presentes no vetor de tarefa de origem ou nos dados de calibração.