Resumo Técnico: SCALE-LoRA

Declaração do Problema

À medida que as bibliotecas de Adaptação de Baixo RANK (LoRA) se acumulam, o foco da pesquisa deslocou-se do treinamento de adaptadores de tarefa única para a reutilização de um pool aberto de adaptadores para novas tarefas não vistas, com dados de suporte limitados. Embora trabalhos anteriores (por exemplo, LoRAHub, iLoRAComp) tenham estabelecido métodos para recuperação e ponderação dinâmica de adaptadores, persiste uma lacuna crítica de "confiabilidade pós-recuperação".

O artigo identifica dois gargalos específicos que ocorrem após a recuperação de adaptadores relevantes:

1. Interferência de Fusão: Adaptadores recuperados podem ocupar direções de atualização sobrepostas ou conflitantes no espaço de parâmetros. A soma densa direta pode levar a uma amplificação redundante de componentes comuns ou a uma cancelamento destrutivo de componentes complementares.
2. Confiabilidade da Visão: Diferentes visões plausíveis de composição (derivadas de diferentes representações de tarefas ou índices de incorporação) podem produzir previsões conflitantes. Pipelines existentes frequentemente carecem de um mecanismo para auditar qual visão é confiável ou como agregá-las quando discordam.

As pipelines atuais otimizam em grande parte decisões pré-fusão (recuperação e ponderação), mas tratam a composição pós-recuperação como uma fusão simples e determinística, deixando o sistema vulnerável a atualizações incompatíveis e saídas não confiáveis.

Metodologia

Os autores propõem o SCALE (Camada de Acordo de Composição Esparsa), um framework que separa o problema pós-recuperação em dois componentes distintos: um operador de fusão implantável e uma camada de análise de confiabilidade de maior custo.

1. Composição de Resíduo Esparsa Adaptativa por Camada (LASRC)

A LASRC aborda a interferência de fusão como um operador de caminho único.

• Mecanismo: Em vez de uma soma ponderada linear padrão, a LASRC preserva a fusão linear como uma "âncora", mas constrói direções de atualização de resíduo em blocos ao seu redor.
• Processo:
  • Adaptadores recuperados são ordenados por sua magnitude ponderada pelo suporte.
  • A maior atualização serve como âncora. Atualizações subsequentes são residualizadas em relação às direções retidas anteriormente usando um processo de Gram-Schmidt modificado para remover redundância.
  • Se uma direção de resíduo for muito pequena (abaixo de um limiar de poda), ela é descartada.
  • A atualização composta final interpola entre a âncora linear original e a soma residualizada, controlada por um coeficiente específico de bloco $\gamma_b$.
• Objetivo: Reduzir a ocupação repetida de subespaços de atualização semelhantes sem alterar o pipeline de recuperação ou exigir re-treinamento.

2. Poda Estocástica de Delta (SDP)

A SDP serve como uma etapa de pré-processamento esparsa semeada aplicada antes da LASRC em configurações de múltiplas visões.

• Mecanismo: Aplica uma máscara Bernoulli aos deltas do adaptador (entradas do tensor) e reescala as entradas sobreviventes para preservar a norma de Frobenius.
• Propósito: Perturbar os deltas do adaptador e expor se o controle esparsa ajuda ou prejudica a reutilização, atuando como um mecanismo para quebrar dependências acidentais de direções específicas de tarefas-fonte.

3. A Camada de Acordo (SCALE)

Esta camada aborda a confiabilidade da visão comparando múltiplas visões de composição esparsa.

• Configuração: Múltiplas visões são construídas usando diferentes estratégias de recuperação (por exemplo, diferentes índices de incorporação) e perturbações SDP. Cada visão é composta usando LASRC.
• Estratégias de Agregação:
  • Acordo Uniforme: Média das previsões entre visões igualmente (linha de base de controle).
  • Ponderada por Perda de Suporte: Atribui pesos maiores a visões que alcançam menor perda no conjunto de suporte.
  • Oráculo: Seleciona a melhor visão com base em rótulos de verdade fundamental (relatado apenas como limite superior/espacamento).
• Saída: A resposta final é selecionada agregando respostas candidatas ponderadas pela confiabilidade da visão e frequência de acordo.

Principais Contribuições

1. Operador LASRC: Um operador de fusão residual de recuperação fixa que preserva uma âncora linear enquanto separa direções de atualização de resíduo em blocos para reduzir a reutilização redundante de subespaços LoRA semelhantes.
2. Mecanismo SDP: Um método de construção de visão esparsa semeada que perturba os deltas do adaptador para testar a robustez do controle esparsa na composição.
3. Framework SCALE: Uma camada de análise de confiabilidade que compara explicitamente acordo, seleção por proxy de perda de suporte e espacamento de oráculo sob um custo de caminho definido, tratando a discordância de visão como um sinal de incerteza observável.
4. Pipeline Integrado: Um pipeline de reutilização de LoRA entre tarefas combinando LASRC, SDP e SCALE para adaptação a tarefas não vistas sem treinar novos adaptadores.
5. Avaliação Rigorosa: Experimentos correspondidos no FLAN-T5-Large com BIG-Bench Hard (BBH) e um pool de 97 LoRA, juntamente com validação distinta de protocolo em backbones apenas decodificadores (LLaMA, Qwen, DeepSeek).

Resultados Experimentais

Configuração Correspondente FLAN-T5-Large / BBH

• Fusão de Visão Única (LASRC): Sob recuperação e decodificação fixas, a LASRC alcançou uma Correspondência Exata (EM) média de 36,44, comparado a 35,60 para a linha de base linear iLoRAComp ($\Delta = +0,84$).
  • Nota Estatística: A melhoria é direcional, mas não estatisticamente significativa em $\alpha=0,05$ para o teste estratificado por tarefa (IC 95%: $[-0,69, 2,16]$), provavelmente devido ao número limitado de tarefas (27) e heterogeneidade no desempenho das tarefas. No entanto, a tendência é consistente entre sementes e ablações.
• Confiabilidade de Múltiplas Visões (SCALE):
  • SDP+LASRC: Adicionar pré-processamento esparsa melhorou a pontuação de visão única para 36,81.
  • SCALE-Suporte: Usar três visões com ponderação por perda de suporte alcançou 36,87 ($\Delta = +0,43$ sobre LASRC).
  • Oráculo: O limite superior do oráculo foi 38,27, indicando espacamento restante para seleção de visão.
• Controles: Operadores padrão TIES (poda de sinal) e DARE (descartar e reescalar) performaram pior ou apenas marginalmente melhor que a linha de base nesta configuração específica de reutilização de LoRA, sugerindo que a composição residualizada não é trivialmente recuperada por operadores genéricos de fusão esparsa.

Validação Apenas Decodificador (BBH-8 estilo LoGo)

• No LLaMA-3.1-8B, Qwen-2.5-7B e DeepSeek-7B, a combinação LASRC+SCALE superou significativamente tanto o LoRAHub quanto a linha de base LoGo (por exemplo, +16,3 no LLaMA-3.1-8B).
• Caveat: Estes resultados são distintos de protocolo e servem como validação externa em vez de evidência causal controlada para a configuração FLAN.

Significado e Alegações

O artigo posiciona sua contribuição como uma auditoria metodológica da reutilização de LoRA pós-recuperação, em vez de uma alegação de domínio universal.

• Separação de Preocupações: Os autores argumentam que sistemas de pool de adaptadores devem relatar qualidade de fusão (compatibilidade de atualizações) e confiabilidade de visão (confiabilidade de caminhos de composição) separadamente, pois expõem diferentes modos de falha.
• Alegações Modestas sobre Significado:
  • LASRC é apresentado como um operador implantável e de baixo custo (custo de caminho $1,0\times$) com evidência direcional de redução de interferência de fusão, embora não seja uma vitória estatística decisiva em todas as tarefas.
  • SCALE é explicitamente enquadrado como uma ferramenta de análise de confiabilidade (custo de caminho $3,0\times$) em vez de um substituto equivalente em vazão para inferência de visão única. Demonstra que a discordância de visão é mensurável e que proxies de perda de suporte podem melhorar a seleção, mas não alega ser um estimador de confiabilidade calibrado.
• Limitações: Os autores reconhecem que a ponderação por perda de suporte é um proxy informativo, mas não um estimador calibrado de precisão de consulta. Eles também observam que o poder estatístico do resultado de visão única é limitado pelo número de tarefas no benchmark.

Em resumo, o SCALE-LoRA fornece uma abordagem estruturada para auditar e melhorar a composição de adaptadores LoRA recuperados, oferecendo um operador de fusão residual para mitigar interferência e um framework de múltiplas visões para quantificar e aproveitar a discordância de visão.