Resumo Técnico: PermDoRA - Compreendendo a Interferência de Adaptadores em Modelos de Linguagem

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em ambientes empresariais e científicos frequentemente exige controle de acesso modular, onde usuários são autorizados a acessar subconjuntos específicos de conhecimento de domínio sem a necessidade de retreinar o modelo inteiro. Embora as abordagens existentes lidem com o controle de acesso nos níveis de prompt, roteamento ou recuperação, elas carecem de modularidade ao nível das representações aprendidas.

Um desafio central no controle de acesso ao nível de parâmetros é a interferência de adaptadores: quando múltiplos adaptadores de domínios específicos são compostos no momento da inferência, o desempenho frequentemente degrada. Uma hipótese prevalecente sugere que essa interferência decorre da sobreposição em atualizações de parâmetros lineares. Consequentemente, hipotetiza-se que impor ortogonalidade ou independência direcional no espaço de parâmetros (via fusão ciente da geometria) deve mitigar essa interferência e melhorar o desempenho multi-domínio em comparação com a média euclidiana padrão.

Metodologia: DoRA-RBAC

Os autores propõem o DoRA-RBAC, um framework de composição de adaptadores hierárquico projetado para testar a hipótese de interferência geométrica.

1. Arquitetura do Framework

• Modelo Base: Um backbone pré-treinado (LLaMA-3.1-8B ou Mistral-7B) é congelado.
• Baseline Compartilhada: Um adaptador de baseline compartilhado é treinado e congelado.
• Adaptadores de Gerenciamento (Manager Adapters): Para cada domínio $d$, um adaptador de gerenciamento armazena uma atualização incremental em relação à baseline.
• Decomposição DoRA: Diferente do LoRA padrão ($\Delta W = BA$), o DoRA decompõe as atualizações em um vetor de direção unitária $\hat{v}_i$ e um escalar de magnitude $m_i$:
  $$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$$
  onde $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$.
• Composição: Na inferência, os domínios autorizados de um usuário são compostos em um único adaptador achatado.

2. Estratégias de Composição

O estudo compara duas estratégias de fusão para domínios autorizados $D$:

1. Composição Euclidiana: As atualizações de peso efetivas são calculadas pela média no espaço euclidiano, seguida de Decomposição de Valor Singular (SVD) truncada para refatorar o resultado em um adaptador de baixo posto.
   $$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$$
2. Composição Riemanniana (Ciente da Geometria): Aproveitando a separação de direção e magnitude do DoRA, este método trata as direções normalizadas como pontos em uma hiperesfera unitária. Ele calcula a média de Fréchet via média direcional normalizada e agrega as magnitudes separadamente:
   $$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$$
   O peso final é reconstruído via SVD.

3. Métricas de Avaliação

• Utilidade: Medida via Índice de Lacuna de Utilidade (UGI), o ganho de precisão de um gerenciador específico de domínio sobre a baseline.
• Interferência/Segurança: Medida via Índice de Distinguibilidade de Domínio (DDI), um escore AUC que quantifica quão bem um modelo pode ser distinguido como "dentro do domínio" vs. "fora do domínio" usando ataques de inferência de membros (ex: Min-K++).
• Diagnósticos Geométricos: Similaridade de cosseno entre atualizações de adaptadores e perdas de ortogonalidade simétrica.

Principais Resultados

1. Desempenho de Domínio Único

Em tarefas de domínio único através de GPQA, PubMedQA, SimpleQA e WMDP, o DoRA-RBAC apresenta desempenho comparável ao LoRA padrão. Não há diferença significativa de desempenho entre os dois métodos em configurações de domínio único, confirmando que a decomposição modular não degrada inerentemente a utilidade.

2. Composição Multi-Domínio (O Achado Central)

O principal achamento empírico é que a fusão ciente da geometria não oferece vantagem consistente sobre a média euclidiana padrão em configurações multi-domínio.

• Desempenho: No SimpleQA (combinações de 2 e 3 domínios), a fusão euclidiana e a riemanniana produziram pontuações de precisão virtualmente idênticas (ex: Llama 2-domínios: 0.00532 para ambos; Mistral 2-domínios: ~0.0123 para ambos).
• Interferência: A hipótese de que impor ortogonalidade reduziria a interferência não foi sustentada. O "ganho" da fusão é atribuído às propriedades da própria modularidade, e não à estrutura geométrica da composição.

3. Diagnósticos Geométricos

• Alinhamento Angular: O estudo descobriu que a similaridade de cosseno entre as atualções de adaptadores prevê quando a fusão ciente da geometria colapsa para o comportamento euclidiano. À medida que as atualizações se tornam mais colineares (alta similaridade de cosseno), a lacuna de desempenho entre as duas estratégias de fusão diminui para zero.
• Limitação da Geometria: No entanto, o alinhamento angular é um preditor fraco do desempenho geral da composição. Mesmo quando os adaptadores são ortogonais, a interferência persiste. Isso sugere que a interferência não é governada primariamente pela geometria do espaço de parâmetros linear.

4. Segurança e Privacidade

• Utilidade vs. Privacidade: Embora os gerenciadores específicos de domínio melhorem a utilidade do domínio alvo (UGI médio +0.1178 no SimpleQA), eles não fornecem garantias fortes de privacidade.
• Resultos de DDI: O AUC do Índice de Distinguibilidade de Domínio (DDI) permaneceu em torno de 0.65, significativamente acima do acaso (0.5). Isso indica que a composição modular não isola totalmente os comportamentos de domínio; os modelos retêm "impressões digitais comportamentais" distinguíveis de seus domínios constituintes.

Conclusões e Significância

O artigo conclui que a interferência de adaptadores não é impulsionada primariamente pela sobreposição linear no espaço de parâmetros, mas sim por interações em representações não lineares compartilhadas e ativações subsequentes.

• Refutação da Hipótese Geométrica: A suposição de que impor ortogonalidade ou usar fusão riemanniana resolveria a interferência é incorreta. Quando as direções de atualização dos adaptadores são quase colineares (como observado na prática), a fusão ciente da geometria reduz-se efetivamente à média aritmética comum, oferecendo nenhuma vantagem.
• Implicações para Controle de Acesso: O DoRA-RBAC deve ser visto como um framework de composição modular e de serviço, e não como um mecanismo para isolamento estrito. Embora permita a inferência multi-domínio eficiente, não garante privacidade. Defesas formais de privacidade (ex: treinamento com privacidade diferencial) continuam sendo necessárias para implantações de alta segurança.
• Direção Futura: Os autores sugerem que trabalhos futuros foquem em objetivos de nível de representação ou restrições de espaço de ativação, em vez da geometria do espaço de parâmetros, para alcançar uma composiçãoção confiável.

O estudo serve como um aviso contra a dependência excessiva das propriedades geométricas do espaço de parâmetros para resolver o complexo problema da interferência de adaptadores em grandes modelos de linguagem.