Decoupled Mixture-of-Experts for Parametric Knowledge Injection

Resumo Técnico: Mistura de Especialistas Desacoplada para Injeção de Conhecimento Paramétrico

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) possuem conhecimento paramétrico estático após o pré-treinamento, o que leva a falhas em consultas específicas de domínio ou sensíveis ao tempo, resultando frequentemente em alucinações ou respostas desatualizadas. Os paradigmas existentes de injeção de conhecimento enfrentam um compromisso fundamental entre flexibilidade e profundidade de integração:

• Geração Aumentada por Recuperação (RAG): Mantém o conhecimento externo e facilmente atualizável, mas o injeta apenas ao nível do prompt. Isso proporciona uma integração rasa e sofre de ineficiências de inferência devido à recuperação repetida e ao processamento de contexto longo.
• Métodos de Pós-Treinamento (ex: SFT, LoRA): Codificam o conhecimento diretamente nos parâmetros do modelo para uma integração mais profunda. No entanto, atualizar parâmetros compartilhados acarreta esquecimento catastrófico, conflitos de conhecimento e altos custos de retreinamento, carecendo de modularidade e atualizabilidade independente.

O gargalo arquitetônico central identificado é a falta de um mecanismo para isolar conhecimento heterogêneo, rotear para módulos específicos e expandir o modelo incrementalmente sem perturbar capacidades não relacionadas ou quebrar a inferência auto-regressiva eficiente.

Metodologia: Mistura de Especialistas Desacoplada (DMoE)
Os autores propõem o DMoE, uma arquitetura modular que desacopla tanto os módulos de especialistas quanto o roteador do modelo base congelado.

1. Arquitetura e Construção de Especialistas:

   • Desacoplamento: Ao contrário da Mistura de Especialistas (MoE) convencional, onde os roteadores e especialistas são treinados conjuntamente e incorporados dentro do backbone, o DMoE mantém o modelo base congelado.
   • Especialistas: Corpora de conhecimento externos são particionados em unidades semânticas. Para cada unidade, um módulo de especialista leve (implementado como um adaptador LoRA) é treinado independentemente em dados de estilo instrução derivados dessa unidade. Esses especialistas são armazenados externamente e podem ser adicionados, removidos ou atualizados sem retreinar o modelo base.
   • Posicionamento: Para suportar a geração auto-regressiva eficiente, os especialistas são anexados apenas à Rede de Alimentação Direta (FFN) da última camada. Posicionar especialistas em camadas intermediárias alteraria os estados ocultos enviados para blocos de atenção subsequentes, invalidando o cache de Chave-Valor (KV) e forçando a recomputação. Ao restringir os especialistas à última camada, o DMoE preserva a validade dos estados de atenção em cache das camadas anteriores.

2. Roteamento Consciente de Incerteza:

   • Acionamento: Um roteador leve é ativado apenas quando o modelo base exibe conhecimento insuficiente. Isso é determinado pela Incerteza do Token (TU), calculada como a entropia da distribuição softmax do modelo em cada etapa de decodificação. Se $TU > \tau$ (um limiar), o roteamento é acionado.
   • Seleção: O roteador utiliza uma busca léxica baseada em BM25 sobre surrogados de texto associados a cada especialista. Ele recupera os $k$ melhores especialistas cujos documentos associados melhor correspondem ao contexto de geração atual. Este design é livre de treinamento e atualizável incrementalmente.
   • Ativação: Os especialistas selecionados são compostos com os parâmetros do modelo base ($\theta_{eff} = \theta + \sum \Delta\theta_i$) apenas para o estado de decodificação atual. O conjunto ativo é mantido até o próximo evento de acionamento para evitar trocas redundantes.

Principais Contribuições

• Injeção Paramétrica Modular: O DMoE introduz um framework onde os especialistas de conhecimento e o roteador são totalmente desacoplados do modelo base, permitindo atualizações independentes e integração modular.
• Design Seguro para Cache: Ao anexar especialistas exclusivamente à FFN da última camada, a arquitetura permite a aumentação de conhecimento ao nível de parâmetro enquanto preserva o reuso do cache KV, um fator crítico para a eficiência auto-regressiva.
• Ativação Impulsionada por Incerteza: O sistema utiliza a entropia do token para ativar especialistas seletivamente apenas quando necessário, evitando o overhead de recuperação constante ou modificação de parâmetros.

Resultados Experimentais
Os autores avaliaram o DMoE em quatro benchmarks intensivos em conhecimento: HotpotQA, ComplexWebQuestions (CWQ), Quasar-T e StrategyQA, utilizando Llama-3.2-1B e Qwen2.5-1.5B como modelos base.

• Eficácia: O DMoE superou consistentemente os baselines densos e alcançou desempenho competitivo ou superior em comparação ao RAG (Basic-RAG, FLARE) e métodos baseados em adaptadores (PRAG, SFT-LoRA). Alcançou a pontuação melhor ou empatada em 11 de 14 métricas relatadas.
• Eficiência:
  • O DMoE reduziu a latência de inferência em aproximadamente 3× em comparação com métodos de RAG dinâmico como o FLARE.
  • Reduziu o uso de memória GPU em 1.6×–1.9× em comparação ao FLARE.
  • Estudos de ablação confirmaram que anexar especialistas a camadas intermediárias (quebrando o reuso do cache KV) degradou significativamente o desempenho e a eficiência, validando a estratégia de posicionamento na última camada.
• Comparação com MoE Acoplado: Quando comparado a um backbone MoE acoplado e ajustado (OLMoE), o DMoE alcançou maior eficácia com tempo de inferência e pegada de memória significativamente menores (2.7–3.9s vs. 20.0s; 7.2–8.3 GB vs. 26.1 GB), demonstrando que os ganhos advêm do desacoplamento arquitetural e não apenas da escala de parâmetros.

Significância e Alegações
O artigo postula que o DMoE oferece uma direção promissora para a injeção de conhecimento escalável e atualizável em LLMs. Ao tratar especialistas como módulos externos e leves invocados apenas quando o modelo está incerto, o DMoE alcança um compromisso eficácia-eficiência estritamente melhor do que arquiteturas MoE padrão ou RAG tradicional. A abordagem aborda as limitações de atualizações de parâmetros compartilhados (esquecimento/conflito) e injeção ao nível de prompt (integração rasa), mantendo os benefícios computacionais da geração auto-regressiva através da preservação do cache KV. Os autores enfatizam que o sistema é robusto às escolhas de hiperparâmetros (ex: top-$k$ especialistas, limiares de acionamento) e suporta atualizações incrementais sem retreinar o backbone.