🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

Este artigo propõe um framework de edição de conhecimento escalável e de forma fechada para LLMs de Mistura de Especialistas que aproveita estruturas tensoriais e a identidade matricial de Woodbury para realizar atualizações por especialista com aceleração de até 6x, mantendo qualidade de edição comparável a bases de camadas densas.

Autores originais: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Atualizar uma Biblioteca Gigante

Imagine um Modelo de Linguagem de Grande Escala (LLM) como um bibliotecário massivo e superinteligente que sabe quase tudo. No entanto, uma vez que o bibliotecário é treinado, seu conhecimento fica "congelado". Se o mundo muda (por exemplo, um novo presidente é eleito ou um fato científico é corrigido), o bibliotecário continua dando respostas antigas e erradas.

Geralmente, para corrigir isso, você precisa enviar o bibliotecário de volta à escola para uma longa e cara sessão de retreinamento. Isso é lento, custa uma fortuna em poder computacional e corre o risco de fazer o bibliotecário esquecer outras coisas que já sabia.

Edição de Conhecimento é um atalho. Em vez de reeducar todo o bibliotecário, você apenas entra e troca um arquivo específico em sua memória. Métodos anteriores funcionaram muito bem para modelos "densos" (onde cada parte do cérebro está ativa), mas lutaram com modelos modernos.

O Novo Desafio: A Equipe de "Especialistas"

Modelos de IA modernos (como os usados pela OpenAI ou DeepSeek) não usam um único cérebro gigante. Eles usam uma arquitetura de Mistura de Especialistas (MoE).

A Analogia: Imagine que, em vez de um bibliotecário gigante, você tem uma equipe de 100 especialistas especializados (um historiador, um programador, um chef, um médico, etc.).
Como funciona: Quando você faz uma pergunta, um "roteador" (um gerente) olha para a pergunta e acorda apenas os 4 ou 8 especialistas que são relevantes. Os outros permanecem dormindo.
O Problema: Se você quiser atualizar um fato (por exemplo, "A capital da França é Paris"), as antigas ferramentas de edição não sabiam como falar com essa equipe específica. Elas tentavam tratar toda a equipe como uma grande massa, o que é ineficiente e bagunçado. O método existente para corrigir isso (chamado MoE-Edit) era como tentar atualizar os especialistas um por um, em uma longa fila, o que levava uma eternidade.

A Solução: MoTE (O Gerente Inteligente da Equipe)

Os autores propõem um novo método chamado MoTE (Editor Tucker de Mistura de Especialistas). Eles resolveram o problema usando dois truques principais:

1. A Matemática do "Atalho" (Identidade de Woodbury)

A maneira antiga de atualizar os especialistas exigia resolver um quebra-cabeça matemático massivo e complexo que envolvia inverter uma matriz enorme (uma grade de números). Era como tentar resolver um Sudoku com um milhão de quadrados.

Os autores usaram um truque matemático chamado Identidade de Woodbury.

A Analogia: Em vez de resolver o quebra-cabeça de um milhão de quadrados, eles perceberam que só precisavam resolver um pequeno quebra-cabeça de 50 quadrados que representa as mudanças que você deseja fazer.
O Resultado: Isso transforma uma tarefa que leva horas em uma que leva minutos. Eles podem atualizar o conhecimento sem nunca precisar "acordar" ou calcular o peso completo de cada especialista de uma vez.

2. Respeitando a Estrutura da Equipe (Decomposição Tensorial)

O segundo truque foi perceber que os especialistas não são aleatórios; eles estão relacionados. Eles foram treinados juntos, então seu conhecimento está conectado em uma forma 3D específica (como um bloco de queijo em vez de uma folha de papel plana).

A Analogia: Imagine que os especialistas são um coral. Se você quiser mudar o tom da música, você não apenas grita com uma pessoa; você ajusta a harmonia de todo o grupo.
O Método: Os autores usaram Decomposição de Tucker. Esta é uma maneira de comprimir o "bloco de queijo" (os pesos dos especialistas) em uma forma central menor que captura a essência do grupo.
O Benefício: Ao editar essa forma "central" menor, eles atualizam automaticamente todos os especialistas de uma maneira que respeita seus relacionamentos. Isso impede que o modelo fique confuso ou "esqueça" outras coisas.

Os Resultados: Rápido e Preciso

O artigo testou o MoTE em vários modelos de IA modernos (como Qwen e GPT-OSS) e o comparou com o melhor método anterior (MoE-Edit) e o retreinamento padrão.

Velocidade: O MoTE é até 6 vezes mais rápido que o melhor método anterior. Ele pode editar 1.000 fatos em uma fração do tempo.
Qualidade: É tão bom em corrigir os fatos (Eficácia) e não quebrar outras partes do modelo (Especificidade) quanto os métodos mais lentos.
Eficiência: Ele consegue isso fazendo apenas o cálculo matemático pesado uma vez no final do processo e, em seguida, espalhando esse resultado para as outras camadas, em vez de recalcular para cada camada individual.

Resumo

O artigo apresenta o MoTE, uma ferramenta que nos permite atualizar modelos de IA modernos, baseados em "especialistas", de forma rápida e precisa. Ele faz isso ao:

Usar um atalho matemático para evitar cálculos pesados desnecessários.
Respeitar a estrutura de equipe dos especialistas para que as atualizações façam sentido.

Isso significa que podemos manter os modelos de IA atualizados com o mundo real sem precisar reeducá-los do zero, economizando quantidades massivas de tempo e energia.

Resumo Técnico: Edição de Conhecimento Escalável para LLMs de Mistura de Especialistas via Atualizações Estruturadas por Tensores

Declaração do Problema
A edição de conhecimento (KE) oferece uma alternativa leve ao ajuste fino completo para atualizar conhecimento factual em Modelos de Linguagem de Grande Porte (LLMs). Embora métodos estabelecidos como ROME e MEMIT forneçam atualizações eficientes e de forma fechada para redes feed-forward densas (FFNs), eles são incompatíveis com arquiteturas modernas de Mistura de Especialistas (MoE). Em modelos MoE, as associações factuais são distribuídas por um conjunto de especialistas acionados por um roteador, em vez de serem armazenadas em uma única matriz densa. Métodos existentes específicos para MoE, como o MoE-Edit, dependem de descida de coordenadas em blocos iterativa (BCD) ou processamento sequencial de especialistas. Essa abordagem cria um gargalo computacional, exigindo coleta repetida de ativações e iterações sequenciais de solucionadores que escalam mal com o número de especialistas e edições, tornando-os impraticáveis para modelos de produção em grande escala.

Metodologia: MoTE (MoE Tucker Editor)
Os autores propõem o MoTE, um framework que adapta o paradigma de edição em lote e de forma fechada do MEMIT para camadas MoE explorando sua estrutura tensorial. O método consiste em três componentes principais:

Redução de Woodbury para Escalabilidade:
O objetivo de otimização global para edição MoE envolve a inversão de um sistema massivo de tamanho $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ , onde $E$ é o número de especialistas. O MoTE utiliza a identidade matricial de Woodbury para reformular esse problema. Ao reconhecer que a matriz de Gram que impulsiona a inversão é uma soma de $T$ termos de posto único (onde $T$ é o tamanho do lote de edições), o método reduz a complexidade da inversão de cúbica no número de especialistas para cúbica no tamanho do lote ( $T \times T$ ). Isso permite uma solução de forma fechada sem materializar ou inverter a matriz completa de especialistas empilhados.
Reformulação Estruturada por Tensores (Decomposição Tucker):
Os autores identificam que tratar atualizações de especialistas como blocos independentes (uma abordagem de matriz plana) ignora as correlações estruturais entre especialistas aprendidas durante o pré-treinamento. Em vez disso, o MoTE representa a atualização $\Delta W$ como um tensor de terceira ordem ( $E \times d_{model} \times d_{hidden}$ ) e a restringe a uma variedade Tucker de baixo posto.
- Fatorização: A atualização é decomposta em um pequeno tensor núcleo $G$ e três matrizes fator ( $U_e, U_{out}, U_{in}$ ) derivadas via SVD de Ordem Superior (HOSVD) dos pesos originais.
- Otimização: O problema de otimização é colapsado do espaço de alta dimensão de todos os especialistas para o tensor núcleo $G$ muito menor. Isso reduz a dimensionalidade da variável de otimização em ordens de grandeza, preservando a estrutura geométrica da camada MoE.
Propagação Multi-camada no Estilo MEMIT:
Similar ao MEMIT, o MoTE espalha edições por múltiplas camadas críticas para garantir generalização. No entanto, diferentemente de abordagens anteriores de MoE que exigem re-solução para cada camada, o MoTE calcula a solução de forma fechada apenas uma vez na última camada crítica. A atualização resultante do tensor núcleo é então propagada para camadas precedentes com um coeficiente de decaimento, evitando computações redundantes e passadas de retropropagação.

Principais Contribuições

Formulação Consciente de Tensores: O artigo formula o objetivo de KE para camadas MoE respeitando a estrutura tensorial dos pesos de especialistas empilhados, evitando concatenação ingênua ou aproximações de especialista único.
Solução Eficiente de Forma Fechada: Ao combinar a identidade de Woodbury com a decomposição Tucker, o método alcança uma atualização totalmente de forma fechada e sem necessidade de passada de retropropagação. Requer apenas a inversão de matrizes de baixo posto fixas (tamanho determinado pelo tamanho do lote ou posto do núcleo), independentemente do número total de especialistas.
Escalabilidade: A abordagem permite edição em lote semelhante ao MEMIT, tornando viável editar LLMs modernos e esparsos sem os gargalos sequenciais de métodos anteriores específicos para MoE.

Resultados Experimentais
Os autores avaliaram o MoTE em três LLMs MoE modernos (Qwen3-30B-A3B, GPT-OSS-20B e Qwen3.6-35B-A3B) usando os benchmarks COUNTERFACT e ZsRE.

Qualidade de Edição: O MoTE alcança qualidade de edição (eficácia, generalização e especificidade) comparável a bases fortes como o MoE-Edit. Em alguns cenários (por exemplo, GPT-OSS-20B no ZsRE), supera o MoE-Edit em localidade (especificidade).
Velocidade: O método acelera o procedimento de edição em até 6x comparado ao MoE-Edit. Esse ganho de velocidade é atribuído à coleta de ativações apenas uma vez na última camada e à resolução do sistema de forma fechada apenas uma vez, em vez de iterar através de especialistas e camadas sequencialmente.
Ablação: Experimentos confirmam que a combinação ingênua de redução de Woodbury com propagação multi-camada (sem decomposição Tucker) falha em igualar o desempenho do MoE-Edit, validando a necessidade do prior estruturado por tensores.

Significado e Alegações
O artigo alega que a edição de conhecimento modificadora de parâmetros de forma fechada não está intrinsicamente ligada a arquiteturas densas. Ao aplicar o tratamento algébrico correto à estrutura da camada, essas técnicas podem ser estendidas a arquiteturas esparsas complexas. Os autores posicionam o MoTE como um passo em direção à edição de conhecimento escalável em LLMs modernos, demonstrando que a edição baseada em otimização e principial pode acompanhar a evolução arquitetural. Eles enfatizam que seu método fornece um caminho prático para atualizar modelos MoE de produção de forma eficiente, embora observem limitações relacionadas a altos custos computacionais com tamanhos de lote extremamente grandes ( $>>1000$ ) e a sobrecarga inicial de calcular o HOSVD.