🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

Este artículo propone un marco de edición de conocimiento en forma cerrada y escalable para modelos de lenguaje de gran tamaño con mezcla de expertos que aprovecha las estructuras tensoriales y la identidad de la matriz de Woodbury para lograr actualizaciones por experto con una aceleración de hasta 6x mientras mantiene una calidad de edición comparable a las líneas base de capas densas.

Autores originales: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Actualizar una Biblioteca Gigante

Imagina un Modelo de Lenguaje de Gran Escala (LLM) como un bibliotecario masivo y súper inteligente que lo sabe casi todo. Sin embargo, una vez que el bibliotecario ha sido entrenado, su conocimiento queda "congelado". Si el mundo cambia (por ejemplo, se elige un nuevo presidente o se corrige un hecho científico), el bibliotecario sigue dando respuestas antiguas y erróneas.

Por lo general, para solucionar esto, hay que enviar al bibliotecario de vuelta a la escuela para una sesión de reentrenamiento larga y costosa. Esto es lento, cuesta una fortuna en potencia informática y corre el riesgo de hacer que el bibliotecario olvide otras cosas que ya sabía.

La Edición de Conocimiento es un atajo. En lugar de reentrenar a todo el bibliotecario, simplemente entras y cambias un archivo específico en su memoria. Los métodos anteriores funcionaban muy bien para modelos "densos" (donde cada parte del cerebro está activa), pero tenían dificultades con los modelos modernos.

El Nuevo Desafío: El Equipo de "Expertos"

Los modelos de IA modernos (como los utilizados por OpenAI o DeepSeek) no utilizan un único cerebro gigante. Utilizan una arquitectura de Mezcla de Expertos (MoE).

La Analogía: Imagina que, en lugar de un bibliotecario gigante, tienes un equipo de 100 expertos especializados (un historiador, un programador, un chef, un médico, etc.).
Cómo funciona: Cuando haces una pregunta, un "enrutador" (un gerente) examina la pregunta y solo despierta a los 4 u 8 expertos relevantes. Los demás permanecen dormidos.
El Problema: Si quieres actualizar un hecho (por ejemplo, "La capital de Francia es París"), las antiguas herramientas de edición no sabían cómo hablar con este equipo específico. Intentaban tratar a todo el equipo como una sola masa grande, lo cual es ineficiente y desordenado. El método existente para solucionar esto (llamado MoE-Edit) era como intentar actualizar a los expertos uno por uno, en una fila larga, lo cual tomaba una eternidad.

La Solución: MoTE (El Gerente Inteligente del Equipo)

Los autores proponen un nuevo método llamado MoTE (Editor Tucker de Mezcla de Expertos). Resolvieron el problema utilizando dos trucos principales:

1. Las Matemáticas del "Atajo" (Identidad de Woodbury)

La antigua forma de actualizar a los expertos requería resolver un rompecabezas matemático masivo y complejo que involucraba invertir una matriz enorme (una cuadrícula de números). Era como intentar resolver un Sudoku con un millón de casillas.

Los autores utilizaron un truco matemático llamado la Identidad de Woodbury.

La Analogía: En lugar de resolver el rompecabezas de un millón de casillas, se dieron cuenta de que solo necesitaban resolver un pequeño rompecabezas de 50 casillas que representa los cambios que quieres realizar.
El Resultado: Esto convierte una tarea que toma horas en una que toma minutos. Pueden actualizar el conocimiento sin necesidad de "despertar" nunca o calcular el peso completo de cada experto individualmente al mismo tiempo.

2. Respetar la Estructura del Equipo (Descomposición Tensorial)

El segundo truco fue darse cuenta de que los expertos no son aleatorios; están relacionados. Fueron entrenados juntos, por lo que su conocimiento está conectado en una forma específica de 3D (como un bloque de queso en lugar de una hoja de papel plana).

La Analogía: Imagina que los expertos son un coro. Si quieres cambiar el tono de la canción, no solo le gritas a una persona; ajustas la armonía de todo el grupo.
El Método: Los autores utilizaron la Descomposición de Tucker. Esta es una forma de comprimir el "bloque de queso" (los pesos de los expertos) en una forma central más pequeña que captura la esencia del grupo.
El Beneficio: Al editar esta forma "central" más pequeña, actualizan automáticamente a todos los expertos de una manera que respeta sus relaciones. Esto evita que el modelo se confunda o "olvide" otras cosas.

Los Resultados: Rápido y Preciso

El artículo probó MoTE en varios modelos de IA modernos (como Qwen y GPT-OSS) y lo comparó con el mejor método anterior (MoE-Edit) y el reentrenamiento estándar.

Velocidad: MoTE es hasta 6 veces más rápido que el mejor método anterior. Puede editar 1.000 hechos en una fracción del tiempo.
Calidad: Es tan bueno corrigiendo los hechos (Eficacia) y sin romper otras partes del modelo (Especificidad) como los métodos más lentos.
Eficiencia: Logra esto realizando solo el cálculo matemático pesado una vez al final del proceso y luego propagando ese resultado a las otras capas, en lugar de recalcular para cada capa individual.

Resumen

El artículo presenta MoTE, una herramienta que nos permite actualizar modelos de IA modernos y "basados en expertos" de forma rápida y precisa. Lo hace mediante:

El uso de un atajo matemático para evitar realizar cálculos pesados innecesarios.
El respeto a la estructura de equipo de los expertos para que las actualizaciones tengan sentido.

Esto significa que podemos mantener los modelos de IA actualizados con el mundo real sin necesidad de reentrenarlos desde cero, ahorrando cantidades masivas de tiempo y energía.

Resumen Técnico: Edición de Conocimiento Escalable para LLMs de Mezcla de Expertos mediante Actualizaciones Estructuradas en Tensores

Enunciado del Problema
La edición de conocimiento (KE) ofrece una alternativa ligera al ajuste fino completo para actualizar el conocimiento factual en Modelos de Lenguaje Grandes (LLMs). Si bien métodos establecidos como ROME y MEMIT proporcionan actualizaciones eficientes y de forma cerrada para redes de alimentación hacia adelante densas (FFN), son incompatibles con las arquitecturas modernas de Mezcla de Expertos (MoE). En los modelos MoE, las asociaciones factuales se distribuyen a través de un grupo de expertos gestionados por un enrutador, en lugar de almacenarse en una única matriz densa. Los métodos existentes específicos para MoE, como MoE-Edit, dependen del descenso de coordenadas de bloque iterativo (BCD) o del procesamiento secuencial de expertos. Este enfoque crea un cuello de botella computacional, que requiere la recolección repetida de activaciones y iteraciones secuenciales del solucionador que escalan mal con el número de expertos y ediciones, volviéndolos poco prácticos para modelos de producción a gran escala.

Metodología: MoTE (Editor Tucker de MoE)
Los autores proponen MoTE, un marco que adapta el paradigma de edición por lotes y de forma cerrada de MEMIT a las capas MoE explotando su estructura tensorial. El método consta de tres componentes principales:

Reducción de Woodbury para Escalabilidad:
El objetivo de optimización global para la edición de MoE implica invertir un sistema masivo de tamaño $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ , donde $E$ es el número de expertos. MoTE utiliza la identidad de la matriz de Woodbury para reformular este problema. Al reconocer que la matriz de Gram que impulsa la inversión es una suma de $T$ términos de rango uno (donde $T$ es el tamaño del lote de ediciones), el método reduce la complejidad de la inversión de cúbica en el número de expertos a cúbica en el tamaño del lote ( $T \times T$ ). Esto permite una solución de forma cerrada sin materializar ni invertir la matriz completa de expertos apilados.
Reformulación Estructurada en Tensores (Descomposición Tucker):
Los autores identifican que tratar las actualizaciones de expertos como bloques independientes (un enfoque de matriz plana) ignora las correlaciones estructurales entre expertos aprendidas durante el preentrenamiento. En su lugar, MoTE representa la actualización $\Delta W$ como un tensor de tercer orden ( $E \times d_{model} \times d_{hidden}$ ) y lo restringe a una variedad Tucker de bajo rango.
- Factorización: La actualización se descompone en un pequeño tensor núcleo $G$ y tres matrices factor ( $U_e, U_{out}, U_{in}$ ) derivadas mediante la Descomposición SVD de Orden Superior (HOSVD) de los pesos originales.
- Optimización: El problema de optimización se colapsa desde el espacio de alta dimensión de todos los expertos al tensor núcleo $G$ mucho más pequeño. Esto reduce la dimensionalidad de la variable de optimización en órdenes de magnitud mientras preserva la estructura geométrica de la capa MoE.
Propagación Multicapa al Estilo MEMIT:
Similar a MEMIT, MoTE dispersa las ediciones a través de múltiples capas críticas para garantizar la generalización. Sin embargo, a diferencia de los enfoques anteriores de MoE que requieren resolver nuevamente para cada capa, MoTE calcula la solución de forma cerrada solo una vez en la última capa crítica. La actualización resultante del tensor núcleo se propaga luego a las capas anteriores con un coeficiente de decaimiento, evitando cálculos redundantes y pasos hacia atrás.

Contribuciones Clave

Formulación Consciente de Tensores: El artículo formula el objetivo de KE para capas MoE respetando la estructura tensorial de los pesos de expertos apilados, evitando la concatenación ingenua o aproximaciones de un solo experto.
Solución Eficiente de Forma Cerrada: Al combinar la identidad de Woodbury con la descomposición Tucker, el método logra una actualización completamente de forma cerrada y sin pasos hacia atrás. Solo requiere la inversión de matrices de bajo rango fijas (tamaño determinado por el tamaño del lote o el rango núcleo), independiente del número total de expertos.
Escalabilidad: El enfoque permite la edición por lotes similar a MEMIT, haciendo viable editar LLMs modernos y dispersos sin los cuellos de botella secuenciales de los métodos anteriores específicos para MoE.

Resultados Experimentales
Los autores evaluaron MoTE en tres LLMs MoE modernos (Qwen3-30B-A3B, GPT-OSS-20B y Qwen3.6-35B-A3B) utilizando los puntos de referencia COUNTERFACT y ZsRE.

Calidad de Edición: MoTE logra una calidad de edición (eficacia, generalización y especificidad) comparable a bases sólidas como MoE-Edit. En algunos escenarios (por ejemplo, GPT-OSS-20B en ZsRE), supera a MoE-Edit en localidad (especificidad).
Velocidad: El método acelera el procedimiento de edición hasta en 6 veces en comparación con MoE-Edit. Esta aceleración se atribuye a recolectar activaciones solo una vez en la última capa y resolver el sistema de forma cerrada solo una vez, en lugar de iterar a través de expertos y capas secuencialmente.
Ablación: Los experimentos confirman que la combinación ingenua de la reducción de Woodbury con la propagación multicapa (sin descomposición Tucker) no logra igualar el rendimiento de MoE-Edit, validando la necesidad del prior estructurado en tensores.

Significado y Afirmaciones
El artículo afirma que la edición de conocimiento que modifica parámetros de forma cerrada no está intrínsecamente ligada a arquitecturas densas. Al aplicar el tratamiento algebraico correcto a la estructura de la capa, estas técnicas pueden extenderse a arquitecturas dispersas complejas. Los autores posicionan a MoTE como un paso hacia la edición de conocimiento escalable en LLMs modernos, demostrando que la edición basada en optimización y principios puede mantener el ritmo con la evolución arquitectónica. Enfatizan que su método proporciona una vía práctica para actualizar modelos MoE de producción de manera eficiente, aunque señalan limitaciones relacionadas con altos costos computacionales con tamaños de lote extremadamente grandes ( $>>1000$ ) y la sobrecarga inicial de calcular HOSVD.