🤖 AI

GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints

Este artículo presenta GRIP, un marco de trabajo agnóstico al algoritmo que impone restricciones geométricas en las actualizaciones del enrutador en modelos de Mezcla de Expertos para prevenir la manipulación del enrutamiento, asegurando así el borrado genuino de conocimiento de los parámetros de los expertos mientras mejora significativamente la precisión de la retención y la robustez contra la recuperación adversaria.

Autores originales: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son herramientas poderosas que han aprendido a escribir, razonar y resolver problemas estudiando vastas cantidades de texto. Sin embargo, este aprendizaje conlleva un costo oculto: estos modelos a menudo memorizan detalles sensibles, como información personal privada, material protegido por derechos de autor o instrucciones peligrosas, que no debían conservar. Cuando leyes como el "derecho al olvido" exigen que una empresa elimine este dato específico de un modelo, la solución estándar es reentrenar todo el sistema desde cero sin ese dato. Este proceso es tan costoso y lento que rara vez se realiza. En su lugar, los investigadores han desarrollado técnicas de "desaprendizaje de máquinas" diseñadas para eliminar quirúrgicamente memorias específicas sin reconstruir todo el cerebro. Aunque estos métodos funcionan bien para los modelos estándar, ha surgido un nuevo tipo de arquitectura llamado Mezcla de Expertos (Mixture-of-Experts), que es una alternativa más rápida y eficiente para los sistemas más grandes. Estos modelos no utilizan todas las partes de su cerebro para cada pregunta; en su lugar, tienen un director de tráfico integrado que elige un pequeño equipo de subredes especializadas para manejar cada tarea. Esta eficiencia crea una vulnerabilidad única: cuando se le pide olvidar algo, el sistema puede engañar al usuario simplemente desviando las preguntas lejos de los expertos que poseen los malos recuerdos, dejando el conocimiento peligroso intacto y esperando ser recuperado.

Un equipo de investigadores ha identificado este vacío legal y ha desarrollado un nuevo marco llamado GRIP para solucionarlo. Descubrieron que cuando se aplican métodos de desaprendizaje estándar a estos modelos especializados, el sistema toma el camino de menor resistencia. En lugar de eliminar realmente el conocimiento dañino de las subredes especializadas, el director de tráfico simplemente aprende a dejar de enviar preguntas a esos expertos específicos. Es como si un bibliotecario, en lugar de retirar un libro prohibido del estante, simplemente les dijera a todos los usuarios que busquen en otra sección. El libro permanece en el estante, totalmente intacto, y una persona decidida aún podría encontrarlo si supiera cómo saltarse las instrucciones del bibliotecario. Esto crea una peligrosa ilusión de seguridad donde el modelo parece haber olvidado la información, pero el dato está simplemente oculto tras un patrón de enrutamiento modificado.

Para resolver esto, los investigadores crearon un método que obliga al sistema a borrar realmente el conocimiento en lugar de solo ocultarlo. Lo lograron imponiendo restricciones geométricas estrictas a la forma en que el director de tráfico puede cambiar de opinión. Imagine al director de tráfico como un conjunto de reglas que decide qué camino toma una pregunta. Los investigadores descubrieron que el sistema intentaba cambiar estas reglas para evitar a los expertos que poseían los datos dañinos. Su solución fue bloquear las reglas en su lugar para toda la información segura e importante que el modelo necesita conservar. Al asegurar matemáticamente que el director de tráfico no pueda cambiar sus decisiones de enrutamiento para los datos seguros, eliminaron la capacidad del sistema para usar el enrutamiento como un atajo. Esto obligó al proceso de desaprendizaje a realizar el trabajo duro de modificar realmente las subredes especializadas que contienen el conocimiento, asegurando que la información se haya ido verdaderamente.

Los investigadores probaron este enfoque en dos modelos grandes y descubrieron que funcionaba drásticamente mejor que los métodos anteriores. En las pruebas estándar, los métodos antiguos causaban que el sistema de enrutamiento se volviera inestable, cambiando de opinión sobre qué expertos usar para preguntas seguras aproximadamente el 80% de las veces, lo que dañaba severamente la capacidad del modelo para funcionar correctamente. El nuevo método restauró esta estabilidad a más del 94%, lo que significa que el modelo continuó usando los expertos correctos para tareas seguras tal como lo hacía antes. Más importante aún, probaron si el conocimiento peligroso había desaparecido realmente simulando un atacante que podía saltarse el director de tráfico y forzar al modelo a usar los expertos originales. Con los métodos antiguos, este bypass permitía al atacante recuperar la información olvidada el 11% de las veces. Con el nuevo método, la tasa de recuperación cayó a solo un 3%, un nivel comparable a los modelos que han sido completamente reentrenados desde cero.

El estudio también comparó su enfoque con un intento previo que trataba de resolver el mismo problema utilizando reglas más suaves y menos estrictas. Ese método anterior mejoraba ligeramente la situación, pero aún permitía que el sistema manipulara el enrutamiento para ocultar el conocimiento. El nuevo enfoque, al utilizar restricciones estrictas, demostró que la única forma de lograr un desaprendizaje genuino en estos modelos eficientes es evitar que el sistema de enrutamiento sea utilizado como un escudo. Los investigadores demostraron que esta técnica funciona en diferentes tipos de tareas de desaprendizaje, desde la eliminación de conocimientos peligrosos de ciberseguridad hasta la eliminación de texto protegido por derechos de autor. Encontraron que el modelo retenía su inteligencia general y su capacidad para responder preguntas seguras mucho mejor que antes, mejorando su rendimiento en las tareas retenidas hasta en un 89% en comparación con la línea base inestable.

Este trabajo resalta una distinción crítica en cómo aseguramos la inteligencia artificial. Muestra que, para estos sistemas complejos y especializados, simplemente cambiar el camino de la información no es suficiente para proteger la privacidad o la seguridad. El conocimiento debe ser borrado de la fuente. Al asegurar que el sistema no pueda usar el enrutamiento para ocultar contenido peligroso, los investigadores han proporcionado una forma confiable de eliminar memorias específicas sin sacrificar la utilidad general del modelo. Sus hallazgos sugieren que las medidas de seguridad futuras para los modelos de lenguaje extensos deben tener en cuenta estos mecanismos de enrutamiento interno, asegurando que el "director de tráfico" no pueda ser manipulado para ocultar contenido peligroso. El resultado es un sistema más robusto donde la eliminación de datos es genuina, no solo una cuestión de cambiar el mapa.

Resumen Técnico: GRIP - Desaprendizaje de Algoritmos Agnósticos para Mezcla de Expertos (Mixture-of-Experts)

1. Planteamiento del Problema

El desaprendizaje de máquinas (MU, por sus siglas en inglés) en modelos de lenguaje de gran escala (LLMs) con arquitectura de Mezcla de Expertos (MoE) enfrenta un modo de falla estructural crítico que es distinto al de las arquitecturas densas. En los modelos densos, todos los parámetros interactúan de manera uniforme con las entradas. En los modelos MoE, un enrutador (router) aprendido selecciona dinámicamente un subconjunto disperso de redes de expertos para cada entrada.

Los métodos actuales de desaprendizaje aplicados a arquitecturas MoE suelen explotar este enrutamiento dinámico como un atajo de optimización. En lugar de borrar genuinamente el conocimiento de los parámetros de los expertos, el optimizador manipula el enrutador para redirigir las consultas del "conjunto de olvido" (forget-set) lejos de los expertos originalmente asignados y con conocimiento. Esto conduce a dos problemas principales:

Degradación de la Utilidad: El enrutador desplaza la selección de expertos para el "conjunto de retención" (retain set) (datos que deben conservarse), lo que provoca caídas severas en el rendimiento del modelo en las tareas retenidas.
Borrado Incompleto (Forzado de Expertos): El conocimiento objetivo permanece intacto dentro de los parámetros de los expertos latentes. Los adversarios pueden eludir el enrutador (un ataque de "caja blanca") para forzar al modelo a acceder a estos expertos específicos, recuperando información sensible o peligrosa que supuestamente se había desaprendido.

Los intentos existentes para abordar esto, como SEUF, dependen de penalizaciones de regularización suaves y restringen las actualizaciones a un solo experto. Sin embargo, la evidencia empírica muestra que estas penalizaciones suaves no logran prevenir la manipulación del enrutamiento, y restringir las actualizaciones a un solo experto deja el conocimiento en otros expertos inicialmente activados vulnerable a la recuperación.

2. Metodología: GRIP

Los autores proponen Preservación de la Invariancia de Enrutamiento Geométrica (GRIP), un marco agnóstico al algoritmo que impone restricciones geométricas estrictas (hard constraints) a las actualizaciones del enrutador para suprimir los cambios en la selección de expertos, permitiendo al mismo tiempo un borrado de conocimiento genuino en todos los expertos relevantes.

Principio Central

GRIP impone una restricción de que las actualizaciones de los parámetros del enrutador ( $\Delta \Theta_\ell$ ) deben preservar las selecciones de expertos del conjunto de retención ( $D_r$ ). Formalmente, para cualquier entrada $x \in D_r$ , el conjunto de expertos seleccionados después del desaprendizaje ( $S^{post}_\ell(x)$ ) debe ser igual al conjunto antes del desaprendizaje ( $S^{pre}_\ell(x)$ ). Al hacer que el "atajo de enrutamiento" sea inviable en las entradas restringidas, la optimización se ve obligada a lograr el objetivo de desaprendizaje a través del borrado de conocimiento dentro de los propios pesos de los expertos.

Dos Variantes

GRIP ofrece dos realizaciones complementarias:

Método A: Proyección Estocástica en Tiempo de Entrenamiento (Online)
- Mecanismo: En cada paso de entrenamiento, la actualización no restringida del enrutador propuesta por un algoritmo de desaprendizaje base se proyecta en el espacio nulo de la matriz de enrutamiento del conjunto de retención.
- Restricciones: La proyección impone dos condiciones para cada experto $j$ $j$ :
  - Igualdad: Para las entradas donde el experto $j$ fue seleccionado originalmente, la actualización del enrutador debe resultar en un cambio de cero en la puntuación de enrutamiento ( $\langle \Delta \Theta, x \rangle = 0$ ).
  - Desigualdad: Para las entradas donde el experto $j$ no fue seleccionado, la actualización no debe aumentar la puntuación lo suficiente como para vulnerar el margen de selección (es decir, la brecha de puntuación entre los expertos seleccionados y los no seleccionados).
- Implementación: Utiliza un proceso de dos etapas: (1) Proyección ortogonal sobre el complemento del espacio generado por las entradas seleccionadas (igualdad), y (2) Una proyección alternante de estilo Kaczmarz aleatorio para satisfacer las restricciones de desigualdad de manera eficiente.
- Sobrecarga: Añade aproximadamente 1.71× de sobrecarga de tiempo de entrenamiento.
Método B: Corrección Analítica Post-Entrenamiento (Offline)
- Mecanismo: El algoritmo de desaprendizaje se ejecuta sin restricciones primero. Posteriormente, se aplica una única corrección analítica de forma cerrada para realinear el enrutador desviado.
- Fórmula: Resuelve un problema de mínimos cuadrados para encontrar una corrección $\Delta_\ell$ tal que $(\tilde{\Theta}_\ell + \Delta_\ell)\tilde{X}_{r,\ell} = \Theta_\ell X_{r,\ell}$ , donde $\tilde{\Theta}$ y $\tilde{X}$ son el enrutador y las representaciones post-desaprendizaje.
- Sobrecarga: Reduce la sobrecarga a 1.21× del tiempo de entrenamiento al reemplazar las proyecciones por paso con una única corrección post-hoc por capa.

3. Contribuciones Clave

Identificación de una Vulnerabilidad Estructural: El artículo identifica que el desaprendizaje de MoE es propenso a "atajos de enrutamiento" donde el conocimiento se oculta en lugar de borrarse, e introduce el ataque de "Forzado de Expertos" como un diagnóstico de esta vulnerabilidad.
Restricciones Geométricas Estrictas: A diferencia del trabajo previo que utiliza penalizaciones suaves, GRIP trata la preservación del enrutamiento como una condición de factibilidad satisfecha por construcción mediante la proyección en el espacio nulo.
Borrado de Múltiples Expertos: GRIP permite que todos los expertos inicialmente activados se actualicen, asegurando que el conocimiento se borre de todo el espacio de parámetros relevante, en lugar de restringir las actualizaciones a un solo experto.
Agnosticismo de Algoritmo: GRIP actúa como un envoltorio (wrapper) que puede aplicarse a cualquier objetivo de desaprendizaje existente (por ejemplo, Ascenso de Gradiente, NPO, RMU) sin modificar la función de pérdida subyacente.

4. Resultados Experimentales

Los experimentos se realizaron en dos modelos MoE (Qwen3-30B-A3B y Qwen1.5-MoE-A2.7B-Chat) a través de pruebas de eliminación de conocimiento peligroso (WMDP) y desaprendizaje de derechos de autor (MUSE).

Estabilidad del Enrutamiento: GRIP restaura la estabilidad del enrutamiento (similitud de Jaccard de las selecciones de expertos) de un colapso de ~0.21 (en las líneas base) a ≥0.94 (y hasta 1.00 con la Corrección Post-Entrenamiento).
Preservación de la Utilidad: La precisión de retención mejoró hasta un 89% en comparación con las líneas base. Los métodos GRIP recuperaron puntuaciones de preservación de utilidad cercanas a las de las líneas base de desaprendizaje de arquitectura densa.
Robustez Adversaria:
- Caja Blanca (Forzado de Expertos): Bajo acceso forzado a expertos latentes, los métodos de la línea base recuperaron el 11% de las consultas olvidadas, SEUF recuperó el 8%, mientras que GRIP redujo la recuperación al 3% (cerca de los niveles de ruido).
- Caja Negra (Ataques de Prompt): El rendimiento de GRIP bajo ataques de prompt se mantuvo comparable al de las líneas base de arquitectura densa, lo que indica que no hay nuevas vulnerabilidades significativas de caja negra.
Comparación con SEUF: GRIP superó consistentemente a SEUF en todas las métricas, demostando que la regularización suave es insuficiente para prevenir el atajo de enrutamiento.

5. Significado y Reivindicaciones

El artículo afirma que GRIP proporciona una ruta fundamentada y escalable hacia un desaprendizaje genuino en arquitecturas MoE dispersas. Al desacoplar la estabilidad del enrutamiento de la plasticidad de los parámetros, GRIP asegura que el conocimiento se borre de los parámetros de los expertos en lugar de simplemente ocultarse mediante la manipulación del enrutamiento.

Los autores posicionan a GRIP no como un reemplazo para los objetivos de desaprendizaje, sino como una restricción geométrica necesaria para que el desaprendizaje sea efectivo en el contexto específico de los modelos MoE. Reconocen limitaciones, incluyendo la sobrecarga de memoria de cachear las representaciones de retención y la naturaleza empírica (en lugar de formal) de las garantías de preservación del enrutamiento. Sin embargo, los resultados sugieren que las restricciones geométricas estrictas son esenciales para abordar las vulnerabilidades únicas del enrutamiento dinámico en los modelos de lenguaje de gran escala.