💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

El artículo presenta RARE, un marco agnóstico al enrutador que desacopla el direccionamiento de la representación del enrutamiento de expertos en modelos de Mezcla de Expertos (Mixture-of-Experts) mediante la proyección de perturbaciones de comportamiento en el espacio nulo del enrutador, mejorando así significativamente la efectividad del direccionamiento para la nocividad, la veracidad y la edición factual, al tiempo que preserva la utilidad del modelo.

Autores originales: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Publicado 2026-08-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son los motores detrás de la inteligencia artificial moderna, capaces de escribir historias, resolver problemas y responder preguntas. Para hacer que estos sistemas masivos sean eficientes, muchos se construyen ahora utilizando un diseño llamado mezcla de expertos. Imagine una gran oficina donde un gerente recibe cada solicitud entrante y decide qué especialista específico debe manejarla. En estos modelos, el "gerente" es un mecanismo de enrutamiento que observa cada palabra de una oración y la envía a un pequeño grupo especializado de procesadores internos, o "expertos", en lugar de utilizar todo el cerebro de la computadora para cada tarea individual. Esto permite que el modelo sea increíblemente grande e inteligente, manteniéndose al mismo tiempo rápido y económico de ejecutar.

Los investigadores han buscado durante mucho tiempo formas de guiar o "dirigir" estos modelos hacia comportamientos específicos, como hacerlos más veraces o menos propensos a generar contenido dañino. Una técnica popular consiste en dar un pequeño empujón a los estados matemáticos internos del modelo durante el proceso de pensamiento, un método que funciona bien para los modelos más antiguos y simples donde cada parte del cerebro está siempre activa. Sin embargo, cuando los científicos intentaron aplicar esta misma técnica de empuje a los nuevos modelos de mezcla de expertos, a menudo fallaba. El problema era que el empujón destinado a cambiar el comportamiento también confundía accidentalmente al gerente, haciendo que enviara la solicitud a los especialistas equivocados. Este desajuste interrumpía el flujo natural del modelo, lo que conducía a resultados deficientes.

Un equipo de investigadores ha resuelto ahora este rompecabezas mediante el desarrollo de un nuevo marco llamado RARE. Su trabajo revela una visión crucial: el gerente en estos modelos se preocupa principalmente por el tema de la solicitud, no por el comportamiento específico que se espera que muestre el modelo. Ya sea que un usuario haga una pregunta sobre programación o le pida al modelo que rechace una solicitud dañina, el gerente tiende a enviar la solicitud al mismo conjunto de especialistas si el tema permanece igual. Los investigadores descubrieron que los métodos antiguos fallaban porque intentaban cambiar el comportamiento alterando el camino que tomaban los datos, lo que confundía al gerente. En cambio, su nuevo enfoque cambia el comportamiento sin cambiar el camino.

El marco RARE funciona filtrando cuidadosamente el "empujón" antes de que se aplique. Elimina cualquier parte de la instrucción que haría que el gerente cambiara de opinión sobre qué especialistas utilizar. Al hacer esto, el modelo continúa enviando la solicitud a los expertos correctos, pero esos expertos procesan la información de una manera que produce el comportamiento deseado. Los investigadores probaron este método en seis modelos grandes diferentes y en tres tareas distintas: hacer que los modelos sean menos dañinos, hacer que sean más veraces y actualizar hechos específicos que conocen.

Los resultados fueron sorprendentes. Al intentar evitar que los modelos siguieran instrucciones dañinas, el nuevo método tuvo éxito en el 53.3% de los casos, una mejora significativa respecto a los intentos anteriores, manteniendo al mismo tiempo un 67.8% de precisión en las pruebas de conocimiento general. En las pruebas de veracidad, el método mejoró la capacidad de los modelos para dar respuestas correctas del 41.0% al 58.6%. Quizás de forma más dramática, cuando se les pidió actualizar un hecho específico, la tasa de éxito saltó del 16.8% al 96.3%. Estas cifras sugieren que, al respetar el sistema de enrutamiento interno del modelo, los investigadores pueden guiar eficazmente su comportamiento sin romper su inteligencia subyacente.

El estudio también comparó cinco formas diferentes de calcular el empujón necesario para encontrar cuál funcionaba mejor. Descubrieron que un método basado en analizar la forma y la dispersión de los datos, en lugar de solo su dirección promedio, proporcionaba los resultados más consistentes y poderosos en todos los diferentes modelos. Este hallazgo sugiere que la geometría de los datos internos importa tanto como la dirección del cambio.

En última instancia, esta investigación demuestra que controlar el comportamiento de los modelos de IA modernos y complejos requiere un equilibrio delicado. No se puede simplemente forzar un cambio; se debe trabajar dentro de la arquitectura existente del modelo. Al preservar el camino natural que el modelo elige para un tema dado, es posible dirigir su producción hacia la seguridad, la verdad o la precisión. Este enfoque ofrece una forma confiable de adaptar estas poderosas herramientas para necesidades específicas sin comprometer sus capacidades generales, proporcionando un camino más claro para hacer que la inteligencia artificial esté más alineada con los valores humanos.

Resumen Técnico: RARE – Desacoplamiento del Control de Representación del Enrutamiento de Expertos en Modelos MoE

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) están adoptando cada vez más arquitecturas de Mezcla de Expertos (Mixture-of-Experts, MoE) para escalar la capacidad manteniendo la eficiencia de la inferencia. Sin embargo, la aplicación de la Ingeniería de Representación —una técnica que controla el comportamiento del modelo modificando los estados ocultos intermedios— a los modelos MoE introduce un desajuste estructural crítico.

En los modelos densos, se añaden vectores de dirección a los estados ocultos para cambiar el comportamiento. En los modelos MoE, el enrutador determina qué expertos procesan un token basándose en estos estados ocultos. La aplicación directa de perturbaciones de dirección altera los logits del enrutador, lo que provoca que los tokens sean dirigidos a conjuntos de expertos diferentes a los que serían en una pasada de inferencia limpia. Este "desplazamiento de enrutamiento" (routing drift) interrumpe la trayectoria de computación condicional nativa del modelo, lo que conduce a una degradación significativa de la eficacia del control. Si bien métodos recientes específicos para MoE intentan controlar el comportamiento manipulando directamente los logits del enrutador o la activación de los expertos, estos enfoques invalidan la trayectoria de computación condicionada por la entrada del modelo, lo que puede degradar la relevancia de la respuesta y las capacidades generales.

El desafío central es cómo coordinar el control a nivel de representación con el mecanismo de enrutamiento condicional sin interrumpir la asignación de expertos nativa.

Metodología: RARE

Los autores presentan RARE (Router-Agnostic Representation Engineering), un marco diseñado para dirigir modelos MoE preservando sus patrones de enrutamiento nativos. La metodología consta de tres componentes principales:

1. Motivación Empírica

A través de sondas controladas, los autores establecieron que el enrutamiento MoE es sensible principalmente al contenido semántico de la consulta de entrada en lugar del comportamiento de la respuesta (por ejemplo, rechazo frente a cumplimiento) o la intención de seguridad.

Hallazgo: Bajo un tema de consulta fijo, el cambio en el comportamiento de la respuesta (por ejemplo, de cumplimiento a rechazo) resulta en cambios mínimos en la selección de expertos del enrutador.
Implicación: Un control efectivo debe modificar las representaciones ocultas procesadas por los expertos seleccionados naturalmente sin alterar la decisión del enrutador.

2. Proyección Agnóstica al Enrutador

RARE desacopla el control de comportamiento del enrutamiento de expertos proyectando las perturbaciones sobre el espacio nulo de la matriz del enrutador.

Proyección en el Espacio Nulo: Para una matriz de pesos del enrutador $R_\ell$ en la capa $\ell$ , el enrutador calcula los logits $z_\ell = R_\ell h_\ell$ . Para asegurar que los logits del enrutador permanezcan sin cambios ( $R_\ell \delta h_\ell = 0$ ), la perturbación $\delta h_\ell$ debe residir en el espacio nulo de $R_\ell$ .
Mecanismo: Dada una perturbación bruta vectorial $u_\ell$ (derivada de estados ocultos contrastivos), RARE la proyecta utilizando un proyector $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ , donde $Q_\ell$ es una base ortonormal para el espacio de filas de $R_\ell$ . La perturbación resultante es invisible para el enrutador, preservando la selección de expertos original.

3. Corrección de Enrutamiento de Seguimiento

Debido a que las perturbaciones se propagan a través de bloques de transformadores no lineales, la invarianza local en la capa de inyección no garantiza la invarianza en los enrutadores subsiguientes.

Corrección en Tiempo de Ejecución: RARE aplica una corrección en capas "protegidas" seleccionadas de seguimiento. Compara la entrada editada actual $h'_\ell$ contra una referencia de entrada limpia $h^0_\ell$ y elimina cualquier desviación visible para el enrutador, asegurando que los logits del enrutador en estas capas sean consistentes con la pasada limpia.

Estimadores de Perturbación

El marco es agnóstico a cómo se construye la perturbación bruta. Los autores evaluaron cinco estimadores:

MeanDiff: Traslación de primer orden entre centros de clase.
Probe: Normal de frontera lineal.
LowRank: Proyección sobre un subespacio principal.
LDA: Análisis Discriminante Lineal que tiene en cuenta la covarianza intra-clase.
AffineGaussian: Alineación de segundo orden utilizando principios de blanqueamiento-recoloración (whitening-recoloring).

Contribuciones Clave

Perspectiva Empírica: El artículo proporciona evidencia de que el enrutamiento MoE sigue la semántica de la consulta más de cerca que los comportamientos de respuesta, lo que motiva la preservación del enrutamiento nativo como un prerrequisito para un control efectivo.
Marco RARE: Un nuevo método de control agnóstico al enrutador que proyecta las perturbaciones de comportamiento en subespacios invisibles para el enrutador y corrige el desplazamiento de enrutamiento propagado, permitiendo la edición de la representación sin interrumpir la asignación de expertos.
Evaluación Exhaustiva: Un estudio sistemático de cinco estimadores de perturbación a través de seis modelos MoE de pesos abiertos heterogéneos (DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss) y tres tareas de control de comportamiento.

Resultados Experimentales

La evaluación cubrió tres escenarios: Control de Daños (jailbreaking), Control de Veracidad y Edición Fáctica.

Control de Daños (Harmfulness Steering): RARE (usando el estimador AffineGaussian) logró una Tasa de Éxito de Ataque (ASR) promedio del 53.3% mientras retenía un 67.8% de precisión en MMLU. Esto representa un compromiso eficacia-utilidad significativamente más fuerte en comparación con las líneas base como RepE (18.7% ASR) y los métodos específicos de MoE como SteerMoE (46.3% ASR pero con menor retención de utilidad).
Control de Veracidad (Truthfulness Steering): RARE mejoró la precisión promedio de TruthfulQA MC1 de una línea base de 41.0% a 58.6%.
Edición Fáctica (Factual Editing): RARE aumentó la eficacia de CounterFact del 16.8% al 96.3%.
Desempeño de los Estimadores: AffineGaussian produjo consistentemente el desempeño de control más fuerte en todos los modelos y tareas. LDA ofreció un mejor equilibrio cuando se considera la localidad (preservación del conocimiento vecino).
Ablación: Eliminar la tubería de proyección agnóstica al enrutador redujo el ASR promedio del 53.3% al 14.6%, confirmando que preservar el enrutamiento es crítico para el rendimiento.

Significado y Reivindicaciones

El artículo sostiene que la consistencia del enrutamiento es una consideración arquitectónica fundamental para adaptar la ingeniería de representación a los modelos MoE. Al desacoplar el control de comportamiento del enrutamiento de expertos, RARE demuestra que es posible modificar las representaciones internas para alterar el comportamiento del modelo manteniendo su trayectoria de computación nativa y sus capacidades generales.

Los autores posicionan a RARE no como un método para invalidar la seguridad o la lógica del modelo, sino como un mecanismo ligero y eficiente para dirigir el comportamiento que respeta la arquitectura MoE subyacente. Los resultados sugieren que la futura ingeniería de representación para modelos MoE debe tener en cuenta la sensibilidad del enrutador al contenido semántico para evitar los modos de fallo causados por el desplazamiento de enrutamiento.