🤖 machine learning

Output Dilution: Redundant but Fragile Representations in MoE Models

Este artículo revela que, si bien los modelos de Mezcla de Expertos (MoE) codifican el contenido moral con la misma redundancia que los modelos densos, sus representaciones son significativamente más frágiles debido a la "dilución de la salida", donde el promedio de los expertos activos reduce drásticamente la fuerza de la señal, haciendo que la información codificada sea fácilmente abrumada por el ruido a pesar de un enrutamiento estable.

Autores originales: Orion Reblitz-Richardson

Publicado 2026-08-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Orion Reblitz-Richardson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el campo de la inteligencia artificial, que evoluciona rápidamente, los investigadores intentan constantemente comprender cómo piensan los grandes modelos de lenguaje. Estos sistemas, que pueden escribir historias, resolver problemas y responder preguntas, están construidos a partir de vastas redes de conexiones matemáticas. Un diseño popular para estas redes se denomina "mezcla de expertos" (mixture of experts). Imagine un gran equipo de especialistas donde, para cada oración que la computadora procesa, solo un pequeño grupo de ellos tiene permitido trabajar. El resto permanece en silencio. Este enfoque está diseñado para hacer que la computadora sea más rápida y eficiente mediante el uso de menos recursos para cada tarea. Para los científicos que estudian cómo alinear estos modelos con los valores humanos —asegurando que se comporten de manera ética y segura—, esta estructura ofrece una posibilidad tentadora. Si el razonamiento moral es gestionado por un grupo específico e aislado de estos especialistas, los investigadores podrían potencialmente retocar o eliminar solo ese grupo para corregir un mal comportamiento sin alterar el resto del sistema. Es un enfoque limpio y quirúrgico para un problema complejo.

Sin embargo, un nuevo estudio que utiliza un modelo de código abierto específico llamado OLMoE ha descubierto que esta esperanza es errónea. Los investigadores se propusieron ver si estos módulos "expertos" realmente se especializan en el razonamiento moral, o si todos hacen lo mismo. También querían probar qué tan fuertes son realmente estas señales morales. Los resultados fueron sorprendentes. El estudio encontró que el modelo no tiene un equipo dedicado de expertos morales. En cambio, cada uno de los módulos especialistas, en cada una de las capas de la red, contiene la misma información moral. Más importante aún, el estudio descubrió que, aunque esta información moral está presente, es increíblemente frágil. Existe en el sistema, pero se expresa de forma tan débil que incluso una pequeña cantidad de ruido digital puede borrarla, mientras que un modelo estándar del mismo tamaño soportaría fácilmente la misma perturbación.

La investigación comenzó examinando el funcionamiento interno del modelo OLMoE, que contiene 64 de estos módulos especialistas en cada una de sus 16 capas. Los investigadores entrenaron detectores simples para ver si podían encontrar conceptos morales dentro de la salida de cada módulo individual. Si el diseño de "mezcla de expertos" funcionaba como se esperaba, preveían encontrar que solo unos pocos módulos específicos eran buenos reconociendo el contenido moral, mientras que los otros se enfocaban en tareas diferentes como la gramática o los hechos. En cambio, encontraron lo contrario. Casi todos los módulos, independientemente de su posición en la red, eran capaces de identificar contenido moral con alta precisión. La distribución de esta capacidad era perfectamente uniforme; ningún módulo era un especialista y ningún módulo era un novato. El enrutador que decide qué módulos trabajan también mostró que no tenía preferencia por enviar oraciones morales a expertos específicos. Trataba todas las entradas de la misma manera. Esto significa que la ventaja estructural de tener expertos separados no ayuda a aislar las características morales para una intervención dirigida.

Luego, los investigadores centraron su atención en una pregunta más sutil: ¿qué tan robusta es esta información moral? Compararon el modelo OLMoE con un modelo "denso" estándar que no utiliza el sistema de expertos, pero que tiene un número similar de parámetros activos. Cuando probaron cuánto ruido podían tolerar los modelos antes de perder su capacidad para reconocer el contenido moral, surgió una diferencia marcada. El modelo estándar fue notablemente resistente, capaz de soportar niveles significativos de interferencia digital manteniendo su comprensión moral. El modelo OLMoE, por el contrario, colapsó casi de inmediato. Era más de cuatro veces más frágil que su contraparte estándar. La señal moral en el modelo experto era tan delicada que una mínima cantidad de ruido estático era suficiente para ahogarla por completo.

Para entender por qué sucedió esto, el equipo analizó cómo fluye la información a través del sistema. En un modelo estándar, las unidades de procesamiento envían una señal fuerte y clara a la siguiente etapa de la red. En el modelo experto, el sistema selecciona algunos expertos, promedia sus salidas y envía ese resultado combinado hacia adelante. Los investigadores midieron la fuerza de esta señal combinada y encontraron que era drásticamente más débil que en el modelo estándar. La señal se diluyó, volviéndose casi dos órdenes de magnitud más pequeña. Una forma de visualizar esto es imaginar una conversación en una habitación llena de gente. En el modelo estándar, una persona habla con una voz clara y fuerte que todos escuchan. En el modelo experto, es como si ocho personas susurraran la misma frase, y la habitación solo escucha el promedio de esos susurros. El mensaje está ahí, pero es tan silencioso que una ligera brisa de ruido puede hacer que sea imposible escucharlo.

Este hallazgo tiene implicaciones profundas en cómo entendemos y controlamos estos sistemas. El estudio demostró que esta fragilidad no es el resultado de que el modelo haya fallado al aprender adecuadamente con el tiempo. Al observar el historial de entrenamiento del modelo desde sus primeros pasos hasta su forma final, los investigadores confirmaron que la información moral estaba presente desde el principio y permaneció uniformemente distribuida y débil durante todo el proceso. El modelo nunca desarrolló especialistas morales, ni fortaleció la señal en ningún momento. La fragilidad es una característica intrínseca de la arquitectura misma. Debido a que el sistema promedia las salidas de unos pocos expertos seleccionados, la señal resultante es inherentemente pequeña. Esta señal pequeña es fácilmente abrumada por el ruido, lo que hace que la codificación moral en estos modelos sea mucho menos segura que en los diseños tradicionales.

El estudio concluye que la promesa del diseño de mezcla de expertos para la investigación de la alineación es una ilusión. Si bien la estructura ofrece una forma de particionar la red en unidades discretas, no crea bolsas aisladas de razonamiento moral que puedan ser fácilmente editadas o eliminadas. En cambio, la información moral se distribuye de forma tenue en todas las unidades, lo que la hace redundante pero increíblemente vulnerable. Para los investigadores que intentan asegurar que estos modelos se comporten de manera segura, esto significa que simplemente observar si un modelo puede identificar conceptos morales no es suficiente. También deben medir qué tan de forma segura se mantiene esa información. Un modelo puede parecer entender la ética perfectamente en la superficie, pero ser tan frágil que un cambio menor en su entorno o un ligero ajuste durante su ajuste fino (fine-tuning) podría hacer que pierda ese entendimiento por completo. El estudio sugiere que la forma en que estos modelos están construidos cambia fundamentalmente la naturaleza de sus señales internas, creando una debilidad estructural permanente que el entrenamiento por sí solo no puede arreglar.

Resumen Técnico: Dilución de la Salida: Representaciones Redundantes pero Frágiles en Modelos MoE

Planteamiento del Problema
Las arquitecturas de Mezcla de Expertos (MoE, por sus siglas en inglés) particionan el espacio de representación en módulos de expertos discretos e inspeccionables, lo que teóricamente ofrece puntos de intervención únicos para la investigación de la alineación (por ejemplo, la poda o el ajuste fino de "expertos morales" específicos). Sin embargo, no está claro si las características morales se concentran realmente en expertos específicos o si los modelos MoE simplemente replican los patrones de codificación uniformes y redundantes observados en los modelos densos. Además, aunque los modelos MoE suelen igualar a los modelos densos en rendimiento, su robustez ante perturbaciones —una métrica crítica para la seguridad de la alineación— no ha sido comparada sistemáticamente. Este artículo investiga si las arquitecturas MoE inducen una especialización moral a nivel de experto y cómo su escasez estructural afecta la robustez del contenido moral codificado.

Metodología
El estudio realiza una comparación arquitectónica controlada entre OLMoE-1B-7B (un modelo MoE de 64 expertos, con top-8 y 1.3B de parámetros activos) y OLMo-2 1B (un transformador denso con parámetros activos y dimensión oculta comparables). Ambos son checkpoints base (no instructivos) del mismo laboratorio de investigación, minimizando los factores de confusión derivados de los datos de entrenamiento o la filosofía.

La metodología emplea tres componentes principales:

Sondeo por Experto: A diferencia del sondeo estándar por capa, el autor omite el enrutador para calcular todos los resultados de los 64 expertos en paralelo para cada token. Entrena 1,024 clasificadores lineales binarios independientes (64 expertos × 16 capas) para decodificar la valencia moral basada en la Teoría de los Fundamentos Morales.
Prueba de Fragilidad: Se inyecta ruido gaussiano en las representaciones del modelo a distintos niveles de magnitud ( $\sigma$ ). El "ruido crítico" ( $\sigma^*$ ) se define como el nivel de ruido más pequeño en el cual la precisión del sondeo cae por debajo de 0.6. Este protocolo se aplica al estado oculto completo, así como a componentes específicos de MoE (logits del enrutador, salidas de expertos individuales y la salida agregada de MoE).
Análisis de Trayectoria: El autor analiza 11 checkpoints a lo largo del entrenamiento de OLMoE (desde 20B hasta 5,033B de tokens) para determinar si la especialización de los expertos emerge con el tiempo. Rastrea el coeficiente de Gini de la precisión de los expertos y la estabilidad de los top-5 expertos a través de los checkpoints.
Medición de la Escala de Salida: Se mide la desviación estándar de las salidas de los bloques de alimentación hacia adelante (feedforward) para cuantificar la "escala" de la señal inyectada en el flujo residual.

Hallazgos Clave

Sin Especialización Moral de Expertos: Contrario a la hipótesis de que los modelos MoE particionan las características morales en expertos específicos, la codificación moral está distribuida uniformemente. Los 64 expertos en cada capa decodifican el contenido moral con alta precisión (precisión pico media >90%, coeficiente de Gini <0.03). El enrutador muestra una preferencia insignificante por dirigir los tokens morales a expertos específicos (preferencia máxima de 1.8%).
Brecha de Fragilidad Significativa: A pesar de alcanzar una precisión de sondeo pico idéntica (99.0%) al modelo denso OLMo-2 1B, el modelo MoE es 4.2 veces más frágil. El ruido crítico medio para OLMoE es $\sigma^* = 0.92$ , comparado con $\sigma^* = 3.81$ para el modelo denso.
La Dilución de la Salida como Mecanismo: La brecha de fragilidad es causada por la dilución de la salida. La salida agregada del bloque MoE (un promedio ponderado de 8 expertos) contribuye al flujo residual a una escala 74 veces menor que la salida del MLP denso. Si bien el contenido de información se preserva (permitiendo una alta precisión de sondeo), la amplitud de la señal es tan pequeña que es trivialmente abrumada por el ruido, algo que un modelo denso tolera fácilmente.
Robustez de Componentes: El enrutador en sí es altamente robusto ( $\sigma^* \approx 9.56$ ), y las salidas de los expertos individuales son moderadamente robustas. La fragilidad se origina enteramente en la salida agregada, donde la escala de la señal se diluye.
La Especialización Nunca Emerge: El análisis de las trayectorias de entrenamiento revela que la codificación moral está presente desde el primer checkpoint (Paso 5K) y permanece uniformemente distribuida durante todo el entrenamiento. El coeficiente de Gini permanece plano cerca de cero, y la identidad de los "mejores" expertos fluctúa aleatoriamente. La especialización no es una convergencia tardía en el entrenamiento; nunca existe.

Contribuciones Clave

Primer Sondeo de Características Morales por Experto: Este trabajo proporciona el primer análisis de la distribución de características morales a nivel de experto individual en un modelo de lenguaje MoE, demostrando que la partición estructural no conduce a la especialización funcional para el contenido moral.
Cuantificación de la Dilución de la Salida: El artículo identifica y cuantifica la "dilución de la salida" como una consecuencia estructural de la agregación dispersa, mostrando que el bloque MoE inyecta una señal dos órdenes de magnitud más pequeña que un MLP denso.
Fragilidad Arquitectónica vs. Aprendida: Al analizar las trayectorias de entrenamiento, el autor establece que la falta de especialización y la presencia de fragilidad son propiedades arquitectónicas, no comportamientos aprendidos que evolucionan durante el entrenamiento.
Refinamiento Metodológico: El estudio refuerza la necesidad de combinar la precisión de sondeo con las pruebas de fragilidad. Demuestra que una alta precisión puede coexistir con una fragilidad extrema cuando las escalas de la señal difieren, desafiando la suficiencia de la precisión por sí sola como métrica de alineación.

Significancia y Reivindicaciones
El artículo sostiene que, para fines de alineación, las arquitecturas MoE no ofrecen la ventaja anticipada de tener "expertos morales" discretos y podables. En su lugar, introducen una fragilidad estructural permanente debido a la dilución de la salida. El autor argumenta que este hallazgo tiene implicaciones directas para las estrategias de intervención:

Límites de Intervención: Podar o realizar el ajuste fino de expertos específicos no aislará las características morales, ya que estas están codificadas de forma redundante en todos los expertos.
Riesgos del Ajuste Fino: Debido a que la señal moral en los modelos MoE existe a una escala muy pequeña, los procedimientos de ajuste fino estándar (por ejemplo, LoRA) que modifican los pesos mediante cantidades absolutas pequeñas podrían representar perturbaciones relativas grandes para la señal moral, destruyendo potencialmente la alineación más fácilmente que en los modelos densos.
Validez de las Métricas: La brecha entre la precisión de sondeo y la fragilidad es una característica arquitectónica de los modelos MoE. Por lo tanto, confiar únicamente en la precisión de sondeo para evaluar la profundidad de la alineación es insuficiente, ya que no logra capturar la seguridad de la información codificada.

El autor concluye que la naturaleza "redundante pero frágil" de las representaciones MoE es un resultado directo del mecanismo de agregación dispersa, lo que sugiere que los futuros diseños de MoE deben abordar la escala de la señal si la robustez es una prioridad.

Más como este