Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts

Resumen Técnico: Más allá del Enrutamiento: Caracterización del Ajuste de Expertos y la Representación en Mezclas de Expertos para Visión

Planteamiento del Problema
Los modelos de Mezcla de Expertos (MoE) son cada vez más prevalentes en el aprendizaje profundo, ofreciendo interpretabilidad mediante la partición de tareas en subredes distintas (expertos). Sin embargo, los esfuerzos actuales de interpretabilidad en MoE para visión se limitan predominantemente a analizar estadísticas de enrutamiento (por ejemplo, pesos de puerta, asignaciones de token a experto o mapas de calor basados en clases). Los autores argumentan que las decisiones de enrutamiento sirven como un proxy para la especialización, pero no revelan lo que los expertos codifican realmente. La literatura existente a menudo asume que los expertos están ajustados a categorías semánticas discretas (por ejemplo, "animales" o "vehículos") basándose únicamente en qué entradas reciben. Este enfoque pasa por alto los perfiles internos de ajuste de características y la geometría representacional de los propios expertos, dejando la naturaleza de la especialización de los expertos poco comprendida.

Metodología
Para abordar esto, los autores entrenaron modelos MoE convolucionales con puertas dispersas (MoE-CNN) utilizando un objetivo contrastivo auto-supervisado (pérdida NT-Xent) en el conjunto de datos no etiquetado STL10. Este régimen de entrenamiento evita incrustar estructuras categóricas predefinidas en la señal de aprendizaje, permitiendo que la especialización de características visuales basada en datos surja naturalmente.

• Arquitectura: El modelo utiliza una base ResNet donde los primeros tres bloques son compartidos. Una red de puerta enruta luego las entradas a $k=2$ expertos seleccionados de un grupo de $E \in \{4, 8, 16\}$ expertos. Para controlar la cantidad de parámetros, el ancho de canal de los expertos se escala por $1/\sqrt{E}$, asegurando que la cantidad total de parámetros permanezca constante (~46M) en todas las configuraciones.
• Herramientas de Análisis: El estudio extiende el análisis desde el nivel de puerta hasta el nivel de experto y desde el nivel de categoría hasta el nivel de característica, utilizando herramientas de neurociencia visual:
  1. Entradas Más Excitantes (MEI): Visualización de entradas que maximizan la norma $L_2$ de la incrustación de lectura de un experto.
  2. Conjunto de Datos THINGS: Uso del conjunto de datos THINGS (1.854 conceptos de objetos) y su asociado Conjunto de Datos de Similitud THINGS (66 dimensiones visuales y semánticas derivadas del comportamiento humano) como una sonda fuera de distribución (OOD).
  3. Análisis de Regresión: Ajuste de regresiones Lasso no negativas para predecir los logits de puerta y las magnitudes de lectura a partir de las 66 dimensiones de THINGS, con el fin de identificar perfiles de ajuste continuos.
  4. Análisis de Similitud Representacional (RSA): Cálculo de la separabilidad de categorías por pares y RSA de segundo orden para evaluar la estabilidad de las geometrías representacionales a través de 10 modelos entrenados independientemente (semillas aleatorias diferentes).

Contribuciones Clave

1. Más allá del Enrutamiento: Los autores demuestran que las estadísticas de enrutamiento caracterizan sistemáticamente de manera errónea la codificación de los expertos. Muestran que, aunque el enrutamiento sugiere preferencias categóricas dispersas, el ajuste real de los expertos es más amplio y está impulsado por dimensiones continuas.
2. Más allá de las Categorías: Al aprovechar el conjunto de datos THINGS, el estudio desentraña el ajuste de los expertos de la estructura categórica del conjunto de entrenamiento. Recupera perfiles de ajuste continuos e interpretables basados en dimensiones semánticas y visuales (por ejemplo, "metálico", "puntiagudo", "relacionado con animales") en lugar de clases discretas.
3. Estabilidad Representacional: El documento identifica que motivos representacionales específicos (particularmente la distinción animado-inanimado) reaparecen de manera fiable a través de inicializaciones de modelos independientes, lo que sugiere que estos son principios organizativos robustos y no artefactos aleatorios.

Resultados

• Divergencia entre Enrutamiento y Ajuste: Los análisis de enrutamiento en el conjunto de datos de prueba STL10 sugirieron que los expertos se especializaban en categorías gruesas (por ejemplo, camiones, aves). Sin embargo, el análisis de MEI y la regresión en el conjunto de datos THINGS revelaron que los expertos a menudo estaban ajustados a estadísticas de imagen de bajo nivel (por ejemplo, granulosidad, frecuencia espacial) o características continuas específicas (por ejemplo, "metálico", "repetitivo/puntiagudo") que no coincidían con las etiquetas categóricas sugeridas por el enrutamiento.
• Discrepancia entre Puerta y Lectura: No hubo una relación lineal entre los logits de puerta (lo que se enruta a un experto) y las magnitudes de activación de lectura (lo que el experto codifica realmente). Los expertos transforman sus entradas enrutadas, descubriendo y amplificando características distintas de aquellas utilizadas para el enrutamiento.
• Dominio de la Animacidad: A pesar de un ajuste de características diverso, una distinción binaria animado-inanimado dominó la partición de expertos. Esto fue evidente en la puerta, la lectura y la geometría representacional. Esta división fue estable en todas las configuraciones del modelo ($E=4, 8, 16$) e inicializaciones independientes.
• Geometría Compartida, Implementación Distinta: Aunque los expertos exhibieron un ajuste de características distinto (MEI), sus geometrías representacionales (separabilidad de categorías) fueron notablemente similares. Esto indica que las estructuras funcionales equivalentes a nivel de categoría pueden realizarse a través de patrones de respuesta distintos a nivel de población.

Significado y Afirmaciones
El documento afirma que la especialización de expertos en MoE para visión se entiende mejor no como un ajuste disperso a clases categóricas discretas, sino como un ajuste disperso a dimensiones continuas y relevantes para el comportamiento.

• Reencuadre de la Interpretabilidad: Los autores argumentan que avanzar más allá del enrutamiento para sondear el ajuste fino a nivel de experto y la estructura representacional proporciona una imagen más precisa de lo que aprenden los MoE.
• Paralelo Neurocientífico: Los hallazgos se alinean con cuentas contemporáneas de ajuste distribuido en el córtex visual ventral humano, donde las áreas "expertas" (como el FFA o el PPA) son ampliamente sensibles a dimensiones continuas (por ejemplo, animacidad, tamaño, textura) en lugar de ser puramente selectivas de categorías.
• Estabilidad: La recuperación de la partición animado-inanimado a través de ejecuciones independientes sugiere que los sistemas visuales (tanto biológicos como artificiales) están restringidos por la estructura estadística de las imágenes naturales, lo que conduce a ejes organizativos consistentes.

Los autores permanecen modestos en cuanto al alcance, señalando que sus hallazgos se basan en el aprendizaje auto-supervisado en un conjunto de datos relativamente pequeño (STL10) y que los resultados podrían diferir con MoE industriales a mayor escala o con diferentes objetivos de entrenamiento. Sin embargo, postulan que los modelos MoE ofrecen un marco computacional para investigar por qué las características visuales se distribuyen a través del córtex de la manera en que lo hacen.