Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts

Resumo Técnico: Além do Roteamento: Caracterização do Ajuste de Especialistas e da Representação em Misturas de Especialistas Visuais

Declaração do Problema
Modelos de Mistura de Especialistas (MoE) estão cada vez mais prevalentes no aprendizado profundo, oferecendo interpretabilidade através da partição de tarefas em sub-redes distintas (especialistas). No entanto, os esforços atuais de interpretabilidade em MoEs visuais são predominantemente limitados à análise de estatísticas de roteamento (por exemplo, pesos de portão, atribuições de token para especialista ou mapas de calor baseados em classe). Os autores argumentam que as decisões de roteamento servem como um proxy para a especialização, mas falham em revelar o que os especialistas realmente codificam. A literatura existente frequentemente assume que os especialistas são ajustados a categorias semânticas discretas (por exemplo, "animais" ou "veículos") com base apenas nos inputs que recebem. Essa abordagem ignora os perfis internos de ajuste de características e a geometria representacional dos próprios especialistas, deixando a natureza da especialização dos especialistas mal compreendida.

Metodologia
Para abordar isso, os autores treinaram modelos MoE convolucionais com portão esparsamente ativado (MoE-CNNs) usando um objetivo contrastivo auto-supervisionado (perda NT-Xent) no conjunto de dados não rotulado STL10. Esse regime de treinamento evita incorporar estruturas categóricas pré-definidas no sinal de aprendizado, permitindo que a especialização de características visuais orientada por dados surja naturalmente.

• Arquitetura: O modelo utiliza uma base ResNet onde os primeiros três blocos são compartilhados. Uma rede de portão então roteia os inputs para $k=2$ especialistas selecionados de um conjunto de $E \in \{4, 8, 16\}$ especialistas. Para controlar a contagem de parâmetros, a largura dos canais dos especialistas é escalada por $1/\sqrt{E}$, garantindo que a contagem total de parâmetros permaneça constante (~46M) em todas as configurações.
• Ferramentas de Análise: O estudo estende a análise do nível de portão para o nível de especialista e do nível de categoria para o nível de característica, utilizando ferramentas da neurociência visual:
  1. Inputs Mais Excitantes (MEIs): Visualização de inputs que maximizam a norma $L_2$ do embedding de leitura de um especialista.
  2. Conjunto de Dados THINGS: Uso do conjunto de dados THINGS (1.854 conceitos de objetos) e seu associado Conjunto de Dados de Similaridade THINGS (66 dimensões visuais e semânticas derivadas de comportamento humano) como uma sonda fora da distribuição (OOD).
  3. Análise de Regressão: Ajuste de regressões Lasso não negativas para prever logits de portão e magnitudes de leitura a partir das 66 dimensões THINGS para identificar perfis de ajuste contínuos.
  4. Análise de Similaridade Representacional (RSA): Cálculo da separabilidade de categorias em pares e RSA de segunda ordem para avaliar a estabilidade das geometrias representacionais em 10 modelos treinados independentemente (sementes aleatórias diferentes).

Principais Contribuições

1. Além do Roteamento: Os autores demonstram que as estatísticas de roteamento caracterizam sistematicamente erroneamente a codificação dos especialistas. Eles mostram que, enquanto o roteamento sugere preferências esparsas e categóricas, o ajuste real dos especialistas é mais amplo e impulsionado por dimensões contínuas.
2. Além das Categorias: Ao aproveitar o conjunto de dados THINGS, o estudo desconecta o ajuste dos especialistas da estrutura categórica do conjunto de treinamento. Ele recupera perfis de ajuste contínuos e interpretáveis baseados em dimensões semânticas e visuais (por exemplo, "metálico", "pontudo", "relacionado a animais") em vez de classes discretas.
3. Estabilidade Representacional: O artigo identifica que motivos representacionais específicos (particularmente a distinção animado-inanimado) reemergem de forma confiável através de inicializações independentes de modelos, sugerindo que estes são princípios organizacionais robustos e não artefatos aleatórios.

Resultados

• Divergência entre Roteamento e Ajuste: Análises de roteamento no conjunto de teste STL10 sugeriram que os especialistas se especializavam em categorias grosseiras (por exemplo, caminhões, pássaros). No entanto, a análise de MEI e a regressão no conjunto de dados THINGS revelaram que os especialistas eram frequentemente ajustados a estatísticas de imagem de baixo nível (por exemplo, granulação, frequência espacial) ou características contínuas específicas (por exemplo, "metálico", "repetitivo/pontudo") que não se alinhavam com os rótulos categóricos sugeridos pelo roteamento.
• Incompatibilidade entre Portão e Leitura: Não houve relação linear entre os logits de portão (o que é roteado para um especialista) e as magnitudes de ativação de leitura (o que o especialista realmente codifica). Os especialistas transformam seus inputs roteados, descobrindo e amplificando características distintas daquelas usadas para o roteamento.
• Dominância da Animacidade: Apesar de um ajuste diversificado de características, uma distinção binária animado-inanimado dominou a partição dos especialistas. Isso foi evidente no portão, na leitura e na geometria representacional. Essa divisão foi estável em todas as configurações de modelo ($E=4, 8, 16$) e inicializações independentes.
• Geometria Compartilhada, Implementação Distinta: Embora os especialistas exibissem ajustes de características distintos (MEIs), suas geometrias representacionais (separabilidade de categorias) eram notavelmente semelhantes. Isso indica que estruturas de nível de categoria funcionalmente equivalentes podem ser realizadas através de padrões distintos de resposta em nível populacional.

Significado e Alegações
O artigo alega que a especialização de especialistas em MoEs visuais é melhor compreendida não como um ajuste esparsos para classes categóricas discretas, mas como um ajuste esparsos para dimensões contínuas e comportamentalmente relevantes.

• Reenquadramento da Interpretabilidade: Os autores argumentam que ir além do roteamento para sondar o ajuste fino ao nível de especialista e a estrutura representacional fornece uma imagem mais precisa do que os MoEs aprendem.
• Paralelo Neurocientífico: As descobertas alinham-se com relatos contemporâneos de ajuste distribuído no córtex visual ventral humano, onde áreas "especialistas" (como a FFA ou PPA) são amplamente sensíveis a dimensões contínuas (por exemplo, animacidade, tamanho, textura) em vez de serem puramente seletivas a categorias.
• Estabilidade: A recuperação da partição animado-inanimado através de execuções independentes sugere que os sistemas visuais (tanto biológicos quanto artificiais) são constrangidos pela estrutura estatística das imagens naturais, levando a eixos organizacionais consistentes.

Os autores permanecem modestos quanto ao escopo, observando que suas descobertas são baseadas em aprendizado auto-supervisionado em um conjunto de dados relativamente pequeno (STL10) e que os resultados podem diferir com MoEs industriais de maior escala ou objetivos de treinamento diferentes. No entanto, eles postulam que os modelos MoE oferecem um quadro computacional para investigar por que as características visuais são distribuídas ao longo do córtex da maneira que são.