Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

Resumo Técnico: Caracterização Baseada em Entropia do Regime Polarizado em Modelos de Variáveis Latentes

Enunciado do Problema
Autoencoders Variacionais (VAEs) e modelos relacionados de variáveis latentes frequentemente exibem um "regime polarizado", onde as dimensões latentes se segregam em três subconjuntos distintos: ativas (codificando a máxima variação dos dados), passivas (colapsando para a priori e codificando informação negligenciável) e mistas (alternando entre estados ativos e passivos dependendo da entrada). Identificar esses subconjuntos é crucial para compreender o comportamento do modelo, particularmente em relação ao "colapso posterior", onde o modelo falha em utilizar o espaço latente de forma eficaz.

Os métodos existentes para distinguir dimensões ativas de passivas dependem fortemente de priores específicos, tipicamente Gaussianos. Abordagens comuns incluem definir limiares na divergência de Kullback-Leibler (KL) ou analisar as estatísticas das representações de média e variância ($\mu$ e $\sigma$) em relação a uma priori Gaussiana padrão. Esses métodos são limitados porque não são agnósticos ao modelo; eles têm dificuldade em se aplicar a arquiteturas determinísticas (como autoencoders padrão) ou modelos com priores não Gaussianos (como Identifiable VAEs). Além disso, descobertas recentes sugerem que variáveis "passivas" podem reter correlações sutis com outras variáveis, implicando que descartá-las com base em critérios rígidos baseados em priori pode remover informações úteis. Há uma necessidade de um critério principista e agnóstico à priori para caracterizar a atividade latente.

Metodologia
Os autores propõem uma estrutura teórica da informação baseada na entropia da representação de média ($H(\mu_i)$) das dimensões latentes.

1. Critério de Entropia: Em vez de medir o desvio de uma priori (via divergência KL), o método quantifica a desordem ou imprevisibilidade da distribuição marginal empírica da saída de média de cada dimensão latente ($\mu_i$) através do conjunto de dados.

   • Ativas: $H(\mu_i) > \tau$ (Alta entropia, indicando variação significativa entre pontos de dados).
   • Passivas: $H(\mu_i) \le \tau$ (Baixa entropia, indicando que a dimensão é quase constante).
   • Mistas: Dimensões que exibem alta entropia para alguns subconjuntos de dados e baixa para outros.

2. Análise Teórica: O artigo estabelece uma ligação teórica entre este critério baseado em entropia e definições existentes:

   • Entropia vs. Divergência KL: Usando desigualdades entropia-variância (especificamente $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$), os autores mostram que alta entropia na representação de média implica um limite inferior na divergência KL. Assim, alta entropia correlaciona-se com o estado "ativo" definido por altas contribuições de KL.
   • Entropia vs. Critérios de Bonheme: Os autores relacionam sua abordagem à definição de Bonheme e Grzes, que depende da variância de $\mu$ e $\sigma$. Eles demonstram que $H(\mu)$ captura a mesma variação estatística que $\text{Var}(\mu)$, mas de uma maneira teórica da informação.
   • Limitações: A análise esclarece que a entropia da média sozinha não pode distinguir confiavelmente dimensões ativas de mistas sem sinais adicionais da representação de variância, pois ambas podem exibir alta incerteza na média.

3. Estimação: Para avaliação empírica, os autores utilizam o estimador de entropia de Rényi $\alpha$ baseado em matrizes. Esta abordagem evita a estimação explícita de densidade, tornando-a adequada para espaços latentes de alta dimensão e capaz de lidar diretamente com variáveis contínuas via matrizes de Gram.

Avaliação Experimental
Os autores avaliaram o critério de entropia em quatro classes distintas de modelos usando benchmarks padrão (MNIST, smallNORB, d-Sprites):

• $\beta$-VAEs: Modelos com hiperparâmetros $\beta$ variados para controlar a força da penalidade KL.
• Identifiable VAEs (iVAEs): Modelos usando informações auxiliares para impor identificabilidade.
• Least-Volume Autoencoders (LV-AEs): Modelos determinísticos regularizados pelo volume do espaço latente.
• L2-Regularised Autoencoders (L2-AEs): Bases determinísticas com penalidades L2 em códigos latentes.

Resultados Chave

1. Recuperação do Regime Polarizado: O critério de entropia recuperou consistentemente o regime polarizado (separação em dimensões ativas de alta entropia e dimensões passivas de entropia próxima de zero) em todas as arquiteturas testadas, incluindo modelos determinísticos onde definições baseadas em KL são inaplicáveis.
2. Coerência com Outras Medidas: Entropia, variância e informação mútua ($I(X; \mu)$) foram encontradas evoluindo coerentemente durante o treinamento. A entropia foi selecionada como a métrica primária devido à sua robustez e falta de sobrecarga computacional comparada à estimação de informação mútua.
3. Generalizabilidade:
   • Em LV-AEs, o critério de entropia identificou com sucesso o regime polarizado induzido pela regularização de volume, confirmando que a polarização é um fenômeno geral da aprendizagem de representação regularizada, e não apenas um artefato variacional.
   • Em iVAEs, embora o colapso posterior total tenha sido evitado (consistente com a teoria da identificabilidade), o critério de entropia detectou colapso seletivo (polarização). Crucialmente, unidades "colapsadas" em iVAEs retiveram entropia pequena, mas não nula, reconciliando a observação empírica de supressão com a impossibilidade teórica de colapso total.
4. Utilidade a Montante: Quando códigos latentes foram usados para tarefas de regressão logística a montante, modelos treinados com vetores latentes brutos mostraram platôs de precisão uma vez que variáveis ativas foram incluídas. No entanto, quando os códigos latentes foram normalizados, incluir variáveis "passivas" produziu pequenos, mas consistentes, melhoramentos na precisão. Isso sugere que dimensões passivas não estão totalmente desprovidas de informação, mas são suprimidas em escala, em vez de completamente removidas.

Significado e Alegações
O artigo alega que o critério proposto baseado em entropia oferece uma ferramenta agnóstica ao modelo e agnóstica à priori para caracterizar a atividade latente. Seu significado reside em:

• Universalidade: Aplica-se tanto a arquiteturas variacionais quanto determinísticas, superando as limitações de heurísticas baseadas em KL ligadas a priores Gaussianos.
• Fundamentação Teórica: Fornece um elo principista entre a teoria da informação (entropia) e os mecanismos que impulsionam o regime polarizado (minimização de KL e restrições de variância).
• Compreensão Nuanceada do Colapso: As descobertas desafiam a visão binária do colapso posterior. Os autores argumentam que o colapso é frequentemente uma questão de escala e não de remoção absoluta de informação, já que dimensões "passivas" retêm entropia detectável e utilidade a montante quando adequadamente normalizadas.

Limitações
Os autores modestamente reconhecem várias limitações:

• Variáveis Mistas: A entropia da média sozinha não pode distinguir limpidamente entre variáveis ativas e mistas; sinais adicionais de variância são necessários.
• Heurística de Limiar: O limiar $\tau$ para classificar a atividade é heurístico e carece de um método de seleção universalmente ótimo e principista através de diferentes conjuntos de dados e arquiteturas.
• Escopo: A validação empírica está atualmente restrita a conjuntos de dados de imagem e arquiteturas específicas de autoencoder. O comportamento em modelos sequenciais ou arquiteturas baseadas em difusão permanece uma questão em aberto.
• Utilidade Prática: Embora variáveis passivas ofereçam pequenos ganhos em tarefas a montante, os melhoramentos são modestos, sugerindo que o critério é primariamente valioso para análise diagnóstica e compreensão da estrutura latente, em vez de como uma ferramenta direta de otimização de desempenho.