Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity

Declaração do Probleo

O aprendizado supervisionado moderno é frequentemente limitado pela escassez de rótulos, o que motiva pesquisas em aprendizado de poucos disparos (few-shot learning), meta-aprendizado e aprendizado de representação. Embora o princípio do Gargalo de Informação (Information Bottleneck - IB) ofereça um framework padrão — preservando informações relevantes para o alvo enquanto comprime a variação irrelevante — ele deixa uma lacuna estrutural: duas representações podem reter quantidades semelhantes de informação relevante para a tarefa, mas induzir geometrias latentes vastamente diferentes. Em regimes de poucos rótulos, essas diferenças geométricas podem alterar a complexidade efetiva do problema de aprendizado downstream, afetando assim a generalização. As abordagens atuais frequentemente tratam a geometria como um diagnóstico post-hoc ou uma suposição sobre os dados de entrada, em vez de um componente explícito e controlável da própria qualidade da representação.

Metodologia

O artigo propõe um framework teórico e um algoritmo prático, o Variational Geometric Information Bottleneck (V-GIB), para abordar essa lacuna.

1. Framework Teórico:
Os autores definem uma pontuação de população sensível à geometria, $Q_{\beta,\gamma}(\phi)$, para um codificador $\phi$:
$$Q_{\beta,\gamma}(\phi) = I(\phi(X); Y) - \beta C(\phi) - \gamma d_{int}(\phi)$$

• $I(\phi(X); Y)$: Informação relevante para a tarefa.
• $C(\phi)$: Um proxy de curvatura que mede a variação local do Jacobiano do codificador ($\mathbb{E}[\|\nabla^2\phi(x)\|_F^2]$).
• $d_{int}(\phi)$: A dimensão intrínseca da representação latente.
• $\beta, \gamma$: Pesos de regularização.

2. Suposições Teóricas e Mecanismo:
Sob suposições de suporte de variedade suave (smooth-manifold support), transferência de classe de perda (loss-class transfer) e concentração de estimador, o artigo deriva um mecanismo que liga a geometria do codificador à generalização:
$$\text{geometria do codificador} \implies \text{números de cobertura latentes} \implies \text{entropia da classe de perda} \implies \text{generalização}$$
Essa cadeia produz limites de generalização não-assintóticos para poucos rótulos, onde a complexidade amostral depende explicitamente da dimensão intrínseca latente e da constante de cobertura latente. O artigo também caracteriza uma fronteira de informação-geometria, provando que o parâmetro de regularização $\beta$ representa o custo marginal de informação para aumentar a complexidade geométrica.

3. O Algoritmo V-GIB:
Para operacionalizar a teoria, os autores propõem o V-GIB, que aumenta o treinamento de gargalo variacional padrão com proxies estocásticos para curvatura e dimensão intrínseca.

• Proxy de Curvatura: Um proxy estocástico da norma do Jacobiano que mede a sensibilidade da média latente a perturbações de entrada.
• Proxy de Dimensão Intrínseca: A razão de participação da matriz de covariância latente.
• Objetivo de Treinamento: O modelo minimiza uma função de perda composta por entropia cruzada, um termo de divergência KL (VIB padrão) e as penalidades geométricas para curvatura e dimensão.

Principais Contribuições

O artigo apresenta quatro contribuições específicas:

1. Formalização da Geometria: Identifica a geometria latente como um eixo mensurável e explícito da qualidade da representação sob escassez de dados, formalizado através de uma pontuação de população que combina informação, curvatura e dimensão intrínseca.
2. Limites de Generalização: Deriva limites de generalização não-assintóticos para configurações de poucos rótulos que dependem explicitamente da dimensão intrínseca latente e da complexidade de cobertura, caracterizando a associada fronteira de informação-geometria.
3. Provas de Consistência: Prova a consistência do substituto empírico usado pelo V-GIB sob suposições explícitas de concentração para os estimadores de informação, curvatura e dimensão intrínseca.
4. Validação Empírica: Propõe e avalia o V-GIB em benchmarks reais de poucos rótulos, testando se quantidades geométricas acompanham o comportamento de poucos rótulos e se o treinamento sensível à geometria melhora o trade-off empírico.

Resultados Experimentais

Os autores avaliaram o V-GIB contra o Minimização do Risco Empírico (ERM), o Gargalo de Informação Variacional (VIB) e variantes abladas (removendo penalidades de curvatura ou dimensão) nos datasets Breast Cancer, FashionMNIST, CIFAR-10 e CovType através de frações de rótulos de 1% a 20%.

• Breast Cancer: Variantes sensíveis à geometria melhoraram o desempenho sobre o ERM uma vez que o conjunto rotulado foi grande o suficiente (5% ou mais) para estabilizar o treinamento. No entanto, o V-GIB completo não foi uniformemente o melhor; em alguns casos, a ablação sem curvatura teve um desempenho superior, apoiando a teoria de um trade-off em vez de uma dominância universal.
• FashionMNIST: A família V-GIB consistentemente melhorou o desempenho preditivo sobre o ERM em todas as frações de rótulos. Notavelmente, o modelo V-GIB completo e a ablação "sem dimensão" alcançaram significativamente menor curvatura latente do que o ERM e o VIB, mantendo alta acurácia.
• CIFAR-10: Este foi o benchmark mais desafiador. O modelo V-GIB completo melhorou a acurácia de teste sobre o ERM e o VIB em cada fração de rótulo, com os maiores ganhos observados em 1%, 10% e 20%. O termo de curvatura tornou-se particularmente útil conforme a fração de rótulos aumentava, sugerindo que ele molda a representação de forma eficaz uma vez que o sinal preditivo não é sobrecarregado.
• CovType: Usado como um check de otimização, os resultados mostraram que os termos geométricos impõem um custo de otimização real (maior perda de treinamento que o ERM), confirmando que os ganhos preditivos não são consequências triviais de um treinamento facilitado.

Significância e Alegações

O artigo conclui com uma alegação precisa e modesta: A geometria latente é um eixo mensurável e controlável da qualidade da representação sob escassez de rótulos, mas não é uma garantia universal de dominância por um regularizador fixo.

As evidências apoiam que:

1. A geometria não é meramente um diagnóstico post-hoc; ela pode ser integrada ao critério de aprendizado para melhorar o trade-off observado entre informação e geometria em regimes de poucos rótulos.
2. Os benefícios do treinamento sensível à geometria dependem do dataset e da fração de rótulos. Por exemplo, remover a penalidade de dimensão ajudou no FashionMNIST com pouquíssimos rótulos, enquanto o modelo completo se destacou no CIFAR-10.
3. O V-GIB serve como uma alternativa séria e sensível à geometria ao ERM padrão e ao treinamento de gargalo variacional, oferecendo um mecanismo para reduzir a complexidade geométrica latente (curvatura) enquanto preserva ou melhora o desempenho preditivo, particularmente quando os rótulos são escassos.

Os autores declaram explicitamente que não alegam que o treinamento sensível à geometria seja uniformemente o melhor em cada dataset ou em cada fração de rótulos. Em vez disso, alegam que, sob as suposições declaradas, a geometria é uma variável estatisticamente significativa que, quando contabilizada, pode melhorar os resultados de aprendizado em configurações de poucos rótulos.