Revisiting the Volume Hypothesis

Resumo Técnico: Revisitando a Hipótese do Volume

Problema
As redes neurais profundas modernas frequentemente possuem muito mais parâmetros do que o necessário para ajustar os dados de treinamento, mas generalizam de forma impressionante para dados não vistos. Embora a explicação predominante atribua isso ao viés implícito do Gradiente Descendente Estocástico (SGD), uma hipótese concorrente de "volume" sugere que, dentro de regiões de baixo erro de treinamento, as bacias que levam a uma forte generalização simplesmente ocupam um volume muito maior do espaço de pesos do que as bacias de baixa generalização. A literatura recente apresenta descobertas contraditórias em relação a esta hipótese de volume:

• Peleg & Hein (2024) descobriram que a amostragem aleatória de pesos até atingir erro de treinamento zero (Guess-and-Check) resulta em uma generalização pobre em comparação ao SGD, sugerindo que o viés de otimização é dominante.
• Yang et al. (2026) utilizaram dinâmica molecular para estimar densidades de parâmetros, encontrando que, para baixo erro de treinamento, a densidade atinge picos em valores de generalização semelhantes ou até melhores que os do SGD otimizado, apoiando a hipótesia do volume.

Os autores observam que estes estudos operaram em diferentes regimes de dados: Peleg & Hein utilizou conjuntos de dados pequenos (até 32 amostras), enquanto Yang et al. utilizou grandes conjuntos de dados. O problema central abordado é se a validade da hipótese do volume depende do tamanho do conjunto de dados de treinamento, potencialmente reconciliando estes resultados divergentes.

Metodologia
Para investigar a densidade conjunta de estados sobre a acurácia de treinamento ($A$) e a acurácia de teste ($Q$), os autores empregam o algoritmo Replica Exchange Wang–Landau (REWL). Esta técnica, adaptada da física estatística, permite a amostragem eficiente do espaço de parâmetros para estimar a densidade de estados $g(A, Q)$, que representa o volume de configurações de rede que geram pares específicos de acurácia.

• Configuração: Experimentos foram conduzidos em redes neurais binárias (pesos $\in \{\pm 1\}$) através de três arquiteturas (Base, Deeper, Wider) e dois conjuntos de dados (MNIST, Fashion-MNIST).
• Regimes de Dados: O tamanho do conjunto de dados ($D$) foi variado sistematicamente em 30, 300 e 600 amostras para explorar a transição do regime de baixos dados para o regime intermediário/alto.
• Algoritmo: O algoritmo Wang-Landau realiza uma caminhada aleatória no espaço de pesos, reponderada por $1/g(A, Q)$ para garantir um histograma plano de estados $(A, Q)$ visitados. O fator de modificação $f$ é reduzido iterativamente até a convergência.
• Comparação: O pico da curva de densidade para erro de treinamento zero ($A=D$), denotado como $Q^* = \arg\max_Q g(A=D, Q)$, representa a generalização esperada da amostragem aleatória. Isto é comparado com o desempenho de generalização do gradiente descendente padrão (estocástico).

Principais Contribuições

1. Reconciliação de Resultados Contraditórios: O artigo preenche a lacuna entre estudos anteriores ao demonstrar que a relação entre amostragem aleatória e treinamento baseado em gradiente é fortemente dependente dos dados.
2. Transição Dependente de Dados: Os autores identificam um regime de transição onde a vantagem de generalização do SGD sobre a amostragem aleatória diminui à medida que o tamanho do conjunto de dados aumenta.
3. Hipótese do Volume Refinada: O estudo esclarece que a "hipótese do volume" não é um primitivo universal independente de otimização. Em vez disso, os efeitos de volume (viés arquitetural) emergem e se concentram conforme as restrições de dados aumentam, enquanto o viés induzido pela otimização domina em regimes de poucos dados.

Resultados

• Diminuição da Vantagem do SGD: À medida que o tamanho do conjunto de dados cresce de 30 para 600, a lacuna na acurácia de generalização entre a amostragem aleatória (encontrar aleatoriamente uma solução de erro de treinamento zero) e o SGD estreita-se significativamente. Em regimes de poucos dados (ex: $D=30$), o SGD supera significavelmente a amostragem aleatória. Em regimes maiores (ex: $D=600$), a solução interpolante típica aproxima-se do desempenho do SGD.
• Acentuação das Curvas de Densidade: Em todas as arquiteturas e conjuntos de dados, a curvatura da densidade de acurácia de generalização torna-se mais acentuada com o aumento do tamanho do conjunto de dados. Isto indica que o volume de probabilidade de soluções de boa generalização torna-se cada vez mais concentrado em torno de uma faixa estreita de acurácias de teste conforme mais dados são observados.
• Efeitos de Arquitetura: Redes mais largas (Wider) consistentemente mostraram maior acurácia de generalização na amostragem aleatória. Os efeitos de profundidade foram mistos, sugerindo que estes detalhes arquiteturais são secundários à principal dependência de tamanho de dados da hipótese do volume.

Significância e Alegações
O artigo afirma fornecer uma explicação unificada para o papel da otimização versus arquitetura na generalização de modelos superparametrizados. Ele postula que:

• Em regimes de poucos dados, as soluções interpolantes são abundantes mas heterogêneas; o viés implícito do SGD é essencial para navegar até as regiões raras de alto desempenho no espaço de pesos.
• Em regimes de muitos dados, as restrições impostas pelos dados concentram o volume das soluções interpolantes válidas em uma banda estreita de alta generalização. Consequentmente, a solução "típica" encontrada pela amostragem aleatória torna-se competitiva com o SGD, e os efeitos de volume arquitetural tornam-se o fator dominante.

Os autores concluem que os vieses arquitetural e de otimização são mecanismos complementares cuja importância relativa muda com o tamanho do conjunto de dados. Eles enfatizam que suas descobertas são específicas para redes de pesos binários e arquiteturas de escala moderada, servindo para isolar efeitos geométricos fundamentais em vez de modelar diretamente o treinamento moderno de grande escala com pesos contínuos.