Most ReLU Networks Admit Identifiable Parameters

Resumo Técnico: A Maioria das Redes ReLU Admite Parâmetros Identificáveis

Enunciado do Problema
A questão central abordada é a relação entre o espaço de parâmetros e o espaço de funções de redes ReLU profundas. Especificamente, o artigo investiga a identificabilidade de parâmetros: se uma função realizada por uma rede determina unicamente seus parâmetros, a menos de simetrias triviais (permutações de neurônios dentro de uma camada e escalonamentos positivos de pesos entre camadas). Embora trabalhos anteriores tenham estabelecido a identificabilidade para arquiteturas específicas (por exemplo, redes piramidais ou aquelas com larguras de camadas ocultas excedendo a dimensão de entrada), uma compreensão estrutural geral para arquiteturas ReLU profundas arbitrárias estava ausente. Além disso, não estava claro se a não identificabilidade surgisse exclusivamente da não minimalidade da arquitetura (redundância via superparametrização) ou se redundâncias intrínsecas persistissem mesmo em realizações mínimas.

Metodologia
Os autores desenvolvem um quadro unificado baseado em complexos poliédricos ponderados para analisar o mapa de realização $\mu_A: \Theta_A \to \mathcal{F}_A$. Os componentes metodológicos-chave incluem:

1. Complexo Poliédrico Canônico e Hipersuperfícies Dobradas: O espaço de entrada é particionado em poliedros com base em padrões de ativação. Os autores definem "hipersuperfícies dobradas" como os lugares geométricos onde os neurônios alteram seu comportamento linear. Ao contrário de definições anteriores que incluem regiões onde as pré-ativações se anulam identicamente, esta definição foca no lugar geométrico da não linearidade.
2. Pesos Tropicais: Usando o Lema 2.1, os autores descrevem a função contínua por partes lineares (CPWL) por meio de uma função de peso nas facetas do complexo poliédrico. Esses pesos registram a mudança na parte afim linear da função ao cruzar uma faceta.
3. Condições de Generalidade: O artigo introduz um conjunto de parâmetros "genéricos" satisfazendo:
   • Supertransversalidade: Cada face de codimensão $k$ no complexo está contida em exatamente $k$ hipersuperfícies dobradas.
   • Ausência de Cancelamento: Os pesos tropicais são não nulos, a menos que uma camada esteja inteiramente inativa em uma faceta.
   • Transparência: Cada entrada em uma região ativa pelo menos um neurônio na camada.
   • Condição de Interseção Parcial Transversa (TPIC): Hipersuperfícies dobradas de camadas adjacentes intersectam-se transversalmente.
4. Complexo de Pontos de Quebra e Grafo de Dependência: Os autores definem o complexo de pontos de quebra como o suporte das não linearidades da função. Eles constroem um grafo de dependência onde os vértices representam hipersuperfícies dobradas candidatas e as arestas representam relações de "dobramento" (onde uma hipersuperfície de uma camada posterior dobra ao longo de uma de uma camada anterior). Este grafo serve como um invariante funcional que codifica a hierarquia de camadas.

Principais Contribuições e Resultados

1. Existência de Parâmetros Identificáveis em Quase Todas as Arquiteturas:
   O artigo prova que, para qualquer arquitetura onde a entrada e todas as camadas ocultas tenham uma largura de pelo menos 2, existe um conjunto aberto não vazio de parâmetros identificáveis (Teorema 4.10, 4.11). Isso generaliza resultados anteriores que exigiam que as larguras das camadas ocultas fossem pelo menos a dimensão de entrada ou seguissem uma estrutura piramidal.

2. Dimensão Funcional:
   Como consequência da existência de parâmetros identificáveis, o artigo estabelece a dimensão funcional para essas arquiteturas. Mostra-se ser exatamente o número de parâmetros menos o número de neurônios ocultos (Teorema 4.11). Isso implica que o mapa de realização é localmente um mergulho módulo simetrias triviais.

3. Minimalidade Não Implica Identificabilidade:
   Os autores constroem um conjunto aberto de parâmetros mínimos (onde nenhum neurônio pode ser removido sem alterar a função) que não são identificáveis (Proposição 5.23). Isso demonstra que a redundância pode persistir mesmo em realizações mínimas, refutando uma conjectura de que a minimalidade implica identificabilidade para redes ReLU. A não identificabilidade surge de uma simetria contínua na camada de saída de uma sub-rede mínima que não afeta a função realizada.

4. Hierarquia de Profundidade Genérica:
   O artigo estabelece uma hierarquia de profundidade genérica (Proposição 5.24). Para um conjunto aberto de parâmetros, a função realizada não pode ser representada por qualquer rede mais rasa, independentemente da largura. Isso é provado mostrando que o grafo de dependência de um parâmetro genérico contém uma cadeia de comprimento igual à profundidade da rede, que não pode ser mapeada injetivamente em uma arquitetura mais rasa enquanto preserva a ordenação das camadas.

5. O Complexo de Pontos de Quebra como Invariante Funcional:
   Os autores mostram que, para parâmetros genéricos, o complexo de pontos de quebra e seu grafo de dependência associado dependem apenas da função realizada, e não do parâmetro específico. Isso permite a caracterização algébrica da fibra de parâmetros (o conjunto de todos os parâmetros que realizam uma função) por meio de variedades de configuração definidas pelo alinhamento geométrico e correspondência de pesos tropicais.

Significado e Afirmações
O artigo afirma fornecer uma compreensão estrutural geral da identificabilidade para redes ReLU profundas, indo além de restrições arquitetônicas específicas. Ao introduzir o quadro de complexos poliédricos ponderados e o grafo de dependência, os autores separam a geometria "visível" da função da geometria "latente" dos parâmetros.

O trabalho destaca que:

• A identificabilidade é genérica para redes suficientemente largas (largura $\ge 2$), mas não universal (camadas de largura 1 apresentam desafios).
• A não identificabilidade não é apenas um sintoma de superparametrização; redundâncias intrínsecas existem mesmo em redes mínimas.
• A profundidade é estruturalmente rígida para parâmetros genéricos; a profundidade não pode ser trocada por largura no regime genérico, contrastando com regimes não genéricos onde redes mais rasas podem representar as mesmas funções.

Os autores concluem que, embora tenham estabelecido a existência de parâmetros identificáveis e descrito os invariantes funcionais locais, várias questões permanecem em aberto, incluindo a medida precisa do conjunto identificável, a caracterização semi-algébrica da fibra e o comportamento de arquiteturas contendo camadas de largura 1.