Resumo Técnico: Aprendendo Estrutura Latente Composicional com Redes Vetoriais

Declaração do Problema

Redes profundas modernas tipicamente dependem de um substrato denso de parâmetros compartilhado para implementar computações diversas. Através da retropropagação de erros, características, habilidades e comportamentos distintos tornam-se codificados em direções sobrepostas das mesmas matrizes de pesos, um fenômeno que os autores denominam emaranhamento de pesos. Neste regime, melhorias para um comportamento frequentemente afetam inadvertidamente outros, porque os gradientes são agregados na saída e propagados através de todas as camadas. Consequentemente, redes padrão carecem de "responsabilidade endereçável" no espaço de pesos: elas não armazenam naturalmente componentes aprendidos como objetos persistentes e reutilizáveis que possam ser isolados, recombinados ou atualizados independentemente. Embora métodos de interpretabilidade post-hoc possam, às vezes, identificar circuitos funcionais, a própria arquitetura não impõe uma decomposição em unidades reutilizáveis. Esta limitação prejudica a generalização composicional, onde um sistema deve recombinar fatores familiares em configurações novas sem retreinamento. Abordagens existentes, como Mistura de Especialistas (Mixture-of-Experts) ou modelos centrados em objetos, introduzem roteamento ou modularidade, mas frequentemente operam via roteamento feedforward sobre módulos densos ou não tornam explícita a responsabilidade por amostra no próprio espaço de pesos.

Metodologia: A Rede Vetorial (Vector Network - VN)

A arquitetura de Rede Vetorial (VN) aborda essas limitações substituindo matrizes de pesos fixas e densas por uma biblioteca de átomos de peso de rank-1 reutilizáveis. O mecanismo central envolve um processo de duas fases: inferência rápida para compor transformações específicas do input e aprendizado lento para atualizar o dicionário subjacente.

1. Arquitetura e Átomos de Rank-1

Cada camada $l$ em uma VN é parametrizada não por uma única matriz $W$, mas por um dicionário de $K_l$ átomos de peso de rank-1. Cada átomo $i$ é definido por um par de vetores de código aprendidos: um vetor de entrada $s_{l,i}$ e um vetor de saída $u_{l,i}$. Juntos, eles formam um operador de rank-1:
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
Para qualquer entrada dada $x_l$, a rede infere um conjunto esparsos de coeficientes $g_l$ (onde $g_{l,i}$ escala a contribuição do átomo $i$). A matriz de pesos efetiva e específica do input $W^*_l(x_l)$ é sintetizada como uma combinação linear desses átomos:
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
Isso permite que a rede componha uma transformação sob medida para cada amostra usando um subconjunto pequeno do dicionário compartilhado, em vez de aplicar uma matriz fixa monolítica.

2. Inferência Rápida via Minimização de Energia

Para cada amostra, a VN realiza inferência rápida para determinar os coeficientes esparsos $g_l$. Isso é alcançado minimizando uma função de energia local à camada $E_l$ que equilibra três termos:

1. Reconstrução de Entrada: Minimizar o erro entre a entrada $x_l$ e a reconstrução $S_l g_l$ (onde $S_l$ contém os vetores de código do lado da entrada).
2. Consistência Top-Down: Minimizar o erro entre o alvo top-down $h_{l,target}$ (fornecido pela camada acima) e a mensagem de interface $U_l g_l$ (onde $U_l$ contém os vetores de código do lado da saída).
3. Esparsidade: Uma penalidade $\ell_1$ $\lambda_l \|g_l\|_1$ para impor um conjunto ativo esparso.

A inferência prossegue através de varreduras iterativas ascendentes e descendentes (semelhantes a um ajuste encoder-decoder) usando passos de gradiente proximal (estilo ISTA/FISTA). O processo converge para um ponto fixo esparso onde apenas alguns átomos estão ativos. A camada superior pode, adicionalmente, impor uma restrição rígida de top-$k$.

3. Aprendizado Lento: Atualizações Hebbianas Atômicas

Uma vez que a inferência rápida converge, o aprendizado lento atualiza os átomos de peso. Crucialmente, as atualizações são aplicadas apenas aos átomos com coeficientes não nulos ($g^*_{l,i} \neq 0$). A regra de atualização, denominada Hebbiana Atômica (Atomic-Hebb), é uma atualização residual local escalada pela responsabilidade inferida:
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
onde $r^x_l$ e $r^h_l$ são os resíduos de reconstrução e top-down, respectivamente. A análise teórica (via Teorema de Danskin) prova que essas atualizações locais são exatamente equivalentes aos gradientes implícitos da energia livre global, apesar do processo de inferência ser tratado como uma caixa preta. Isso garante que a atribuição de crédito seja localizada aos átomos de peso específicos responsáveis pela explicação atual, prevenindo o emaranhamento difuso de pesos visto na retropropagação padrão.

Contribuições Principais

1. Átomos de Peso de Rank-1 como Blocos de Construção: Os autores propõem uma arquitetura recorrente hierárquica onde as camadas são compostas de átomos de rank-1 reutilizáveis, tornando as funções da rede endereçáveis, inspecionáveis e composíveis.
2. Pesos Efetivos Definidos por Inferência: A matriz de pesos efetiva para uma amostra não é fixa, mas inferida via minimização de energia sobre coeficientes esparsos. Isso separa a seleção rápida de componentes do aprendizado lento do dicionário.
3. Regra de Aprendizado Hebbiana Atômica: Uma regra de aprendizado que atualiza apenas os átomos de peso selecionados usando sinais residuais locais escalados por coeficientes inferidos. Isso limita a sobreposição entre atualizações não relacionadas e preserva a reutilizabilidade dos componentes aprendidos.
4. Limitação Estrutural da Sobreposição de Atualização de Pesos: Ao restringir atualizações ao conjunto ativo esparso, a arquitetura limita estruturalmente o emaranhamento de pesos, garantindo que aprender um comportamento não degrade necessariamente outros.

Resultados Experimentais

Os autores avaliam a VN em quatro benchmarks abrangendo sinais 1D, decodificação espacial 2D, dinâmica de N-corpos e MNIST composicional. Em todos os casos, os modelos são treinados in-distribution (ID) e testados em casos out-of-distribution (OOD) envolvendo combinações novas de fatores familiares.

• Composição Espacial: Em uma tarefa exigindo reconstrução de picos gaussianos em posições não vistas, CNNs e VAEs padrão mostraram erro OOD significativo. A VN manteve erro uniformemente baixo em todo o domínio espacial, superando tanto as bases densas quanto decodificadores fatorados manualmente.
• Composição de Funções: Em tarefas de reconstrução de sinal 1D e previsão mascarada envolvendo somas e composições aninhadas de funções seno, cosseno, polinomiais e gaussianas, a VN demonstrou estabilidade superior. Enquanto modelos sequenciais fortes (Transformers, Mamba) performaram bem em reconstrução ID e OOD simples, eles degradaram significativamente em tarefas de previsão mascarada que exigiam a recuperação de estrutura reutilizável. A VN alcançou a vantagem mais clara nestes testes mais rigorosos.
• Dinâmica de N-Corpos: Em um benchmark de física envolvendo campos de força mistos (gravidade, arrasto, Lorentz, mola) e contagens variáveis de corpos, a VN manteve erro baixo sob deslocamentos OOD complexos (múltiplas forças, corpos reduzidos). Bases como MLPs, GNNs e Transformers mostraram grandes aumentos de erro quando as forças eram combinadas ou as contagens de corpos mudavam, enquanto a VN permaneceu robusta.
• Composição de Imagens: Em tarefas de reconstrução de dígitos MNIST e transformação dinâmica (Rotação/Translação/Escala), a VN superou significativamente autoencoders em configurações OOD envolvendo misturas aditivas, projeções máximas e composições complexas de transformação. A vantagem foi de aproximadamente uma ordem de magnitude nas condições OOD mais fortes.

Em todos os benchmarks, a VN igualou as bases fortes no desempenho ID, mas alcançou erro OOD substancialmente menor (frequentemente por uma ordem de magnitude) quando fatores familiares precisavam ser recombinados de novas maneiras.

Significado e Afirmações

O artigo argumenta que as Redes Vetoriais tornam a generalização composicional uma propriedade estrutural da arquitetura e do processo de inferência, em vez de um subproduto frágil de ajustar muitos comportamentos em um substrato denso compartilhado.

• Responsabilidade Explícita no Espaço de Pesos: Ao contrário de redes padrão onde a responsabilidade é implícita e emaranhada, a VN infere explicitamente quais átomos de peso são responsáveis por uma amostra antes de atualizá-los. Esta divisão "recombinação rápida / armazenamento lento" localiza a plasticidade.
• Composição ao Nível de Mecanismo: Os resultados sugerem que a VN aprende componentes reutilizáveis ao nível de mecanismo (por exemplo, leis de força específicas ou fatores espaciais) que podem ser recombinados para explicar entradas novas, em vez de meramente interpolar dentro da distribuição de treinamento.
• Eficiência e Escalabilidade: Os autores sugerem que, uma vez que uma biblioteca de fatores latentes é aprendida, novas entradas podem ser tratadas por recomposição, oferecendo uma rota natural para maior eficiência de dados, particularmente na "cauda longa" de combinações não vistas.
• Limitações: O artigo reconhece que a implementação atual depende de inferência esparsa recorrente, que é mais lenta que uma única passagem feedforward. Os autores notam que esta inferência poderia potencialmente ser aproximada por atualizações feedforward aprendidas em trabalhos futuros, mas a forma atual prioriza interpretabilidade e modularidade.

Em resumo, a Rede Vetorial propõe uma mudança do roteamento de estado (como em Transformers) para responsabilidade no espaço de pesos, onde a computação primeiro infere responsabilidade esparsa sobre componentes de peso reutilizáveis, e o aprendizado atua seletivamente sobre essa estrutura inferida. Esta abordagem visa resolver o problema do emaranhamento de pesos e permitir generalização robusta para composições novas de fatores familiares.