Resumo Técnico: Grafo é uma Regularização Natural: Revisitando a Quantização de Vetores para Aprendizado de Representação de Grafos

1. Declaração do Problema

A Quantização de Vetores (VQ - Vector Quantization) emergiu como uma técnica poderosa para aprender representações discretas e comprimidas nos domínios de visão e linguagem, oferecendo um caminho para Modelos de Fundação de Grafos (GFMs) escaláveis ao tokenizar estruturas de grafos. No entanto, este artigo identifica um desafio fundamental e subexplorado, específico do domínio de grafos: o colapso do código (codebook collapse).

O colapso do código ocorre quando a maioria dos pontos de dados de entrada é mapeada para apenas alguns codewords em um código (codebook) treinável, deixando a vasta maioria do código subutilizada. Os autores observam que este fenômeno é sistemático no VQ de grafos, ocorrendo mesmo ao aplicar estratégias de mitigação de estado da arte (SOTA) desenvolvidas para visão e linguagem (ex: EMA - Média Móvel Exponencial, reset de código, encoders pré-treinados). Este colapso limita severamente a expressividade e a generalização dos tokens de grafos, levando a representações grosseiras e desempenho degradado em tarefas de jusante (downstream).

O artigo diagnostica as causas raízes deste colapso sob duas perspectivas:

1. Perspectiva de Dados: Os dados de grafos possuem propriedades inerentes como redundância de características e alta densidade de conectividade. O estudo encontra uma correlação positiva entre a redundância de características (medida por PCA@95%) e a severidade do colapso, e uma correlação negativa entre a densidade de conectividade (grau médio do nó) e a utilização do código. A conectividade densa e as características redundantes exacerbam a tendência de os nós serem mapeados para tokens idênticos.
2. Perspectiva de Otimização: O VQ determinístico depende de atribuição rígida (hard assignment) (seleção do vizinho mais próximo). Isso cria um ciclo de feedback autorreforçável: os codewords selecionados com frequência recebem mais atualizações de gradiente e tornam-se cada vez mais dominantes, enquanto os codewords raramente selecionados não recebem atualizações e permanecem inativos. Este "efeito casulo" (cocoon effect) trava o encoder em um conjunto estreito de tokens, impedindo a exploração da capacidade total do código.

2. Metodologia: RGVQ

Para abordar esses problemas, os autores propõem o RGVQ (Regularized Graph Vector Quantization), um framework que integra a topologia do grafo e a similaridade de características como sinais de regularização explícitos. O método consiste em dois componentes principais:

A. Reparametrização Gumbel-Softmax

Para quebrar o ciclo de autorreforço da atribuição rígida determinística, o RGVQ substitui a operação argmax não diferenciável por uma reparametrização Gumbel-Softmax.

• Em vez de selecionar um único codeword mais próximo, o modelo computa logits de atribuição baseados na distância entre os embeddings dos nós e todos os codewords.
• Esses logits são perturbados com ruído Gumbel e passados por uma softmax controlada por temperatura para produzir uma distribuição de probabilidade diferenciável sobre o código.
• O embedding quantizado é computado como uma média ponderada de todos os codewords com base nessas probabilidades.
• Efeito: Isso garante que os gradientes fluam para todos os codewords proporcionalmente às suas probabilidades de atribuição, não apenas para o selecionado, permitindo que codewords inativos recebam atualizações e sejam reativados.

B. Regularização Contrastiva Sensível à Estrutura

Para mitigar os efeitos da redundância de dados de grafos e da conectividade densa, o RGVQ introduz um termo de regularização que penaliza explicitamente o uso de tokens excessivamente concentrados entre nós dissimilar.

• Conjunto Positivo ($N_P$): Para um determinado nó âncora, o conjunto positivo inclui nós que são estruturalmente conectados (vizinhos) ou semanticamente similares (top-$K$ nós com características similares).
• Conjunto Negativo ($N_N$): Inclui nós que não são conectados nem semanticamente similares.
• Função de Perda: O modelo emprega uma perda InfoNCE para encorajar os nós no conjunto positivo a compartilhar distribuições de atribuição de tokens semelhantes, enquanto penaliza os nós no conjunto negativo por terem distribuições sobrepostas.
• Efeito: Esta regularização desencoraja o modelo de mapear nós estrutural ou semanticamente distintos para o mesmo token, promovendo assim a diversidade de tokens e prevenindo o colapso induzido pela redundância de características.

A função de perda total combina a perda de reconstrução padrão (reconstrução de características e de links), a perda de código, a perda de compromisso (commitment loss) e a nova perda de regularização sensível à estrutura.

3. Principais Contribuições

O artigo apresenta as seguintes contribuições:

1. Estudo Empírico Sistemático: Fornece o primeiro benchmarking sistemático do colapso de código em VQ de grafos, demonstrando que as estratégias de mitigação padrão de outros domínios falham em resolver o problema em dados de grafos.
2. Diagnóstico de Colapso: Identifica que o colapso de código em grafos é impulsionado por propriedades intrínsecas dos dados (redundância e conectividade) e pela dinâmica de otimização da atribuição rígida determinística.
3. Framework RGVQ: Propõe um novo framework diferenciável que combina a reparametrização Gumbel-Softmax com a regularização contrastiva sensível à estrutura para aumentar a utilização do código.
4. Avaliação Abrangente: Valida o RGVQ em vários backbones de VQ de grafos SOTA e tarefas de jusante, mostrando melhorias consistentes tanto na utilização do código quanto no desempenho das tarefas.

4. Resultados Experimentais

Os autores conduziram experimentos extensivos em vários conjuntos de dados de grafos homofílicos e heterofílicos (ex: Cora, PubMed, WikiCS, Amazon-Ratings, Roman-Empire).

• Utilização do Código: O RGVQ supera significativamente o VQ de grafos vanilla e suas variantes (incluindo EMA, parâmetros afins, reset de código e encoders pré-treinados) em termos de perplexidade do código. Por exemplo, no conjunto de dados PubMed, enquanto o VQ vanilla alcançou uma perplexidade de ~4.14 (indicando colapso severo), o RGVQ alcançou ~319.09, aproximando-se do máximo teórico. O RGVQ manteve alta utilização mesmo conforme o tamanho dos códigos aumentava.
• Transferibilidade: Quando integrado ao Modelo de Fundação de Grafos (GFT), o RGVQ alcançou desempenho de estado da arte em benchmarks de tarefas cruzadas e domínios cruzados (classificação de nós, predição de links, classificação de grafos), superando tanto GNNs supervisionados quanto outros métodos auto-supervisionados.
• Serialização: No contexto de Transformers de Grafos Quantizados (GQT), os modelos aprimorados com RGVQ melhoraram consistentemente a precisão da classificação de nós em comparação com o GQT com outros métodos anti-colapso.
• Estudos de Ablação:
  • Remover ou a reparametrização Gumbel-Softmax ou a regularização sensível à estrutura levou a uma queda significativa no desempenho, confirmando que ambos os componentes são mutuamente dependentes para prevenir o colapso.
  • O método foi robusto a variações de temperatura ($\tau$) e ao número de amostras contrastivas, com temperaturas baixas e fixas sendo suficientes.
  • O RGVQ demonstrou robustez através de vários níveis de heterofilia de grafos.

5. Significância e Alegações

O artigo alega que o colapso de código não é um problema incidental, mas um gargalo fundamental no aprendizado de tokens de grafos discretos. Ao tratar a própria estrutura do grafo como um regularizador natural, o RGVQ oferece uma solução de "plug-in" flexível que aumenta a expressividade e a transferibilidade dos tokens de grafos.

Os autores enfatizam que seu trabalho não propõe um novo modelo generativo per se, mas sim uma melhoria metodológica no processo de quantização que permite o aprendizado mais eficaz de representações de grafos. A significância reside em permitir a construção de Modelos de Fundação de Grafos mais robustos, garantindo que o vocabulário de tokens aprendido seja totalmente utilizado, capturando assim padrões estruturais e semânticos mais finos, essenciais para tarefas de jusada. O artigo conclui que o RGVQ fornece um framework flexível que mantém a diversidade de tokens e escala efetivamente para tamanhos de código maiores, abordando uma limitação crítica no aprendizado de representação de grafos atual.