Robust Hyperbolic Learning with Curvature-Aware Optimization

Resumo Técnico: Aprendizado Hiperbólico Robusto com Otimização Consciente da Curvatura

1. O Problema

O aprendizado profundo em espaços hiperbólicos tem ganhado destaque por sua capacidade natural de modelar estruturas hierárquicas e dados em forma de árvore, devido à sua curvatura negativa e crescimento exponencial de distâncias. No entanto, a implementação prática enfrenta quatro desafios críticos:

• Instabilidade na Aprendizagem da Curvatura: Quando a curvatura ($K$) é tratada como um parâmetro treinável, as atualizações de $K$ desalinham os parâmetros hiperbólicos existentes, causando inconsistências geométricas que levam a valores NaN e falhas no modelo.
• Overfitting: A alta capacidade representacional dos espaços hiperbólicos torna os modelos propensos ao sobreajuste, especialmente em cenários de escassez de dados.
• Complexidade Computacional: Operações em variedades de Lorentz são caras e carecem de implementações CUDA otimizadas, o que aumenta o tempo de treinamento e o uso de memória.
• Limites de Precisão Numérica: Para manter a estabilidade, os vetores devem permanecer dentro de um raio de representação preciso. Métodos tradicionais de "clipping" (corte) de parâmetros causam atualizações de gradiente não suaves.

2. Metodologia Proposta

Para resolver esses problemas, os autores propõem um framework de otimização robusto baseado no modelo de Lorentz:

• Esquema de Otimização Consciente da Curvatura (Curvature-Aware Optimization): Em vez de atualizar todos os parâmetros simultaneamente, os autores propõem um escalonamento de atualizações (staggered updates). Primeiro, atualizam-se os parâmetros hiperbólicos na curvatura antiga, depois os parâmetros euclidianos e, por fim, a própria curvatura. Para manter a consistência, eles utilizam um mapeamento baseado no espaço tangente (via mapas logarítmicos e exponenciais no ponto de origem), o que preserva distâncias e ângulos entre os pontos durante a transição de uma curvatura para outra.
• Riemannian AdamW: Os autores derivam uma versão do otimizador AdamW para o espaço de Lorentz. A principal inovação é a redefinição da regularização $L_2$ (weight decay) como um centroide lorentziano ponderado em relação à origem, permitindo uma regularização mais eficaz e suave diretamente na variedade.
• Função de Escalonamento Flexível (Maximum Distance Rescaling): Para evitar que os vetores saiam do raio de precisão numérica (especialmente em fp16), eles introduzem uma função de escalonamento baseada em tanh modificada. Esta função permite controlar tanto o valor máximo quanto a inclinação da curva, garantindo que os vetores permaneçam em uma zona estável sem a necessidade de cortes abruptos de parâmetros.
• Truque de Convolução Eficiente: Para reduzir o custo computacional, eles decompõem a camada convolucional de Lorentz em uma rotação (parametrizada para usar convoluções CUDA padrão) e um Lorentz boost, permitindo o uso de kernels altamente otimizados.

3. Principais Contribuições

1. Novo esquema de otimização Riemanniana que estabiliza o aprendizado de parâmetros de curvatura.
2. Derivação do Riemannian AdamW, melhorando a capacidade de generalização através de uma regularização de peso adaptada à geometria hiperbólica.
3. Função de escalonamento suave que substitui o clipping de pesos, permitindo treinamento em precisão reduzida (como fp16).
4. Implementação eficiente de convoluções hiperbólicas que aproveita o hardware existente (CUDA) para reduzir drasticamente o tempo de execução.

4. Resultados

O método foi testado em cinco domínios distintos, demonstrando melhorias consistentes:

• Aprendizado de Métrica Hierárquica: Melhora no Recall@1 (ganhos de até 4,71%) em comparação com modelos de referência.
• Classificação de EEG: O modelo HyperMAtt atingiu estado da arte em datasets menores (mais propensos a overfitting) e apresentou um ganho de velocidade de 42x em relação ao modelo base.
• Visão Computacional (Classificação de Imagens): O modelo HCNN+ superou modelos híbridos e euclidianos, reduzindo o uso de VRAM em 48% e o tempo de execução em 66%.
• Geração de Imagens (VAE): Melhora nos índices FID (menor erro de reconstrução e geração) com 2,5x menos memória e 3x mais velocidade.
• Embeddings de Grafos: Demonstrou que a combinação de curvatura aprendível, RAdamW e escalonamento baseado em tangente produz os melhores resultados de classificação de nós.

5. Significância

Este trabalho é significativo pois remove as principais barreiras para a adoção de redes neurais hiperbólicas em larga escala. Ao transformar o aprendizado hiperbólico de um processo instável e computacionalmente proibitivo em um método robusto, eficiente e capaz de generalizar bem, os autores pavimentam o caminho para o uso de geometrias não-euclidianas em problemas complexos de visão computacional, processamento de sinais e análise de grafos em ambientes de produção reais.