Polaris: Coupled Orbital Polar Embeddings for Hierarchical Concept Learning

1. Declaração do Problema

O conhecimento do mundo real (por exemplo, taxonomias de produtos, ontologias médicas, árvores de rótulos) é inerentemente hierárquico, caracterizado por relações assimétricas pai-filho onde um filho é semanticamente compatível com, mas contido dentro de, seu pai. Aprender representações para essas estruturas é desafiador devido a:

• Assimetria: Incorporações euclidianas padrão (usando produtos internos ou distâncias) são simétricas e falham em capturar a natureza direcional das hierarquias.
• Semântica Ruidosa: Taxonomias do mundo real frequentemente contêm dados incompletos ou ruidosos, tornando difícil distinguir entre similaridade semântica e profundidade hierárquica.
• Colapso Geométrico: Em espaços de alta dimensão, as incorporações tendem a concentrar-se perto do "equador" de uma esfera (concentração de medida), falhando em utilizar o volume total da variedade para representar níveis variados de hierarquia.
• Limitações de Trabalhos Anteriores:
  • Incorporações hiperbólicas lidam bem com estruturas em árvore, mas lutam com DAGs de múltiplos pais e semântica ruidosa.
  • Incorporações baseadas em cones impõem direcionalidade, mas frequentemente dependem de restrições de setor rígidas que podem quebrar a continuidade da variedade.
  • Métodos Polares existentes frequentemente usam estabilizadores ad hoc (como envolvimento de ângulo) que introduzem descontinuidades e singularidades de coordenadas, levando à instabilidade de otimização.

2. Metodologia: O Framework Polaris

O Polaris introduz um framework de incorporação polar hiperesférica que desacopla a similaridade semântica (direção) do nível hierárquico (raio) usando geometria intrínseca na hiperesfera unitária ($S^{d-1}$).

A. Codificação Esférica Consistente com a Variedade

Em vez de aprender ângulos polares diretamente (o que causa singularidades nos polos), o Polaris mapeia representações latentes do espaço euclidiano para a hiperesfera:

1. Projeção: Projeta a incorporação euclidiana no espaço tangente no Polo Norte ($p_N$).
2. Mapa Exponencial: Mapeia o vetor tangente para a esfera usando o mapa exponencial riemanniano.
3. Camadas Lineares Esféricas: Usa camadas neurais especializadas que impõem restrições de norma unitária via normalização $\ell_2$ e reprojeção, garantindo que todas as transformações permaneçam fechadas na variedade sem termos de viés.

B. Aprendizado de Estrutura Local Robusto

O Polaris aprende relações pai-filho usando um objetivo de tripla geodésica invariante à rotação:

• Mede a dissimilaridade através do ângulo geodésico intrínseco $\theta_{ij} = \arccos(\langle z_i, z_j \rangle)$.
• Emprega uma função de perda estimador M de Welsch para penalizar distâncias angulares. Esta função de perda limitada torna o modelo robusto a outliers e semântica ruidosa, impedindo que pequenos erros semânticos causem grandes erros de posicionamento.

C. Regularização Geométrica Global (Prevenindo Colapso)

Para contrapor o fenômeno de "concentração de medida" (onde pontos se agrupam no equador), o Polaris introduz um regularizador Anisotropic Spherical SVGD (Stein Variational Gradient Descent):

• Decomposição de Pontuação Alvo: A distribuição alvo combina um componente estrutural (repelindo partículas do equador e atraindo-as para os polos para codificar profundidade) e um componente de alinhamento (mantendo as incorporações próximas às suas âncoras semânticas).
• Kernel vMF: Usa um kernel von Mises-Fisher para interações repulsivas, garantindo que as partículas se espalhem uniformemente ao longo das coordenadas longitudinais enquanto respeitam a geometria esférica.

D. Aprendizado Assimétrico Consciente de Incerteza

Para modelar o "volume" variável de conceitos (pais amplos vs. filhos específicos), cada conceito é representado como uma distribuição von Mises-Fisher (vMF) parametrizada por uma direção média ($\mu$) e concentração ($\kappa$):

• Divergência KL Assimétrica: O modelo minimiza a divergência KL entre as distribuições de filho e pai. Isso força o pai a ter uma concentração menor (maior entropia/escopo mais amplo) do que o filho, codificando naturalmente a relação de contenção.
• Perda de Tripla Probabilística: Garante que o filho esteja alinhado direcionalmente com o pai, mas distinto de amostras negativas.

E. Inferência Orbital Acoplada

No momento da inferência, o Polaris usa um mecanismo de recuperação guiada por estrutura:

1. Potencial Orbital: Atribui um potencial radial ($r$) a cada nó com base em sua profundidade e tamanho da subárvore na hierarquia inicial.
2. Limiar de Decisão Dinâmico: Define um portão de validade onde a similaridade de cosseno necessária depende da diferença radial ($\Delta r$) entre a consulta e o candidato. Candidatos com grandes incompatibilidades de nível são filtrados cedo.
3. Reclassificação: A classificação final é realizada usando similaridade angular entre os candidatos válidos.

3. Contribuições Principais

1. Representação Desacoplada: Um framework inovador que separa a direção semântica (geometria angular) da posição hierárquica (potencial radial/orbital) em uma hiperesfera, evitando os problemas de acoplamento de métodos anteriores.
2. Design Consistente com a Variedade: Um sistema de quatro componentes (Codificação Esférica, Aprendizado Local Robusto, Regularização Global SVGD e Aprendizado Probabilístico) que garante estabilidade sob supervisão ruidosa e previne o colapso geométrico sem usar truques descontínuos como envolvimento de ângulo.
3. Modelagem de Incerteza: O uso de distribuições vMF para modelar explicitamente a granularidade semântica (entropia) e a implicação assimétrica.
4. Inferência Eficiente: Uma estratégia de recuperação orbital acoplada que estreita o espaço de busca usando restrições estruturais antes de realizar a classificação semântica de alta precisão.

4. Resultados Experimentais

O Polaris foi avaliado em três configurações distintas: Árvores de Pai Único, DAGs de Múltiplos Pais e Hierarquias Multimodais (Imagem para Rótulo).

• Conjuntos de Dados: Science, WordNet, Environment (Pai único); MeSH, Verb, Food (Múltiplos pais); CUB-200-2011 (Multimodal).
• Baselines: Comparado contra 14 baselines fortes, incluindo TransE, RotatE, HAKE, HyperExpan, ConE, incorporações Box e modelos baseados em CLIP.
• Ganhos de Desempenho:
  • Recuperação: Alcançou até ~19 pontos de melhoria na recuperação Top-K (por exemplo, Recall@1/5) comparado às melhores baselines.
  • Classificação: Reduziu a Classificação Média (MR) em até ~60%, indicando que os pais corretos são colocados significativamente mais altos na lista.
  • Consistência: Mostrou melhorias consistentes em todos os conjuntos de dados e modalidades, superando tanto métodos euclidianos quanto hiperbólicos.
• Estudos de Ablação: Verificou que remover qualquer componente (Perda Geométrica, Perda Probabilística ou regularização SVGD) degrada significativamente o desempenho, confirmando a necessidade do design acoplado.

5. Significado

• Avanço Teórico: O Polaris aborda a incompatibilidade topológica fundamental em métodos anteriores de incorporação polar operando diretamente na variedade riemanniana, evitando singularidades de coordenadas e garantindo otimização suave.
• Escalabilidade Prática: O método é eficaz em configurações de supervisão fraca comuns em taxonomias do mundo real, onde os dados são ruidosos e incompletos.
• Versatilidade: Ao desacoplar semântica de estrutura, o framework é agnóstico à representação, lidando com sucesso com texto, grafos multi-relacionais e dados visuais (imagens).
• Impacto: Fornece uma solução robusta e geometricamente fundamentada para expansão de ontologia, busca semântica e sistemas de recomendação onde o raciocínio hierárquico é crítico.