Polaris: Coupled Orbital Polar Embeddings for Hierarchical Concept Learning

1. Enunciato del Problema

La conoscenza del mondo reale (ad esempio, tassonomie di prodotti, ontologie mediche, alberi di etichette) è intrinsecamente gerarchica, caratterizzata da relazioni asimmetriche genitore-figlio in cui un figlio è semanticamente compatibile con, ma contenuto nel, suo genitore. L'apprendimento di rappresentazioni per queste strutture è impegnativo a causa di:

• Asimmetria: Le embedding euclidee standard (che utilizzano prodotti scalari o distanze) sono simmetriche e non riescono a catturare la natura direzionale delle gerarchie.
• Semantica Rumorosa: Le tassonomie del mondo reale spesso contengono dati incompleti o rumorosi, rendendo difficile distinguere tra similarità semantica e profondità gerarchica.
• Collasso Geometrico: Negli spazi ad alta dimensionalità, le embedding tendono a concentrarsi vicino all'"equatore" di una sfera (concentrazione della misura), non riuscendo a sfruttare l'intero volume della varietà per rappresentare i diversi livelli di gerarchia.
• Limiti dei Lavori Precedenti:
  • Le embedding iperboliche gestiscono bene le strutture ad albero ma faticano con i DAG a genitori multipli e le semantiche rumorose.
  • Le embedding basate su coni impongono la direzionalità ma spesso si affidano a vincoli di settore rigidi che possono interrompere la continuità della varietà.
  • I metodi Polar esistenti utilizzano spesso stabilizzatori ad hoc (come l'avvolgimento degli angoli) che introducono discontinuità e singolarità di coordinate, portando a instabilità nell'ottimizzazione.

2. Metodologia: Il Framework Polaris

Polaris introduce un framework di embedding ipersferico polare che disaccoppia la similarità semantica (direzione) dal livello gerarchico (raggio) utilizzando la geometria intrinseca sull'ipersfera unitaria ($S^{d-1}$).

A. Codifica Sferica Consistente con la Varietà

Invece di apprendere direttamente gli angoli polari (che causano singolarità ai poli), Polaris mappa le rappresentazioni latenti dallo spazio euclideo all'ipersfera:

1. Proiezione: Proietta l'embedding euclideo nello spazio tangente al Polo Nord ($p_N$).
2. Mappa Esponenziale: Mappa il vettore tangente sulla sfera utilizzando la mappa esponenziale riemanniana.
3. Livelli Lineari Sferici: Utilizza livelli neurali specializzati che impongono vincoli di norma unitaria tramite normalizzazione $\ell_2$ e riproiezione, garantendo che tutte le trasformazioni rimangano chiuse sulla varietà senza termini di bias.

B. Apprendimento Robusto della Struttura Locale

Polaris apprende le relazioni genitore-figlio utilizzando un obiettivo di tripletta geodetica invariante per rotazione:

• Misura la dissimilarità tramite l'angolo geodetico intrinseco $\theta_{ij} = \arccos(\langle z_i, z_j \rangle)$.
• Impiega una funzione di perdita basata su un stimatore M di Welsch per penalizzare le distanze angolari. Questa funzione di perdita limitata rende il modello robusto agli outlier e alle semantiche rumorose, impedendo che piccoli errori semantici causino grandi errori di posizionamento.

C. Regolarizzazione Geometrica Globale (Prevenzione del Collasso)

Per contrastare il fenomeno della "concentrazione della misura" (dove i punti si raggruppano all'equatore), Polaris introduce un regolarizzatore Anisotropic Spherical SVGD (Stein Variational Gradient Descent):

• Decomposizione del Punteggio Target: La distribuzione target combina un componente strutturale (che respinge le particelle dall'equatore e le attira verso i poli per codificare la profondità) e un componente di allineamento (che mantiene le embedding vicino ai loro ancoraggi semantici).
• Kernel vMF: Utilizza un kernel von Mises-Fisher per le interazioni repulsive, garantendo che le particelle si distribuiscano uniformemente lungo le coordinate longitudinali rispettando la geometria sferica.

D. Apprendimento Asimmetrico Consapevole dell'Incertezza

Per modellare il "volume" variabile dei concetti (genitori ampi vs figli specifici), ogni concetto è rappresentato come una distribuzione von Mises-Fisher (vMF) parametrizzata da una direzione media ($\mu$) e una concentrazione ($\kappa$):

• Divergenza KL Asimmetrica: Il modello minimizza la divergenza KL tra le distribuzioni del figlio e del genitore. Questo forza il genitore ad avere una concentrazione inferiore (maggiore entropia/ambito più ampio) rispetto al figlio, codificando naturalmente la relazione di contenimento.
• Perdita di Tripletta Probabilistica: Garantisce che il figlio sia allineato direzionalmente con il genitore ma distinto dai campioni negativi.

E. Inferenza Orbitale Accoppiata

Al momento dell'inferenza, Polaris utilizza un meccanismo di recupero guidato dalla struttura:

1. Potenziale Orbitale: Assegna un potenziale radiale ($r$) a ogni nodo in base alla sua profondità e alla dimensione del sottoalbero nella gerarchia seme.
2. Soglia Decisionale Dinamica: Definisce un cancello di validità in cui la similarità del coseno richiesta dipende dalla differenza radiale ($\Delta r$) tra query e candidato. I candidati con grandi discrepanze di livello vengono filtrati precocemente.
3. Riordinamento: Il ranking finale viene eseguito utilizzando la similarità angolare tra i candidati validi.

3. Contributi Chiave

1. Rappresentazione Disaccoppiata: Un nuovo framework che separa la direzione semantica (geometria angolare) dalla posizione gerarchica (potenziale radiale/orbitale) su un'ipersfera, evitando i problemi di accoppiamento dei metodi precedenti.
2. Design Consistente con la Varietà: Un sistema a quattro componenti (Codifica Sferica, Apprendimento Locale Robusto, Regolarizzazione Globale SVGD e Apprendimento Probabilistico) che garantisce stabilità sotto supervisione rumorosa e previene il collasso geometrico senza utilizzare trucchi discontinui come l'avvolgimento degli angoli.
3. Modellazione dell'Incertezza: L'uso di distribuzioni vMF per modellare esplicitamente la granularità semantica (entropia) e l'implicazione asimmetrica.
4. Inferenza Efficiente: Una strategia di recupero orbitale accoppiata che restringe lo spazio di ricerca utilizzando vincoli strutturali prima di eseguire un ranking semantico fine.

4. Risultati Sperimentali

Polaris è stato valutato su tre contesti distinti: Alberi a Genitore Singolo, DAG a Genitori Multipli e Gerarchie Multimodali (Immagine-Etichetta).

• Dataset: Science, WordNet, Environment (Genitore singolo); MeSH, Verb, Food (Genitori multipli); CUB-200-2011 (Multimodale).
• Baseline: Confrontato contro 14 baseline solide, inclusi TransE, RotatE, HAKE, HyperExpan, ConE, embedding a scatola e modelli basati su CLIP.
• Miglioramenti delle Prestazioni:
  • Recupero: Ha raggiunto un miglioramento di circa ~19 punti nel recupero Top-K (ad esempio, Recall@1/5) rispetto alle migliori baseline.
  • Ranking: Ha ridotto il Mean Rank (MR) fino a ~60%, indicando che i genitori corretti sono posizionati significativamente più in alto nella lista.
  • Coerenza: Ha mostrato miglioramenti coerenti su tutti i dataset e le modalità, superando sia i metodi euclidei che quelli iperbolici.
• Studi di Ablazione: Hanno verificato che la rimozione di qualsiasi componente (Perdita Geometrica, Perdita Probabilistica o regolarizzazione SVGD) degrada significativamente le prestazioni, confermando la necessità del design accoppiato.

5. Significato

• Avanzamento Teorico: Polaris affronta il fondamentale disallineamento topologico nei precedenti metodi di embedding polare operando direttamente sulla varietà riemanniana, evitando singolarità di coordinate e garantendo un'ottimizzazione fluida.
• Scalabilità Pratica: Il metodo è efficace in contesti di supervisione debole comuni nelle tassonomie del mondo reale, dove i dati sono rumorosi e incompleti.
• Versatilità: Disaccoppiando la semantica dalla struttura, il framework è agnostico rispetto alla rappresentazione, gestendo con successo testo, grafi multi-relazionali e dati visivi (immagini).
• Impatto: Fornisce una soluzione robusta e geometricamente fondata per l'espansione di ontologie, la ricerca semantica e i sistemi di raccomandazione in cui il ragionamento gerarchico è critico.