Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning

Sintesi Tecnica: Teste di Divergenza Convessa Neurale Consapevoli del Ruolo per l'Apprendimento di Rappresentazioni Asimmetriche

1. Definizione del Problema

Molti compiti di apprendimento delle rappresentazioni coinvolgono relazioni dirette (asimmetriche), come l'implicazione lessicale (specifico $\to$ generale), l'implicazione tra frasi (premessa $\to$ ipotesi), le gerarchie ontologiche (figlio $\to$ genitore) e i link di citazione (cita $\to$ citato). Le funzioni di distanza standard utilizzate nel metric learning (Euclidea, coseno, Mahalanobis) sono intrinsecamente simmetriche, fallendo nel catturare la direzionalità. Al contrario, i generici scorer neurali (ad esempio, MLP su coppie concatenate) possono modellare la direzione ma mancano di una struttura geometrica, producendo spesso punteggi interpretabili che possono violare le proprietà di non-negatività o convessità. Gli approcci strutturati esistenti, come gli order embeddings o la geometria iperbolica, sono efficaci per le gerarchie ma funzionano spesso come modelli di embedding completi piuttosto che come teste di distanza flessibili e "plug-in" per encoder arbitrari.

Il documento affronta il divario tra scorer asimmetrici non strutturati e modelli geometrici rigidi ponendosi la domanda: È possibile che una testa asimmetrica sia sia neurale che geometricamente strutturata?

2. Metodologia

Gli autori propongono la Role-Aware Neural Convex Divergence Head (Testa di Divergenza Convessa Neurale Consapevole del Ruolo), un modulo plug-in progettato per calcolare uno score non negativo e strutturato per coppie ordinate $(x, y)$.

Componenti Core:

• Proiezioni di Ruolo (Role Projections): Prima di calcolare la divergenza, gli embedding di input $x$ e $y$ vengono mappati in distinti ruoli di "sorgente" e "target" utilizzando proiezioni lineari apprendibili $P_s$ e $P_t$.
  • $u = P_s x$ (Ruolo sorgente)
  • $v = P_t y$ (Ruolo target)
• Divergenza di Bregman Neurale: La testa valuta un potenziale di una Rete Neurale Convessa di Input (ICNN) $\phi_\theta$ per calcolare la divergenza di Bregman nello spazio proiettato:
  $$D_{\theta, P_s, P_t}(x, y) = D_{\phi_\theta}(P_s x, P_t y) = \phi_\theta(u) - \phi_\theta(v) - \nabla\phi_\theta(v)^\top(u - v)$$
• Vincoli ICNN: Il potenziale $\phi_\theta$ è parametrizzato da una ICNN dove pesi specifici sono vincolati a essere non negativi, garantendo la convessità. Un termine quadratico fortemente convesso ($\lambda \|u\|^2_2$) viene aggiunto per garantire stabilità numerica e convessità stretta.
• Obiettivo di Addestramento: Il modello è addestrato utilizzando una perdita di ranking per coppie in stile triplet-style ($L_{rank}$) per garantire che le coppie dirette positive abbiano una divergenza inferiore rispetto alle coppie negative corrotte. Una perdita di margine direzionale secondaria ($L_{dir}$) incoraggia la direzione in avanti $D(x, y)$ a essere minore della direzione inversa $D(y, x)$.

3. Contributi Principali

Il documento presenta tre contributi primari:

1. Proposta Architetturale: Una nuova testa plug-in che combina proiezioni specifiche per ruolo con divergenze di Bregman neurali. Permette a encoder arbitrari di produrre embedding che vengono valutati tramite una distanza asimmetrica, non negativa e strutturata.
2. Caratterizzazione Teorica:
   • Identità dello Spazio Proiettato: Gli autori dimostrano che la testa mantiene la non-negatività. Fondamentalmente, la condizione di divergenza nulla ($D=0$) si verifica quando la proiezione sorgente del primo elemento è uguale alla proiezione target del secondo ($P_s x = P_t y$), piuttosto che $x=y$. Ciò si allinea alla distinzione semantica dei ruoli sorgente e target.
   • Decomposizione del Gap Direzionale: Nel caso speciale quadratico, il gap direzionale $G(x, y) = D(x, y) - D(y, x)$ è mostrato dipendere esplicitamente dalla differenza tra le proiezioni sorgente-target e target-sorgente. Ciò dimostra che la separazione dei ruoli è necessaria per la preferenza direzionale.
   • Curvatura Locale: L'Hessiana del potenziale fornisce un meccanismo per analizzare la convessità locale, assicurando che lo score appreso si comporti come una divergenza strutturata piuttosto che come una funzione "black-box".
3. Valutazione Empirica Sistematica: Il metodo è valutato su cinque benchmark (HyperLex, WordNet, SICK, SNLI, Gene Ontology) e un test di stress su larga scala per le citazioni (OGBL-Citation2). Lo studio confronta la testa proposta con distanze simmetriche, MLP non strutturati, order embeddings, baseline iperboliche e teste ICNN-Bregman semplici (senza proiezioni di ruolo).

4. Risultati

• Accuratezza Direzionale: Attraverso i dataset semantici e ontologici, la testa consapevole del ruolo supera costantemente la testa ICNN-Bregman semplice (senza proiezioni) nell'accuratezza della direzione. Ad esempio, su HyperLex, l'accuratezza direzionale è migliorata da ~38% (plain) a ~90% (role-aware).
• Validità: La testa proposta mantiene un tasso di divergenza negativa dello 0%, mentre gli scorer bilineari non strutturati producono frequentemente valori negativi.
• Studi di Ablazione: Rimuovere le proiezioni di ruolo (utilizzando proiezioni condivise) causa la perdita della capacità direzionale del modello, che ritorna a prestazioni simili alla plain ICNN. Ciò conferma che la separazione dei ruoli è il fattore critico per l'asimmetria, non solo l'aggiunta di parametri.
• Trade-off: Aumentare il peso del margine direzionale migliora l'accuratezza della direzione ma può ridurre leggermente l'accuratezza del ranking (R-Acc) su alcuni dataset, indicando un compromesso tra la distinzione della direzione e il ranking rispetto ai negativi.
• Limitazioni nei Grafi su Larga Scala: Sul dataset OGBL-Citation2 (feature fisse, senza GNN), baselines specializzate simmetriche o iperboliche hanno superato la testa proposta nelle metriche di ranking (MRR, Hits@K). Gli autori osservano che la predizione di citazioni su larga scala potrebbe richiedere rappresentazioni di input o encoder di grafi più forti.

5. Significato e Rivendicazioni

Il documento posiziona la Role-Aware Neural Convex Divergence Head non come un sostituto universale per tutti gli scorer, ma come un modulo plug-in strutturato e interpretabile per compiti in cui le relazioni direzionali sono centrali.

• Interpretabilità: A differenza dei generici MLP, questa testa fornisce diagnostica geometrica (gap direzionali, tracce dell'Hessiana) che permette agli utenti di auditare perché una direzione è preferita. Il modello apprende che concetti specifici (sorgente) sono vicini a concetti generali (target) in uno specifico spazio proiettato.
• Via di Mezzo: Essa colma il divario tra modelli geometrici rigidi (che assumono strutture dati specifiche) e scorer neurali flessibili (che mancano di garanzie geometriche).
• Ambito Modesto: Gli autori dichiarano esplicitamente che il metodo è più adatto a scenari in cui "la validità geometrica e l'interpretazione contano". Riconoscono che MLP non strutturati o baselines geometriche specializzate possono ancora superare questo metodo in termini di pure metriche di ranking, specialmente quando gli embedding di input codificano già bene il compito o quando la valutazione premia la qualità del vicinato non diretto.

In sintesi, il lavoro dimostra che, modellando esplicitamente i ruoli sorgente e target all'interno di un framework di divergenza convessa, è possibile ottenere una robusta discriminazione direzionale preservando al contempo le proprietà matematiche (non-negatività, convessità) essenziali per un affidabile metric learning.