Sintesi Tecnica: RelGT-AC

Definizione del Problema

I database relazionali sostengono sistemi critici in ambito enterprise, scientifico e sanitario, eppure applicare il machine learning predittivo a questi dati rimane difficile a causa della loro natura multi-tabella, eterogenea e temporale. Sebbene il Relational Deep Learning (RDL) affronti questo problema modellando i database come grafi eterogenei, il compito specifico dell'autocomplete (completamento automatico) è rimasto scarsamente esplorato in termini di progettazione di architetture specializzate.

I compiti di autocomplete, introdotti nel benchmark RelBench v2, richiedono la previsione di un valore di colonna esistente all'interno di una riga, dato l'insieme delle altre colonne compilate e il contesto relazionale (ad esempio, prevedere le condizioni di pagamento per un ordine di vendita basandosi sulla cronologia del cliente). A differenza dei normali compiti di forecasting che prevedono valori futuri costruiti tramite SQL, i compiti di autocomplete presentano una sfida unica: il valore target esiste nella riga di input. Senza specifiche salvaguardie architettoniche, i modelli possono "leggere" banalmente la colonna target per raggiungere un'accuratezza quasi perfetta, bypassando la necessità di apprendere dal contesto relazionale. Inoltre, i baseline esistenti come GraphSAGE si basano sull'aggregazione di vicinato, che può fallire nel distinguere tra righe di chiave esterna (FK) informative e irrilevanti, e i classici encoder categorici spesso scartano segnali lessicali preziosi dalle colonne di testo libero.

Metodologia: RelGT-AC

Gli autori propongono RelGT-AC (Relational Graph Transformer for Autocomplete), un'estensione del backbone RelGT progettata specificamente per affrontare le sfide dei compiti di autocomplete. L'architettura integra tre componenti primari:

1. Strategia di Mascheramento delle Colonne (Column Masking)

Per prevenire soluzioni banali in cui il modello si limita a leggere la colonna target, RelGT-AC introduce un Column Masker applicato prima della codifica delle feature.

• Meccanismo: Per il nodo seed (la riga da predire), la colonna target ($c^*$) e le colonne correlate ($C_{drop}$) specificate dal benchmark vengono azzerate.
• Vincolo: Fondamentalmente, le righe di contesto connesse tramite FK mantengono le loro feature complete, inclusi i valori per $c^*$. Ciò costringe il modello a imparare che i valori nelle tabelle correlate predicono il valore nella riga seed, piuttosto che fare affidamento sulle proprie feature della riga seed.

2. Unified Task Head (Testa di Compito Unificata)

RelGT-AC impiega un singolo modello capace di gestire molteplici tipi di task tramite una testa di output condizionata dal tipo di task. Questa architettura unificata supporta:

• Classificazione binaria (Auto-BCLS)
• Classificazione multiclasse (Auto-MCLS)
• Regressione (Auto-REG)
• Regressione per il forecasting (Entity-REG)
  Ciò consente al modello di condividere le rappresentazioni relazionali tra diversi tipi di task, adattando al contempo lo strato di output all'obiettivo specifico.

3. TF-IDF Text Encoder

Riconoscendo che gli encoder categorici standard falliscono sulle colonne di testo libero (mappando stringhe uniche in indici sconosciuti e perdendo il segnale lessicale), gli autori introducono un encoder di testo TF-IDF automatico.

• Rilevamento: Le colonne sono classificate come testo se hanno un tipo di dato string e una lunghezza media superiore a 20 caratteri.
• Codifica: Un vettorizzatore TF-IDF (dimensione del vocabolario $V=64$) viene applicato sul set di training. I vettori risultanti sono proiettati tramite uno strato lineare appreso nella dimensione delle feature condivisa.
• Beneficio: Questo cattura segnali predittivi forti nei campi di testo libero (ad esempio, le descrizioni dei criteri di ammissibilità) senza richiedere grandi modelli linguistici pre-addestrati.

Flusso dell'Architettura

Il modello elabora un sottografo $k$-hop campionato dal database relazionale:

1. Tokenizzazione: I nodi sono decomposti in 5 token (feature, tipo, distanza di hop, tempo, struttura).
2. Modulo Locale: Due strati di HeteroGraphSAGE con aggregazione di somma eseguono il passaggio di messaggi tra i vicini.
3. Modulo Globale: Uno strato Transformer applica l'auto-attenzione multi-testa su tutti i nodi campionati. Ciò consente al modello di prestare attenzione selettiva alle righe collegate tramite FK più informative (ad esempio, l'ordine più recente) invece di mediare equamente tutti i vicini, un limite del classico GraphSAGE.
4. Output: La testa di compito unificata genera le previsioni basandosi sulla rappresentazione finale del nodo seed.

Risultati Chiave

Gli esperimenti sono stati condotti su 7 compiti di autocomplete distribuiti su 3 dataset di RelBench v2: rel-trial (trial clinici), rel-f1 (Formula 1) e rel-stack (Stack Overflow).

• Performance di Regressione: RelGT-AC ha superato il baseline GraphSAGE in tutti e 3 i compiti di regressione. Miglioramenti degni di nota includono:
  • +0.436 $R^2$ sul task enrollment (rel-trial).
  • +0.224 $R^2$ sul task qualifying-position (rel-f1).
  • +0.088 $R^2$ sul task results-position.
• Performance di Classificazione: RelGT-AC ha superato GraphSAGE in 2 dei 4 compiti di classificazione. Tuttavia, su compiti ricchi di testo come eligibilities-adult, il modello ha ottenuto un AUROC dell'85.41% rispetto al 94.91% di GraphSAGE. Gli autori attribuiscono questo divario alla capacità di GraphSAGE di aggregare su tutti i nodi fratelli nel grafo completo, mentre RelGT-AC utilizza il campionamento $k$-neighbor.
• Impatto del TF-IDF: Lo studio di ablazione ha confermato che l'encoder TF-IDF è il contributo più impattante per i compiti ricchi di testo. Su eligibilities-adult, la rimozione dell'encoder TF-IDF ha causato un calo di 10.0 punti di AUROC (dall'85.37% al 75.37%), poiché il modello tornava alla codifica categorica perdendo il segnale lessicale.
• Analisi dell'Attenzione: La visualizzazione dei pesi di attenzione ha rivelato che il Transformer si concentra selettivamente sulle righe collegate tramite FK più recenti e rilevanti (ad esempio, il record dello studio direttamente collegato per i compiti di ammissibilità), allineandosi all'intuizione umana per la compilazione di moduli.

Significato e Claim

Il paper sostiene che RelGT-AC colmi un vuoto critico nel deep learning relazionale fornendo la prima architettura specializzata per i compiti di autocomplete. La sua importanza risiede in tre aree:

1. Prevenzione del Leakage: La strategia di mascheramento delle colonne forza efficacemente il modello a imparare le dipendenze relazionali invece della mappatura di identità, un prerequisito per un apprendimento supervisionato valido nei compiti di autocomplete.
2. Gestione dell'Eterogeneità: La testa unificata e l'encoder TF-IDF dimostrano che un singolo modello può gestire efficacemente diversi tipi di dati (numerici, categorici e testo libero) e tipi di task senza richiedere pipeline separate o massicci modelli linguistici pre-addestrati.
3. Insight Meccanicistico: L'analisi dell'attenzione fornisce prove del fatto che i meccanismi di attenzione globale possono superare l'aggregazione locale in contesti relazionali identificando nodi di contesto specifici ad alto valore, offrendo un approccio più interpretabile al ragionamento relazionale.

Gli autori concludono che, sebbene RelGT-AC richieda un fine-tuning specifico per il task e non sia ancora in grado di trasferirsi zero-shot su nuovi database, esso stabilisce un forte baseline per l'apprendimento relazionale supervisionato sui compiti di autocomplete e offre una base per la ricerca futura sui modelli fondativi relazionali.