Generalized Local Polynomial Regression with Decomposed Context-Aware Kernels

1. Enunciato del Problema

La "Tautologia Euclidea" nella Regressione Polinomiale Locale (LPR):
La Regressione Polinomiale Locale (LPR) classica è una pietra angolare della regolarizzazione non parametrica, apprezzata per la sua capacità di adattarsi localmente senza assumere rigidità globali. Tuttavia, soffre di una limitazione fondamentale: le variabili utilizzate per definire il vicinato locale (pesatura) sono identiche a quelle utilizzate nel fitting polinomiale.

• Il Vincolo: Questa "tautologia euclidea" limita la LPR a scenari in cui la prossimità è definita esclusivamente dalla distanza euclidea nello spazio delle caratteristiche.
• Il Divario: I dati moderni risiedono spesso su strutture complesse e non euclidee (grafi, varietà, categorie discrete o reti di trasporto). In questi domini, le osservazioni possono essere "vicine" in senso strutturale (ad esempio, collegate da una linea della metropolitana) ma distanti nello spazio delle caratteristiche euclideo, o viceversa.
• La Conseguenza: La LPR standard non riesce a catturare relazioni che variano attraverso questi contesti non euclidei pur rimanendo localmente lisce nello spazio delle caratteristiche primario. Inoltre, l'uso di un kernel monolitico su tutte le caratteristiche esacerba la "maledizione della dimensionalità".

2. Metodologia: LPR Contestuale Generalizzata (GC-LPR)

Il documento propone GC-LPR, un framework che disaccoppia le coordinate di fitting ($Z$) dal contesto di pesatura ($C$).

A. Convenzione di Modellazione

Invece di trattare il contesto meramente come un modificatore della varianza, gli autori modellano la funzione di regressione come dipendente dal contesto:
$$Y = m_C(Z) + \epsilon$$
Qui, $Z$ rappresenta le coordinate euclidee primarie dove avviene il fitting polinomiale locale, e $C$ rappresenta contesti ausiliari (categoriali, geospaziali, nodi di rete, ecc.) che modulano la relazione.

B. Lo Stimatore

L'innovazione centrale è l'uso di un Kernel Composto Prodotto ($K_c$) che fattorizza la pesatura:
$$K_c(x, u; H_c) = K_{0,H}(\psi_0(x) - \psi_0(u)) \times \prod_{j=1}^J K_j(\psi_j(x), \psi_j(u); \eta_j)$$

• Termine di Fitting ($K_{0,H}$): Opera sulla carta euclidea $\psi_0(X) = Z$. Questo governa l'approssimazione polinomiale locale (ad esempio, lineare o quadratica) all'interno dello spazio delle caratteristiche.
• Termini di Contesto ($K_j$): Operano su mappe di caratteristiche ausiliarie $\psi_j(X) = C_j$. Questi kernel possono essere non euclidei (ad esempio, distanza di Haversine per la geografia, distanza del percorso più breve per i grafi, kernel Aitchison-Aitken per etichette discrete).
• Meccanismo: Lo stimatore agisce come un "regolatore proiettato". Isola una "fetta" della varietà dei dati definita dal contesto $C$ ed esegue il fitting polinomiale in $Z$ solo all'interno di quella fetta.

C. Estensione Robusta (GRC-LPR)

Il framework include un fattore di robustezza opzionale ($K_r$) basato sulla stima della densità condizionata della variabile di risposta. Questo riduce il peso degli outlier senza distorcere la definizione di località, seguendo lavori recenti di Shulman (2025).

3. Contributi Chiave

1. Disaccoppiamento di Coordinate e Contesto: Il documento separa formalmente la base di regressione (fitting di $Z$) dalla definizione del vicinato (pesatura di $C$), permettendo a strutture non euclidee arbitrarie di influenzare la stima locale senza costringerle nella base polinomiale.
2. Riformulazione Teorica dell'Obiettivo:
   • Gli autori chiariscono che, con bande di contesto fisse, lo stimatore mira a una media indotta lisciata dal contesto ($m_W$), non alla media condizionata puntuale ($m_{c^*}$).
   • Decomposizione del Bias: Il bias totale è decomposto in:
     1. Bias Polinomiale: Errore di approssimazione standard in $Z$ ($O(\|H\|^{p+1})$).
     2. Bias di Lisciatura: La differenza tra l'obiettivo lisciato dal contesto e il vero obiettivo puntuale, derivante dalla media sul vicinato del contesto.
   • Questa teoria preserva le proprietà di riduzione del bias della LPR standard in $Z$ consentendo al contesto di modulare la stima.
3. Componibilità: Il framework si integra senza soluzione di continuità con tecniche di regressione robusta (GRC-LPR) e gestisce tipi di dati misti (continui, categoriali, basati su grafi) all'interno di una singola funzione obiettivo unificata.

4. Risultati Sperimentali

L'efficacia di GC-LPR è stata validata attraverso quattro esperimenti che la confrontano con LPR standard, LPR robusta (RSKLPR) e K-Nearest Neighbors (KNN).

• Esperimento 1: Abitazioni in California (Contesto Geospaziale)

  • Configurazione: Previsione dei prezzi delle case utilizzando caratteristiche tabulari + coordinate.
  • Risultato: GC-LPR (utilizzando un kernel di contesto Haversine) ha superato significativamente la LPR standard (RMSE 0,506 contro 0,528).
  • Insight: Il disaccoppiamento esplicito del contesto geospaziale ha permesso al modello di attingere forza da vicinati euclidei più ampi rispettando al contempo i confini geografici, riducendo il bias di lisciatura trans-regionale.

• Esperimento 2: Airbnb NYC (Contesto di Rete)

  • Configurazione: Previsione dei prezzi degli annunci utilizzando caratteristiche tabulari + prossimità alla rete della metropolitana (distanza del percorso più breve).
  • Risultato: Il kernel di contesto metropolitana (GRC-LPR) ha ottenuto il RMSE più basso ($1660) rispetto ai modelli basati solo su caratteristiche ($2029).
  • Insight: La distanza euclidea non è riuscita a catturare la vera "prossimità" degli annunci; il kernel di contesto basato su grafi ha modellato con successo la connettività topologica.

• Esperimento 3: Rete Aerea USA (Segnale su Grafo Sintetico)

  • Configurazione: Un dataset sintetico in cui la variabile target è generata tramite propagazione del segnale su un grafo di rete aerea.
  • Risultato: I modelli basati su contesto di grafo (GC-LPR) hanno superato significativamente i modelli basati solo su caratteristiche.
  • Insight: La LPR standard non è riuscita a distinguere tra aeroporti con caratteristiche simili ma posizioni di rete diverse. GC-LPR ha catturato con successo la dipendenza strutturale.

• Esperimento 4: Varicella in Ungheria (Segnale su Grafo Reale)

  • Configurazione: Previsione dei conteggi settimanali di varicella in 20 contee collegate da una rete stradale.
  • Risultato: I modelli consapevoli del grafo hanno mostrato miglioramenti coerenti, sebbene modesti, rispetto ai baseline (RMSE 0,820 contro 0,835).
  • Insight: Ha validato il metodo su un problema reale di grafo spazio-temporale, confermando che la struttura del grafo agisce come un regolarizzatore utile anche in dati reali rumorosi.

5. Significato

• Collegamento tra Statistica e Apprendimento Geometrico: GC-LPR colma il divario tra la statistica non parametrica classica interpretabile e l'apprendimento geometrico moderno (Elaborazione del Segnale su Grafo). Mantiene le proprietà di bias-varianza ben comprese della LPR estendendo al contempo l'applicabilità a domini irregolari.
• Flessibilità: Fornisce un framework unificato per la gestione di tipi di dati misti (continui, categoriali, basati su grafi) senza richiedere regolarizzazione globale complessa o decomposizione spettrale.
• Impatto Pratico: Il metodo offre uno strumento potente per domini in cui i dati sono tabulari ma le relazioni sottostanti sono governate da strutture complesse (ad esempio, reti di trasporto, grafi sociali, confini amministrativi), consentendo una modellazione locale più accurata e interpretabile.

In sintesi, il documento risolve la rigidità della LPR classica introducendo un approccio a kernel decomposto che permette al "vicinato locale" di essere definito da contesti non euclidei arbitrari, mentre il "fitting locale" rimane un polinomio standard nello spazio delle caratteristiche primario.