Riassunto Tecnico: RowNet – Un Transformer di Memoria per la Regressione Tabulare

1. Definizione del Problema

Il paper affronta la sfida della regressione tabulare, specificamente nel dominio della valutazione immobiliare. A differenza dei dati di immagini o testo, i dati tabulari mancano di una topologia locale stabile; le colonne adiacenti sono raramente correlate semanticamente, le caratteristiche categoriche spesso presentano un'alta cardinalità con livelli sparsi e le caratteristiche numeriche esistono su scale incompatibili.

Nel settore immobiliare, la mappatura dalle caratteristiche (es. superficie, distretto, età dell'edificio, servizi) al prezzo non è né globalmente fluida né puramente additiva. I mercati sono localmente eterogenei: un metro quadrato in un distretto non è direttamente confrontabile con un altro senza considerare specifici tipi di edifici, condizioni e offerta micro-regionale. I modelli standard di deep learning (come gli MLP) trattano le righe come vettori isolati, faticando a apprendere la località e l'appaiamento categorico dalla sola supervisione. Al contrario, i Gradient-Boosted Decision Trees (GBDT), pur essendo solidi baseline, operano tramite partizioni centrate sulle caratteristiche e non modellano esplicitamente il recupero di osservazioni storiche simili, che è il nucleo logico utilizzato dai periti umani.

2. Metodologia: Architettura RowNet

RowNet è un'architettura neurale basata sul recupero (retrieval-based) progettata per predire il prezzo al metro quadro immobiliare. Adotta un bias induttivo di "proprietà comparabile", trattando l'intero set di addestramento come una banca di memoria dalla quale il modello recupera esempi storici rilevanti per una determinata query.

2.1 Componenti Core

L'architettura, denominata ThreeLayerMoE, consiste in tre fasi distinte:

1. Recupero delle Righe Basato Solo sulle Caratteristiche (Livello 1):

   • Il modello calcola la similarità a coppie tra una riga di query e tutte le righe della memoria.
   • Embedding di Similarità: Inveverso ai prodotti scalari grezzi, la similarità è ingegnerizzata utilizzando:
     • Corrispondenze Categoriche Esatte: Uguaglianza binaria per le caratteristiche categoriche e one-hot encoded.
     • Kernel Numerici: Tre kernel sensibili alla scala per le caratteristiche numeriche: distanza inversa ($1/(1+\Delta)$), similarità relativa esponenziale ($\exp(-\Delta/\alpha)$) e similarità relativa lineare troncata ($\max(0, 1-\Delta/\alpha)$).
   • Un singolo vettore apprendibile $w_1$ valuta questi vettori di similarità per produrre una stima grossolana, pesata dall'attenzione, del target.

2. Recupero Multi-Testa Condizionato dal Target (Livello 2):

   • Questo livello raffina il recupero aumentando il vettore di similarità con caratteristiche di coerenza del target. Queste caratteristiche misurano quanto la riga della memoria sia vicina al prezzo effettivo stimato dal Livello 1.
   • Design Multi-Testa: Il modello impiega $H=8$ teste di attenzione. Ogni testa apprende un vettore di compatibilità separato ($w_{2,h}$), permettendo alle diverse teste di specializzarsi in diversi aspetti della comparabilità (es. posizione, geometria, servizi o coerenza del target).
   • L'attenzione Softmax è applicata indipendentemente sulla dimensione della memoria per ogni testa, recuperando sia le stime del target che i riepiloghi delle caratteristiche.

3. Aggregazione Mixture-of-Experts con Correzione Residua:

   • Gate: Un MLP a due strati prende la media dei riepiloghi delle teste e produce un vettore di gating $\pi$ per pesare i contributi di ciascuna testa.
   • Correzione Residua: Ogni testa ha un MLP residuo associato ($R_h$) che predice una piccola correzione additiva al valore medio recuperato. Ciò consente al modello di regolare i bias sistematici (es. qualità non osservata) che una semplice media non può catturare.
   • Predizione Finale: L'output è una combinazione convessa dei prezzi recuperati e delle correzioni residue, pesata da un mix del gate appreso e di una distribuzione di "confidenza residua" (softmin sulle magnitudo dei residui).

2.2 Addestramento e Regolarizzazione

• Obiettivo: La perdita primaria è la Mean Absolute Percentage Error (MAPE) sul prezzo al metro quadro.
• Regolarizzazione:
  • Entropia del Gate: Incoraggia il meccanismo di gating a utilizzare più teste piuttosto che collassare su una singa testa.
  • Diversità delle Teste: Un termine di penalità assicura che i vettori delle teste appresi rimangano distinti, prevenendo la ridondanza.
  • Penalità Residua: Vincola la scala della correzione additiva residua per evitare che domini il segnale di recupero.
  • Self-Masking: Durante l'addestramento, la riga di query viene esclusa dalla propria memoria (il punteggio è impostato a $-\infty$) per imporre un obiettivo di recupero leave-one-out.

3. Contributi Chiave

Il paper presenta i seguenti contributi specifici:

1. Architettura: Introduzione di RowNet, un modello di regressione tabulare compatto e potenziato dal recupero che combina embedding di similarità a coppie, attenzione su righe a due stadi, recupero multi-testa e aggregazione mixture-of-experts.
2. Formalizzazione Matematica: Definizione dettagliata dei canali di similarità ingegnerizzati (corrispondenze esatte, kernel sensibili alla scala, caratteristiche di coerenza del target) e del meccanismo di attenzione ibrido.
3. Pipeline di Preprocessing: Una pipeline completa per i dati immobiliari, inclusa la normalizzazione dello schema da Russo a Inglese, il clustering geografico (K-Means sulle coordinate), la decomposizione degli indirizzi e la costruzione dei target di prezzo al metro quadro.
4. Validazione Empirica: Report delle tracce di addestramento, di un baseline di prova di concetto e dei risultati di una competizione su un dataset reale di Bishkek, Kirghizistan.
5. Analisi Teorica: Discussione di RowNet come modello di proprietà comparabile appreso, in contrasto con GBDT, transformer tabulari e metodi k-nearest-neighbor.

4. Risultati Sperimentali

• Dataset: Lo studio utilizza un dataset di una competizione Kaggle di Bishkek contenente 7.128 annunci di addestramento e 1.784 di test.
• Performance:
  • Prova di Concetto: Un baseline di row-attention non appreso ha raggiunto un MAPE del 14,76%, dimostrando che la similarità grezza contiene segnale ma è insufficiente senza apprendimento.
  • Baseline XGBoost: Riportata all'8,33% di MAPE.
  • Addestramento RowNet: Il modello ha ridotto il MAPE di addestramento con self-masking dall'8,36% al 6,37% in 10 epoche.
  • Risultato della Competizione: La sottomissione finale ha raggiunto un MAPE del 7,44% (nota: l'abstract menziona il 7,44%, mentre la sezione 6.3 cita l'8,11% come punteggio riportato dopo 246 sottomissioni; il paper presenta il 7,44% come efficacia dimostrata nell'abstract e l'8,11% nella tabella dei risultati, riflettendo probabilmente diversi punti di valutazione o versioni di sottomissione).
• Insight di Ablazione: Il paper sostiene che rimuovere il recupero trasforma il modello in un regressore parametrico globale (perdendo l'adattamento locale), mentre rimuovere lo strato condizionato dal target o la correzione residua porta a bias o riduzione del raffinamento.

5. Significato e Rivendicazioni

Il paper sostiene che il recupero delle righe appreso sia un bias induttivo naturale per la valutazione immobiliare. Postula che:

• Approccio Ibrido: RowNet combina con successo i punti di forza statistici della stima dei vicini più prossimi (adattabilità locale) con la differenziabilità e la specializzazione dei meccanismi di attenzione neurale.
• Interpretabilità: A differenza dei transformer "black box", le predizioni di RowNet possono essere ispezionate attraverso i pesi di attenzione sulle specifiche righe storiche, fornendo un percorso di spiegazione più diretto: una predizione è alta perché specifiche proprietà comparabili sono state recuperate e pesate fortemente.
• Idoneità al Dominio: L'architettura modella esplicitamente la pratica di settore di stimare il valore di una proprietà identificando e pesando le transazioni comparabili, piuttosto che forzare una funzione globale ad approssimare regimi locali.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

• Scalabilità: Il meccanismo di attenzione a memoria completa risulta in una complessità di addestramento $O(N^2)$, rendendolo computazionalmente costoso per dataset molto grandi (es. >150k righe).
• Ambito di Valutazione: Lo studio non fornisce metriche di validazione su dati non visti per tutti i baseline (XGBoost, CatBoost, ecc.) o metriche di ablazione complete su molteplici seed.
• Dipendenza dai Dati: Il modello eredita i bias e il drift temporale dalla banca di memoria; dati obsoleti o duplicati nella memoria possono portare a recuperi fuorvianti.
• Interpretabilità: Sebbene migliore dei transformer standard, i pesi di compatibilità appresi e le correzioni residue richiedono comunque analisi e non sono completamente leggibili dall'uomo.

Il paper conclude che RowNet funge da complemento pratico per il gradient boosting in domini in cui la comparabilità locale è centrale, a patto che le sfide di scalabilità siano affrontate tramite tecniche come la preselezione top-k o l'indicizzazione approximate nearest-neighbor.