Technische Samenvatting: RowNet – Een Memory Transformer voor Tabulaire Regressie

1. Probleemdefinitie

Het artikel behandelt de uitdaging van tabulaire regressie, specifiek binnen het domein van vastgoedwaardering. In tegenstelling tot beeld- of tekstgegevens mist tabulaire data een stabiele lokale topologie; aangrenzende kolommen zijn zelden semantisch gerelateerd, categorische kenmerken hebben vaak een hoge cardinaliteit met ijle niveaus, en numerieke kenmerken bestaan op incompatibele schalen.

In de vastgoedsector is de mapping van kenmerken (bijv. oppervlakte, district, leeftijd van het gebouw, voorzieningen) naar prijs niet globaal glad of puur additief. Markten zijn lokaal heterogeen: een vierkante meter in het ene district is niet direct vergelijkbaar met een andere zonder rekening te houden met specifieke gebouwtypen, condities en micro-regionaal aanbod. Standaard deep learning-modellen (zoals MLP's) behandelen rijen als geïsoleerde vectoren en hebben moeite om lokaliteit en categorische matching te leren van enkel supervisie alleen. Daarentegen werken Gradient-Boosted Decision Trees (GBDT's), hoewel ze sterke baselines zijn, via kenmerk-gecentreerde splitsing en modelleren zij niet expliciet het ophalen van vergelijkbare historische observaties, wat de kernlogica is die door menselijke taxateurs wordt gebruikt.

2. Methodologie: RowNet Architectuur

RowNet is een retrieval-gebaseerde neurale architectuur ontworpen om de prijs per vierkante meter van vastgoed te voorspellen. Het neemt een "vergelijkbaar vastgoed"-inductieve bias aan, waarbij de gehele trainingsset wordt behandeld als een geheugenbank waaruit het model relevante historische voorbeelden voor een gegeven query kan ophalen.

2.1 Kerncomponenten

De architectuur, genaamd ThreeLayerMoE, bestaat uit drie afzonderlijke stadia:

1. Feature-Only Row Retrieval (Laag 1):

   • Het model berekent de paarwijze gelijkenis tussen een query-rij en alle geheugensrijen.
   • Similarity Embedding: In plaats van ruwe dot-producten wordt gelijkenis geconstrueerd met behulp van:
     • Exacte Categorische Matches: Binaire gelijkheid voor categorische en one-hot gecodeerde kenmerken.
     • Numerieke Kernels: Drie schaalbewuste kernels voor numerieke kenmerken: inverse afstand ($1/(1+\Delta)$), exponentiële relatieve gelijkenis ($\exp(-\Delta/\alpha)$), en afgekapte lineaire relatieve gelijkenis ($\max(0, 1-\Delta/\alpha)$).
   • Een enkele leerbare vector $w_1$ scoort deze gelijkenisvectoren om een grove, attention-gewogen schatting van de doelwaarde te produceren.

2. Target-Conditioned Multi-Head Retrieval (Laag 2):

   • Deze laag verfijnt de retrieval door de gelijkenisvector aan te vullen met target-consistentiekenmerken. Deze kenmerken meten hoe dicht de werkelijke prijs van een geheugensrij bij de grove schatting van Laag 1 ligt.
   • Multi-Head Design: Het model maakt gebruik van $H=8$ attention heads. Elke head leert een aparte compatibiliteitsvector ($w_{2,h}$), waardoor verschillende heads kunnen specialiseren in verschillende aspecten van vergelijkbaarheid (bijv. locatie, geometrie, voorzieningen of target-consistentie).
   • Softmax attention wordt onafhankelijk toegepast over de geheugen-dimensie voor elke head, waarbij zowel target-schattingen als feature-samenvattingen worden opgehaald.

3. Mixture-of-Experts Aggregatie met Residuele Correctie:

   • Gate: Een twee-laags MLP neemt het gemiddelde van de head-samenvattingen en produceert een gating-vector $\pi$ om de bijdragen van elke head te wegen.
   • Residuele Correctie: Elke head heeft een bijbehorende residuele MLP ($R_h$) die een kleine additieve correctie voorspelt op de opgehaalde gemiddelde waarde. Dit stelt het model in staat om systematische biases (bijv. onwaargenomen kwaliteit) aan te passen die een simpel gemiddelde niet kan vangen.
   • Finale Voorspelling: De output is een convexe combinatie van de opgehaalde prijzen en de residuele correcties, gewogen door een mengeling van de geleerde gate en een "residuele-vertrouwensverdeling" (softmin over de grootte van de residuen).

2.2 Training en Regularisatie

• Doelstelling: De primaire loss is Mean Absolute Percentage Error (MAPE) op de prijs per vierkante meter.
• Regularisatie:
  • Gate Entropy: Moedigt de gating-mechanisme aan om meerdere heads te gebruiken in plaats van te imploderen naar één enkele head.
  • Head Diversiteit: Een strafterm zorgt ervoor dat de geleerde head-vectoren onderscheidend blijven, wat redundantie voorkomt.
  • Residuele Straf: Beperkt de schaal van de additieve residuele correctie om te voorkomen dat deze het retrieval-signaal domineert.
• Self-Masking: Tijdens de training wordt de query-rij uit de eigen geheugensrij gemaskeerd (score ingesteld op $-\infty$) om een leave-one-out retrieval-doelstelling af te dwingen.

3. Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

1. Architectuur: Introductie van RowNet, een compact, retrieval-augmented tabulair regressiemodel dat pairwise similarity embeddings, twee-fasen row attention, multi-head retrieval en mixture-of-experts aggregatie combineert.
2. Wiskundige Formalisering: Gedetailleerde definitie van de geconstrueerde similarity channels (exacte matches, schaalbewuste kernels, target-consistentiekenmerken) en het hybride attention-mechanisme.
3. Preprocessing Pipeline: Een uitgebreide pipeline voor vastgoedgegevens, inclusief Russisch-naar-Engels schema-normalisatie, geografische clustering (K-Means op coördinaten), adresdecompositie en de constructie van prijs-per-vierkante-meter targets.
4. Empirische Validatie: Rapportage van trainingssporen, een proof-of-concept baseline en competitieresultaten op een real-world dataset uit Bishkek, Kirgizië.
5. Theoretische Analyse: Discussie van RowNet als een geleerd comparable-property model, waarbij het wordt afgezet tegen GBDTs, tabular transformers en k-nearest-neighbor methoden.

4. Experimentele Resultaten

• Dataset: De studie gebruikt een Kaggle-competitiedataset uit Bishkek met 7.128 trainingsadvertenties en 1.784 testadvertenties.
• Prestaties:
  • Proof-of-Concept: Een niet-geleerde row-attention baseline bereikte een 14,76% MAPE, wat aantoont dat ruwe gelijkenis weliswaar signaal bevat, maar zonder leren onvoldoende is.
  • XGBoost Baseline: Gerapporteerd op 8,33% MAPE.
  • RowNet Training: Het model verminderde de self-masked training MAPE van 8,36% naar 6,37% over 10 epochs.
  • Competitie Resultaat: De uiteindelijke inzending behaalde een 7,44% MAPE (opmerking: het abstract vermeldt 7,44%, terwijl sectie 6.3 een score van 8,11% noemt als het gerapporteerde resultaat na 246 inzendingen; het artikel presenteert 7,44% als de gedemonstreerde effectiviteit in het abstract en 8,11% in de resultatentabel, wat waarschijnlijk verschillende evaluatiepunten of inzendingversies weerspiegelt).
• Ablatie Inzichten: Het artikel betoogt dat het verwijderen van de retrieval het model transformeert naar een globale parametrische regressor (verlies van lokale adaptatie), terwijl het verwijderen van de target-conditioned laag of de residuele correctie leidt tot bias of verminderde verfijning.

5. Betekenis en Claims

Het artikel stelt dat geleerde row retrieval een natuurlijke inductieve bias is voor vastgoedwaardering. Het voert aan dat:

• Hybride Aanpak: RowNet succesvol de statistische sterktes van nearest-neighbor schatting (lokale adaptiviteit) combineert met de differentieerbaarheid en specialisatie van neurale attention-mechanismen.
• Interpreteerbaarheid: In tegenstelling tot "black box" transformers, kunnen de voorspellingen van RowNet worden geïnspecteerd via attention-gewichten over specifieke historische rijen, wat een directere verklarende route biedt: een voorspelling is hoog omdat specifieke vergelijkbare eigendommen zijn opgehaald en zwaar zijn gewogen.
• Domein-geschiktheid: De architectuur modelleert expliciet de praktijk in het domein om de waarde van een pand te schatten door vergelijkbare transacties te identificeren en te wegen, in plaats van een globale functie te dwingen om lokale regimes te benaderen.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Schaalbaarheid: Het volledige memory attention mechanisme resulteert in een $O(N^2)$ trainingscomplexiteit, wat het computationeel duur maakt voor zeer grote datasets (bijv. >150k rijen).
• Evaluatie Omvang: De studie biedt geen held-out validatiemetrieken voor alle baselines (XGBoost, CatBoost, etc.) of volledige ablatie-metrieken over meerdere seeds.
• Data Afhankelijkheid: Het model erft biases en temporele drift van de geheugenbank; verouderde of dubbele data in het geheugen kan leiden tot misleidende retrievals.
• Interpreteerbaarheid: Hoewel beter dan standaard transformers, vereisen de geleerde compatibiliteitsgewichten en residuele aanpassingen nog steeds analyse en zijn ze niet volledig menselijk leesbaar.

Het artikel concludeert dat RowNet dient als een praktisch complement voor gradient boosting voor domeinen waar lokale vergelijkbaarheid centraal staat, mits de schaalbaarheidsuitdagingen worden aangepakt via technieken zoals top-k preselectie of approximate nearest-neighbor indexing.