📊 statistics

RowNet: A Memory Transformer for Tabular Regression

Dieses Paper stellt RowNet vor, eine retrieval-basierte neuronale Architektur, die eine Memory Bank mit gelabelten Eigenschaften und mehrstufige Attention-Mechanismen nutzt, um vergleichbare Eigenschaftsbeziehungen zur verbesserten Vorhersage des Immobilienpreises pro Quadratmeter zu modellieren und damit die Einschränkungen von Standard-MLPs und Gradient-Boosted-Trees bei der Handhabung spärlicher regionaler Effekte und nichtlinearer Interaktionen zu adressieren.

Ursprüngliche Autoren: Askat Rakhymbekov, Gulshat Muhametjanova

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Askat Rakhymbekov, Gulshat Muhametjanova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie viel eine bestimmte Wohnung in Bischkek, Kirgisistan, wert ist. Sie besitzen keine magische Kristallkugel und können nicht einfach auf eine einzige Zahl schauen und raten. Stattdessen handeln Sie wie ein menschlicher Experte: Sie schauen sich um und sagen: „Nun, diese Wohnung ist ähnlich wie die da unten in der Straße, aber die an der Ecke ist etwas besser, weil sie eine Aussicht hat.“ Sie finden ein paar vergleichbare Wohnungen, schauen nach, für wie viel sie verkauft wurden, und passen Ihre Schätzung basierend auf den Unterschieden an.

Dieses Paper, RowNet, lehrt einen Computer genau das. Anstatt zu versuchen, eine riesige, komplexe Formel für jedes einzelne Haus in der Stadt auswendig zu lernen, baut der Computer eine Gedächtnisbank (Memory Bank) aller Häuser auf, die er zuvor gesehen hat. Wenn er den Wert eines neuen Hauses ermitteln muss, „denkt“ er nicht nur über die Merkmale nach; er ruft aktiv die ähnlichsten Häuser aus seinem Gedächtnis ab und nutzt diese, um eine Schätzung abzugeben.

Hier ist die Aufschlüsselung des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Warum Standard-Computer Schwierigkeiten haben

Normalerweise versuchen Computer, Preise aus einer Tabelle (tabellarische Daten) vorherzusagen, indem sie jedes Objekt (jedes Haus) als isolierte Insel behandeln. Sie versuchen, eine riesige Regel zu lernen wie: „Wenn die Fläche groß und die Etage hoch ist, dann ist der Preis X.“

Aber Immobilien sind chaotisch. Eine große Wohnung in einer schlechten Nachbarschaft ist weniger wert als eine kleine in einer großartigen Nachbarschaft. Standard-Computermodelle übersehen oft diese subtilen, lokalen Verbindungen, weil sie versuchen, eine einzige „globale“ Regel für die ganze Stadt zu finden. Sie verstehen das Konzept des „Vergleichens dieses Hauses mit jenem spezifischen Haus“ nicht von Natur aus.

2. Die Lösung: RowNet (Der „Gedächtnisbank“-Ansatz)

RowNet verändert das Spiel. Anstatt nur das neue Haus im Vakuum zu betrachten, bewahrt es eine Bibliothek (Gedächtnisbank) jedes Hauses auf, das es jemals trainiert hat.

Wenn ein neues Haus (die „Abfrage“ oder „Query“) eintrifft, unternimmt RowNet drei Schritte:

Schritt 1: Der „Ähnlichkeits-Scan“ (Merkmalsbasierte Abfrage)
Zuerst scannt es die Bibliothek, um Häuser zu finden, die aufgrund ihrer physischen Merkmale ähnlich aussehen: Größe, Anzahl der Zimmer, Etage und Alter des Gebäudes. Es ignoriert den Preis für einen Moment. Es ist so, als würde man sagen: „Okay, ich sehe 50 Häuser, die genau so aussehen wie dieses hier.“ Es nimmt einen groben Durchschnitt ihrer Preise, um eine „grobe Schätzung“ zu erhalten.
Schritt 2: Der „Realitätscheck“ (Zielgerichtete Abfrage)
Jetzt wird es intelligenter. Es fragt: „Welche dieser 50 ähnlichen Häuser wurden tatsächlich zu einem Preis verkauft, der angesichts meiner groben Schätzung Sinn ergibt?“
Wenn ein Haus zwar ähnlich aussieht, aber für einen völlig anderen Preis verkauft wurde (vielleicht war es ein Fake-Inserat oder hatte einen versteckten Mangel), lernt RowNet, diesem Haus weniger Gewicht beizumessen. Es verfeinert seine Suche, um die relevantesten, realistischsten Vergleichsobjekte zu finden.
Schritt 3: Das „Experten-Gremium“ (Mixture of Experts)
RowNet verlässt sich nicht nur auf eine Art des Vergleichs. Es nutzt gleichzeitig 8 verschiedene „Experten“ (Attention Heads).
- Experte A konzentriert sich vielleicht stark auf den Standort (Bezirk und Straße).
- Experte B konzentriert sich vielleicht auf die Größe und die Raumaufteilung.
- Experte C schaut sich vielleicht Ausstattung wie Parkplätze oder Sicherheit an.
Ein „Gatekeeper“ (ein kleiner Entscheidungsteil der KI) hört auf alle 8 Experten. Er entscheidet, wie viel er jedem einzelnen vertraut. Wenn das Haus an einem schwierigen Standort liegt, könnte der Gatekeeper sagen: „Hör mehr auf Experte A.“ Wenn das Haus riesig ist, könnte er sagen: „Hör mehr auf Experte B.“

3. Der letzte Schliff: Die „Anpassung“

Selbst nachdem die besten passenden Häuser gefunden wurden, kann der Durchschnittspreis immer noch leicht daneben liegen, weil es Dinge gibt, die der Computer nicht sehen kann (wie eine tolle Aussicht oder ein schlechter Geruch).
RowNet fügt eine Residuen-Korrektur (Residual Correction) hinzu. Denken Sie an dies als einen kleinen „Feinabstimmungs-Knopf“. Nachdem die Experten ihren Durchschnitt berechnet haben, wird eine kleine Anpassung hinzugefügt, um den endgültigen Preis präzise zu kalibrieren – damit die Vorhersage nicht nur ein blinder Durchschnitt, sondern eine kalibrierte Schätzung ist.

4. Wie gut hat es funktioniert?

Die Autoren haben dies mit echten Daten aus Bischkek getestet.

Das Ergebnis: RowNet erreichte eine Fehlerrate von 7,44 % (MAPE) in einem Wettbewerb. Das bedeutet, dass seine Vorhersagen im Durchschnitt innerhalb von etwa 7,5 % des tatsächlichen Verkaufspreises lagen.
Der Vergleich: Es schlug eine Standardmethode („Non-Learning“-Methode), die einfach nur basierend auf roher Ähnlichkeit ohne Training rät (14,76 % Fehlerquote) bei Weitem. Es schnitt auch sehr gut gegenüber den üblichen baumbasierten Modellen ab, die Data Scientists verwenden.

5. Warum das wichtig ist (Der „Induktive Bias“)

Das Paper argumentt, dass dieser Ansatz für Immobilien „natürlich“ ist. Menschen berechnen Preise nicht mit einer komplexen mathematischen Formel; wir berechnen sie, indem wir uns an ähnliche vergangene Transaktionen erinnern. RowNet lehrt den Computer einfach, dasselbe zu tun:

Finde ähnliche Häuser.
Prüfe, ob deren Preise Sinn ergeben.
Frage ein Gremium aus spezialisierten „Experten“, um eine Meinung einzuholen.
Nimm eine kleine Anpassung vor.

Zusammenfassung

RowNet ist ein intelligentes Computerprogramm, das Hauspreise vorhersagt, indem es auf sein eigenes Gedächtnis vergangener Verkäufe zurückgreift. Anstatt zu versuchen, eine einzige Regel für die ganze Welt auswendig zu lernen, sagt es: „Welchem Haus erinnert mich dieses hier? Schauen wir uns an, für welche Preise jene Häuser verkauft wurden, und lassen wir ein paar verschiedene Experten entscheiden, um den endgültigen Preis festzulegen.“

Es ist ein Wechsel von der „Berechnung einer Formel“ hin zum „Abrufen einer vergleichbaren Geschichte“, was sich als ein sehr leistungsfähiger Weg zur Lösung von Immobilienrätseln erweist.

Technisches Resümee: RowNet – Ein Memory Transformer für die tabellarische Regression

1. Problemdefinition

Die Arbeit befasst sich mit der Herausforderung der tabellarischen Regression, speziell im Bereich der Immobilienbewertung. Im Gegensatz zu Bild- oder Textdaten weist die tabellarische Datenstruktur keine stabile lokale Topologie auf; benachbarte Spalten sind selten semantisch verwandt, kategorische Merkmale weisen oft eine hohe Kardinalität mit spärlichen Ausprägungen auf und numerische Merkmale existieren auf inkompatiblen Skalen.

In der Immobilienwirtschaft ist die Abbildung von Merkmalen (z. B. Fläche, Distrikt, Gebäudealter, Ausstattung) auf den Preis weder global glatt noch rein additiv. Märkte sind lokal heterogen: Ein Quadratmeter in einem Distrikt ist nicht direkt vergleichbar mit einem anderen, ohne spezifische Gebäudetypen, Bedingungen und das mikroregionale Angebot zu berücksichtigen. Standardmäßige Deep-Learning-Modelle (wie MLPs) behandeln Zeilen als isolierte Vektoren und haben Schwierigkeiten, Lokalität und das Matching kategorischer Merkmale allein aus der Supervision zu lernen. Im Gegensatz dazu operieren Gradient-Boosted Decision Trees (GBDTs), obwohl sie starke Baselines darstellen, über merkmalzentriertes Splitting und modellieren nicht explizit den Abruf ähnlicher historischer Beobachtungen, was der Kernlogik der menschlichen Gutachter entspricht.

2. Methodik: RowNet-Architektur

RowNet ist eine abrufbasierte neuronale Architektur, die darauf ausgelegt ist, den Quadratmeterpreis von Immobilien vorherzusagen. Sie übernimmt eine „vergleichbare Immobilie“-Induktionsverzerrung (Inductive Bias) und behandelt den gesamten Trainingsdatensatz als Memory Bank, aus der das Modell relevante historische Beispiele für eine gegebene Abfrage abruft.

2.1 Kernkomponenten

Die Architektur mit dem Namen ThreeLayerMoE besteht aus drei distinkten Phasen:

Merkmalsbasierter Zeilenabruf (Layer 1):
- Das Modell berechnet die paarweisen Ähnlichkeiten zwischen einer Abfragezeile und allen Speicherzeilen.
- Ähnlichkeits-Embedding: Anstatt einfacher Skalarprodukte wird die Ähnlichkeit mittels folgender Methoden konstruiert:
  - Exakte kategorische Übereinstimmungen: Binäre Gleichheit für kategorische und One-Hot-kodierte Merkmale.
  - Numerische Kerne: Drei skalenbewusste Kerne für numerische Merkmale: inverse Distanz ( $1/(1+\Delta)$ ), exponentielle relative Ähnlichkeit ( $\exp(-\Delta/\alpha)$ ) und abgeschnittene lineare relative Ähnlichkeit ( $\max(0, 1-\Delta/\alpha)$ ).
- Ein einzelner lernbarer Vektor $w_1$ bewertet diese Ähnlichkeitsvektoren, um eine grobe, aufmerksamkeitsgewichtete Schätzung des Zielwerts zu erzeugen.
Zielwert-konditionierter Multi-Head-Abruf (Layer 2):
- Diese Schicht verfeinert den Abruf, indem sie den Ähnlichkeitsvektor um Zielkonsistenz-Merkmale ergänzt. Diese Merkmale messen, wie nah der tatsächliche Preis einer Speicherzeile an der groben Schätzung aus Layer 1 liegt.
- Multi-Head-Design: Das Modell verwendet $H=8$ Attention-Heads. Jeder Head lernt einen separaten Kompatibilitätsvektor ( $w_{2,h}$ ), wodurch verschiedene Heads auf unterschiedliche Aspekte der Vergleichbarkeit spezialisiert werden können (z. B. Lage, Geometrie, Ausstattung oder Zielkonsistenz).
- Softmax-Attention wird unabhängig über die Speicherdimension für jeden Head angewendet, um sowohl Zielwertschätzungen als auch Merkmalszusammenfassungen abzurufen.
Aggregation mittels Mixture-of-Experts mit Residuenkorrektur:
- Gate: Ein zwei-schichtiges MLP nimmt den Mittelwert der Head-Zusammenfassungen und erzeugt einen Gating-Vektor $\pi$ , um die Beiträge der einzelnen Heads zu gewichten.
- Residuenkorrektur: Jeder Head verfügt über einen assoziierten Residuen-MLP ( $R_h$ ), der eine kleine additive Korrektur zum abgerufenen Durchschnitt vorhersagt. Dies ermöglicht es dem Modell, systematische Bias (z. B. unobservierte Qualität) anzupassen, die ein einfacher Durchschnitt nicht erfassen kann.
- Finale Vorhersage: Die Ausgabe ist eine konvexe Kombination der abgerufenen Preise und der Residuenkorrekturen, gewichtet durch eine Mischung aus dem gelernten Gate und einer „Residuen-Konfidenz“-Verteilung (Softmin über die Residuen-Magnituden).

2.2 Training und Regularisierung

Zielsetzung: Der primäre Verlust ist der mittlere absolute prozentuale Fehler (MAPE) auf den Quadratmeterpreis.
Regularisierung:
- Gate-Entropie: Fördert den Mechanismus, mehrere Heads zu nutzen, anstatt zu einem einzelnen Head zu kollabieren.
- Head-Diversität: Ein Strafterm stellt sicher, dass die gelernten Head-Vektoren unterscheidbar bleiben und Redundanz verhindert wird.
- Residuen-Strafe: Begrenzt die Skala der additiven Residuenkorrektur, um zu verhindern, dass diese das Abrufsignal dominiert.
Self-Masking: Während des Trainings wird die Abfragezeile aus ihrem eigenen Speicher maskiert (Score auf $-\infty$ gesetzt), um ein Leave-one-out-Abrufziel zu erzwingen.

3. Wesentliche Beiträge

Die Arbeit leistet die folgenden spezifischen Beiträge:

Architektur: Einführung von RowNet, einem kompakten, abruf-augmentierten tabellarischen Regressionsmodell, das paarweise Ähnlichkeits-Embeddings, zweistufigen Zeilen-Attention, Multi-Head-Retrieval und Mixture-of-Experts-Aggregation kombiniert.
Mathematische Formalisierung: Detaillierte Definition der konstruierten Ähnlichkeitskanäle (exakte Übereinstimmungen, skalenbewusste Kerne, Zielkonsistenz-Merkmale) und des hybriden Attention-Mechanismus.
Preprocessing-Pipeline: Eine umfassende Pipeline für Immobilien-Daten, einschließlich der Schema-Normalisierung von Russisch nach Englisch, geografischem Clustering (K-Means auf Koordinaten), Adresszerlegung und der Konstruktion von Quadratmeterpreis-Zielwerten.
Empirische Validierung: Berichterstattung über Trainingsverläufe, eine Proof-of-Concept-Baseline und Wettbewerbsergebnisse auf einem realen Datensatz aus Bischkek, Kirgisistan.
Theoretische Analyse: Diskussion von RowNet als gelerntem Modell für vergleichbare Immobilien, im Kontrast zu GBDTs, Tabular Transformers und k-Nearest-Neighbor-Methoden.

4. Experimentelle Ergebnisse

Datensatz: Die Studie verwendet einen Kaggle-Wettbewerbsdatensatz aus Bischkek mit 7.128 Trainings- und 1.784 Test-Listings.
Leistung:
- Proof-of-Concept: Eine nicht-gelernte Zeilen-Attention-Baseline erreichte einen MAPE von 14,76 %, was zeigt, dass die rohe Ähnlichkeit zwar Signale enthält, aber ohne Lernen unzureichend ist.
- XGBoost Baseline: Berichtet mit 8,33 % MAPE.
- RowNet Training: Das Modell reduzierte den Self-Masked Trainings-MAPE von 8,36 % auf 6,37 % über 10 Epochen.
- Wettbewerbsergebnis: Die finale Einreichung erreichte einen MAPE von 7,44 % (Hinweis: Das Abstract erwähnt 7,44 %, während Abschnitt 6.3 einen berichteten Score von 8,11 % nach 246 Einreichungen nennt; das Paper präsentiert 7,44 % als Demonstration der Effektivität im Abstract und 8,11 % in der Ergebnistabelle, was vermutlich unterschiedliche Evaluierungspunkte oder Versionen widerspiegelt).
Ablations-Erkenntnisse: Das Paper argumentiert, dass das Entfernen des Abrufs das Modell in einen globalen parametrischen Regressor verwandelt (Verlust der lokalen Anpassung), während das Entfernen der zielwertkonditionierten Schicht oder der Residuenkorrektur zu Bias oder reduzierter Verfeinerung führt.

5. Bedeutung und Behauptungen

Das Paper argumentiert, dass gelernter Zeilenabruf eine natürliche Induktionsverzerrung für die Immobilienbewertung darstellt. Es postuliert:

Hybrider Ansatz: RowNet kombelt erfolgreich die statistischen Stärken der Nearest-Neighbor-Schätzung (lokale Anpassungsfähigkeit) mit der Differenzierbarkeit und Spezialisierung von neuronalen Attention-Mechanismen.
Interpretierbarkeit: Im Gegensatz zu „Black Box“-Transformern können die Vorhersagen von RowNet durch die Attention-Gewichte über spezifische historische Zeilen inspiziert werden, was einen direkteren Erklärungsansatz bietet: Eine Vorhersage ist hoch, weil spezifische vergleichbare Immobilien abgerufen und hoch gewichtet wurden.
Domänenanpassung: Die Architektur modelliert explizit die Praxis der Immobilienbewertung, den Wert einer Immobilie durch Identifizierung und Gewichtung vergleichbarer Transaktionen zu schätzen, anstatt eine globale Funktion zu erzwingen, um lokale Regime zu approximieren.

6. Limitationen

Die Autoren räumen mehrere Limitationen ein:

Skalierbarkeit: Der Full-Memory-Attention-Mechanismus führt zu einer $O(N^2)$ Trainingskomplexität, was ihn für sehr große Datensätze (z. B. >150k Zeilen) rechenintensiv macht.
Evaluationsumfang: Die Studie liefert keine gehaltenen Validierungsmetriken für alle Baselines (XGBoost, CatBoost etc.) oder vollständige Ablationsmetriken über mehrere Seeds hinweg.
Datenabhängigkeit: Das Modell erbt Biases und zeitliche Drifts aus der Memory Bank; veraltete oder doppelte Daten im Speicher können zu irreführenden Abrufen führen.
Interpretierbarkeit: Obwohl besser als Standard-Transformer, erfordern die gelernten Kompatibilitätsgewichte und Residuenanpassungen dennoch Analysen und sind nicht vollständig menschenlesbar.

Das Paper schließt damit, dass RowNet als praktisches Komplement zu Gradient Boosting für Domänen dient, in denen lokale Vergleichbarkeit zentral ist, sofern die Skalierbarkeitsprobleme durch Techniken wie Top-k-Vorselektion oder Approximate-Nearest-Neighbor-Indizierung adressiert werden.