Résumé technique : RowNet – Un Transformer de Mémoire pour la Régression Tabulaire

1. Définition du problème

L'article traite du défi de la régression tabulaire, plus précisément dans le domaine de l'évaluation immobilière. Contrairement aux données d'images ou de texte, les données tabulaires manquent de topologie locale stable ; les colonnes adjacentes sont rarement liées sémantiquement, les caractéristiques catégorielles présentent souvent une cardinalité élevée avec des niveaux épars, et les caractéristiques numériques existent sur des échelles incompatibles.

Dans l'immobilier, la relation entre les caractéristiques (ex. : surface, quartier, âge du bâtiment, équipements) et le prix n'est ni globalement lisse, ni purement additive. Les marchés sont localement hétérogènes : un mètre carré dans un quartier n'est pas directement comparable à un autre sans considérer les types de bâtiments spécifiques, les conditions et l'offre micro-régionale. Les modèles de deep learning standards (comme les MLP) traitent les lignes comme des vecteurs isolés, peinant à apprendre la localité et l'appariement catégoriel par la seule supervision. À l'inverse, les modèles de Gradient-Boosted Decision Trees (GBDT), bien qu'étant des bases solides, opèrent via des divisions centrées sur les caractéristiques et ne modélisent pas explicitement la recherche d'observations historiques similaires, ce qui est pourtant le cœur de la logique utilisée par les experts en évaluation.

2. Méthodologie : Architecture RowNet

RowNet est une architecture de régression basée sur la récupération conçue pour prédire le prix au mètre carré d'un bien immobilier. Elle adopte un biais inductif de « propriété comparable », traitant l'ensemble de l'ensemble d'entraînement comme une banque de mémoire à partir de laquelle le modèle récupère les exemples historiques pertinents pour une requête donnée.

2.1 Composants principaux

L'architecture, nommée ThreeLayerMoE, se compose de trois étapes distinctes :

1. Récupération de ligne basée uniquement sur les caractéristiques (Couche 1) :

   • Le modèle calcule la similitude par paires entre une ligne de requête et toutes les lignes de la mémoire.
   • Embedding de similitude : Au lieu de produits scalaires bruts, la similitude est construnie à l'aide de :
     • Correspondances catégorielles exactes : Égalité binaire pour les caractéristiques catégorielles et encodées en one-hot.
     • Noyaux numériques : Trois noyaux sensibles à l'échelle pour les caractéristiques numériques : distance inverse ($1/(1+\Delta)$), similitude relative exponentielle ($\exp(-\Delta/\alpha)$), et similitude relative linéaire tronquée ($\max(0, 1-\Delta/\alpha)$).
   • Un vecteur apprenable unique $w_1$ score ces vecteurs de similitude pour produire une estimation grossière du prix, pondérée par l'attention.

2. Récupération multi-têtes conditionnée par la cible (Couche 2) :

   • Cette couche affine la récupération en augmentant le vecteur de similitude avec des caractéristiques de cohérence de la cible. Ces caractéristiques mesurent la proximité entre le prix réel d'une ligne de mémoire et l'estimation grossière de la Couche 1.
   • Conception multi-têtes : Le modèle utilise $H=8$ têtes d'attention. Chaque tête apprend un vecteur de compatibilité distinct ($w_{2,h}$), permettant à différentes têtes de se spécialiser dans différents aspects de la comparabilité (ex. : emplacement, géométrie, équipements ou cohérence de la cible).
   • Une attention Softmax est appliquée indépendamment sur la dimension de la mémoire pour chaque tête, récupérant à la fois les estimations de prix et les résumés de caractéristiques.

3. Agrégation par mélange d'experts avec correction résiduelle :

   • Porte (Gate) : Un MLP à deux couches prend la moyenne des résumés de têtes et produit un vecteur de porte $\pi$ pour pondérer les contributions de chaque tête.
   • Correction résiduelle : Chaque tête possède un MLP résiduel associé ($R_h$) qui prédit une petite correction additive au calcul de la moyenne récupérée. Cela permet au modèle de s'ajuster aux biais systématiques (ex. : qualité non observée) qu'une simple moyenne ne peut capturer.
   • Prédiction finale : La sortie est une combinaison convexe des prix récupérés et des corrections résiduelles, pondérée par un mélange de la porte apprise et d'une distribution de « confiance résiduelle » (softmin sur les magnitudes résiduelles).

2.2 Entraînement et régularisation

• Objectif : La perte principale est l'Erreur Absolue en Pourcentage (MAPE) sur le prix au mètre carré.
• Régularisation :
  • Entropie de la porte : Encourage le mécanisme de porte à utiliser plusieurs têtes plutôt que de s'effondrer sur une seule.
  • Diversité des têtes : Un terme de pénalité garantit que les vecteurs de tête appris restent distincts, évitant la redondance.
  • Pénalité résiduelle : Contraint l'échelle de la correction additive résiduelle pour éviter qu'elle ne domine le signal de récupération.
• Auto-masquage : Pendant l'entraînement, la ligne de requête est masquée de sa propre mémoire (score fixé à $-\infty$) pour imposer un objectif de récupération de type « leave-one-out ».

3. Contributions clés

L'article présente les contributions spécifiques suivantes :

1. Architecture : Introduction de RowNet, un modèle de régression tabulaire compact augmenté par la récupération, combinant des embeddings de similitude par paires, une attention de ligne à deux étapes, une récupération multi-têtes et une agrégation par mélange d'experts.
2. Formalisation mathématique : Définition détaillée des canaux de similitude ingénierés (correspondances exactes, noyaux sensibles à l'échelle, caractéristiques de cohérence de la cible) et du mécanisme d'attention hybride.
3. Pipeline de prétraitement : Un pipeline complet pour les données immobilières, incluant la normalisation du schéma Russe vers l'Anglais, le clustering géographique (K-Means sur les coordonnées), la décomposition d'adresses et la construction des cibles de prix au mètre carré.
4. Validation empirique : Rapport des traces d'entraînement, d'une base de preuve de concept et des résultats de compétition sur un jeu de données réel de Bichker, au Kirghizistan.
5. Analyse théorique : Discussion de RowNet en tant que modèle appris de propriétés comparables, contrastant avec les GBDTs, les Transformers tabulaires et les méthodes de k-plus proches voisins (k-NN).

4. Résultats expérimentaux

• Jeu de données : L'étude utilise un jeu de données issu d'une compétition Kaggle à Bichker contenant 7 128 annonces d'entraînement et 1 784 annonces de test.
• Performance :
  • Preuve de concept : Une base de référence de l'attention de ligne non apprise a atteint un MAPE de 14,76 %, démontrant que la similitude brute contient un signal mais est insuffisante sans apprentissage.
  • Base de référence XGBoost : Rapportée à 8,33 % de MAPE.
  • Entraînement de RowNet : Le modèle a réduit le MAPE d'entraînement auto-masqué de 8,36 % à 6,37 % sur 10 époques.
  • Résultat de la compétition : La soumission finale a atteint un MAPE de 7,44 % (note : l'abstract mentionne 7,44 %, tandis que la section 6.3 mentionne 8,11 % comme score rapporté après 246 soumissions ; l'article présente 7,44 % comme la démonstration de l'efficacité dans l'abstract et 8,11 % dans le tableau des résultats, reflétant probablement différentes étapes d'évaluation ou versions de soumission).
• Insights d'ablation : L'article soutient que retirer la récupération transforme le modèle en un régresseur paramétrique global (perdant l'adaptation locale), tandis que retirer la couche conditionnée par la cible ou la correction résiduelle entraîne un biais ou une réduction du raffinement.

5. Signification et affirmations

L'article soutient que la récupération de ligne apprise est un biais inductif naturel pour l'évaluation immobilière. Il pose que :

• Approche hybride : RowNet combine avec succès les forces statistiques de l'estimation par plus proches voisins (adaptabilité locale) avec la différentiabilité et la spécialisation des mécanismes d'attention neuronaux.
• Interprétabilité : Contrairement aux transformers « boîte noire », les prédictions de RowNet peuvent être inspectées via les poids d'attention sur des lignes historiques spécifiques, fournissant un chemin d'explication plus direct : une prédiction est élevée parce que des propriétés comparables spécifiques ont été récupérées et fortement pondérées.
• Adéquation au domaine : L'architecture modélise explicitement la pratique du domaine consistant à estimer la valeur d'un bien en identifiant et en pondérant les transactions comparables, plutôt que de forcer une fonction globale à approximer des régimes locaux.

6. Limites

Les auteurs reconnaissent plusieurs limites :

• Scalabilité : Le mécanisme d'attention à mémoire complète entraîne une complexité d'entraînement en $O(N^2)$, ce qui la rend coûteuse en calcul pour de très grands ensembles de données (ex. : >150k lignes).
• Portée de l'évaluation : L'étude ne fournit pas de métriques de validation pour toutes les bases de référence (XGBoost, CatBoost, etc.) ni de métriques d'ablation complètes sur plusieurs graines (seeds).
• Dépendance aux données : Le modèle hérite des biais et de la dérive temporelle de la banque de mémoire ; des données obsolètes ou dupliquées dans la mémoire peuvent conduire à des récupérations trompeuses.
• Interprétabilité : Bien que meilleure que les transformers standards, les poids de compatibilité appris et les ajustements résiduels nécessitent toujours une analyse et ne sont pas entièrement lisibles par l'humain.

L'article conclut que RowNet sert de complément pratique au boosting de gradient pour les domaines où la comparabilité locale est centrale, à condition que les défis de scalabilité soient adressés via des techniques comme la pré-sélection top-k ou l'indexation de plus proches voisins approximatifs.