Resumen Técnico: RowNet – Un Transformer de Memoria para Regresión Tabular

1. Definición del Problema

El artículo aborda el desafío de la regresión tabular, específicamente en el dominio de la valoración de bienes raíces. A diferencia de los datos de imagen o texto, los datos tabulares carecen de una topología local estable; las columnas adyacentes rara vez están relacionadas semánticamente, las características categóricas suelen tener una alta cardinalidad con niveles dispersos y las características numéricas existen en escalas incompatibles.

En el sector inmobiliario, el mapeo de las características (por ejemplo, superficie, distrito, antigüedad del edificio, servicios) al precio no es ni globalmente suave ni puramente aditivo. Los mercados son localmente heterogéneos: un metro cuadrado en un distrito no es directamente comparable con otro sin considerar tipos de edificios específicos, condiciones y la oferta micro-regional. Los modelos estándar de aprendizaje profundo (como los MLP) tratan las filas como vectores aislados, teniendo dificultades para aprender la localidad y la coincidencia categórica solo mediante supervisión. Por el contrario, los árboles de decisión potenciados por gradiente (GBDT), aunque son bases sólidas, operan mediante la división centrada en características y no modelan explícitamente la recuperación de observaciones históricas similares, que es la lógica central utilizada por los tasadores humanos.

2. Metodología: Arquitectura RowNet

RowNet es una arquitectura basada en la recuperación diseñada para predecir el precio por metro cuadrado de un inmueble. Adopta un sesgo inductivo de "propiedad comparable", tratando todo el conjunto de entrenamiento como un banco de memoria del cual el modelo recupera ejemplos históricos relevantes para una consulta dada.

2.1 Componentes Principales

La arquitectura, denominada ThreeLayerMoE, consta de tres etapas distintas:

1. Recuperación de Filas Basada Solo en Características (Capa 1):

   • El modelo computa la similitud por pares entre una fila de consulta y todas las filas de la memoria.
   • Incrustación de Similitud (Similarity Embedding): En lugar de productos puntuales brutos, la similitud se diseña utilizando:
     • Coincidencias Categóricas Exactas: Igualdad binaria para características categóricas y codificadas mediante one-hot encoding.
     • Kernels Numéricos: Tres kernels sensibles a la escala para características numéricas: distancia inversa ($1/(1+\Delta)$), similitud relativa exponencial ($\exp(-\Delta/\alpha)$) y similitud relativa lineal recortada ($\max(0, 1-\Delta/\alpha)$).
   • Un único vector aprendible $w_1$ califica estos vectores de similitud para producir una estimación tosca y ponderada por atención del objetivo.

2. Recuperación Multicabezal Condicionada al Objetivo (Capa 2):

   • Esta capa refina la recuperación aumentando el vector de similitud con características de consistencia del objetivo. Estas características miden qué tan cerca está el precio real de una fila de la memoria respecto a la estimación tosca de la Capa 1.
   • Diseño Multicabezal: El modelo emplea $H=8$ cabezales de atención. Cada cabezal aprende un vector de compatibilidad separado ($w_{2,h}$), lo que permite que diferentes cabezales se especialicen en distintos aspectos de la comparabilidad (por ejemplo, ubicación, geometría, servicios o consistencia del objetivo).
   • Se aplica la atención softmax de forma independiente sobre la dimensión de la memoria para cada cabezal, recuperando tanto las estimaciones del objetivo como los resúmenes de características.

3. Agregación de Mezcla de Expertos con Corrección Residual:

   • Puerta (Gate): Un MLP de dos capas toma la media de los resúmenes de los cabezales y produce un vector de puerta $\pi$ para ponderar las contribuciones de cada cabezal.
   • Corrección Residual: Cada cabezal tiene un MLP residual asociado ($R_h$) que predice una pequeña corrección aditiva al promedio recuperado. Esto permite al modelo ajustarse ante sesgos sistemáticos (por ejemplo, calidad no observada) que un simple promedio no puede capturar.
   • Predicción Final: La salida es una combinación convexa de los precios recuperados y las correcciones residuales, ponderada por una mezcla de la puerta aprendida y una distribución de "confianza residual" (softmin sobre las magnitudes residuales).

2.2 Entrenamiento y Regularización

• Objetivo: La pérdida principal es el Error Absoluto Porcentual Medio (MAPE) sobre el precio por metro cuadrado.
• Regularización:
  • Entropía de la Puerta: Fomenta que el mecanismo de puerta utilice múltiples cabezales en lugar de colapsar a un solo cabezal.
  • Diversidad de Cabezales: Un término de penalización asegura que los vectores de los cabezales aprendidos permanezcan distintos, evitando la redundancia.
  • Penalización Residual: Restringe la escala de la corrección residual aditiva para evitar que domine la señal de recuperación.
• Auto-enmascaramiento (Self-Masking): Durante el entrenamiento, la fila de consulta se excluye de su propia memoria (el puntaje se establece en $-\infty$) para imponer un objetivo de recuperación de dejar uno fuera (leave-one-out).

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

1. Arquitectura: Introducción de RowNet, un modelo de regresión tabular compacto y aumentado por recuperación que combina incrustaciones de similitud por pares, atención de fila en dos etapas, recuperación multicabezal y agregación de mezcla de expertos.
2. Formalización Matemática: Definición detallada de los canales de similitud diseñados (coincidencias exactas, kernels sensibles a la escala, características de consistencia del objetivo) y el mecanismo de atención híbrido.
3. Pipeline de Preprocesamiento: Un pipeline exhaustivo para datos inmobiliarios, que incluye la normalización de esquemas de ruso a inglés, agrupamiento geográfico (K-Means en coordenadas), descomposición de direcciones y la construcción de objetivos de precio por metro cuadrado.
4. Validación Empírica: Reporte de trazas de entrenamiento, una base de prueba de concepto y resultados de competición en un conjunto de datos real de Bishkek, Kirguistán.
5. Análisis Teórico: Discusión de RowNet como un modelo de propiedad comparable aprendido, contrastándolo con GBDTs, transformers tabulares y métodos de k-vecinos más cercanos.

4. Resultados Experimentales

• Conjunto de Datos: El estudio utiliza un conjunto de datos de una competición de Kaggle de Bishkek que contiene 7,128 anuncios de entrenamiento y 1,784 de prueba.
• Desempeño:
  • Prueba de Concepto: Una base de atención de fila no aprendida logró un 14.76% de MAPE, demostrando que la similitud bruta contiene señal pero es insuficiente sin aprendizaje.
  • Base XGBoost: Reportado en 8.33% de MAPE.
  • Entrenamiento de RowNet: El modelo redujo el MAPE de entrenamiento con auto-enmascaramiento de 8.36% a 6.37% en 10 épocas.
  • Resultado de la Competición: La entrega final alcanzó un 7.44% de MAPE (nota: el resumen menciona 7.44%, mientras que la Sección 6.3 menciona 8.11% como el puntaje reportado tras 246 entregas; el artículo presenta 7.44% como la efectividad demostrada en el resumen y 8.11% en la tabla de resultados, lo que probablemente refleja diferentes puntos de evaluación o versiones de entrega).
• Perspectivas de Ablación: El artículo argumenta que eliminar la recuperación convierte al modelo en un regresor paramétrico global (perdiendo la adaptación local), mientras que eliminar la capa condicionada al objetivo o la corrección residual conduce a sesgos o a una reducción en el refinamiento.

5. Significado y Reivindicaciones

El artículo sostiene que la recuperación de filas aprendida es un sesgo inductivo natural para la valoración de bienes raíces. Postula que:

• Enfoque Híbrido: RowNet combina con éxito las fortalezas estadísticas de la estimación de vecinos más cercanos (adaptabilidad local) con la diferenciabilidad y especialización de los mecanismos de atención neuronal.
• Interpretabilidad: A diferencia de los "black boxes" de los transformers, las predicciones de RowNet pueden inspeccionarse a través de los pesos de atención sobre filas históricas específicas, proporcionando un camino de explicación más directo: una predicción es alta porque se recuperaron y se ponderaron fuertemente propiedades comparables específicas.
• Adecuación al Dominio: La arquitectura modela explícitamente la práctica del dominio de estimar el valor de una propiedad identificando y ponderando transacciones comparables, en lugar de forzar una función global para aproximar regímenes locales.

6. Limitaciones

Los autores reconocen varias limitaciones:

• Escalabilidad: El mecanismo de atención de memoria completa resulta en una complejidad de entrenamiento de $O(N^2)$, lo que lo hace computacionalmente costoso para conjuntos de datos muy grandes (por ejemplo, >150k filas).
• Alcance de la Evaluación: El estudio no proporciona métricas de validación de conjuntos mantenidos fuera (held-out) para todas las bases (XGBoost, CatBoost, etc.) ni métricas de ablación completas a través de múltiples semillas.
• Dependencia de los Datos: El modelo hereda sesgos y deriva temporal del banco de memoria; los datos obsoletos o duplicados en la memoria pueden conducir a recuperaciones erróneas.
• Interpretabilidad: Aunque es mejor que los transformers estándar, los pesos de compatibilidad aprendidos y los ajustes residuales aún requieren análisis y no son totalmente legibles para un humano.

El artículo concluye que RowNet sirve como un complemento práctico para el gradient boosting en dominios donde la comparabilidad local es central, siempre que se aborden los desafíos de escalabilidad mediante técnicas de preselección top-k o indexación de vecinos más cercanos aproximados.