Resumo Técnico: RowNet – Um Transformer de Memória para Regressão Tabular

1. Definição do Problema

O artigo aborda o desafio da regressão tabular, especificamente no domínio da avaliação imobiliária. Ao contrário de dados de imagem ou texto, os dados tabulares carecem de uma topologia local estável; colunas adjacentes raramente são semanticamente relacionadas, as variáveis categóricas frequentemente possuem alta cardinalidade com níveis esparsos, e as variáveis numéricas existem em escalas incompatíveis.

No setor imobiliário, o mapeamento de características (ex: área, distrito, idade do edifício, comodidades) para o preço não é nem globalmente suave, nem puramente aditivo. Os mercados são localmente heterogêneos: um metro quadrado em um distrito não é diretamente comparável a outro sem considerar tipos específicos de edifícios, condições e oferta microrregional. Modelos de aprendizado profundo padrão (como MLPs) tratam as linhas como vetores isolados, tendo dificuldade em aprender localidade e correspondência categórica apenas através de supervisão. Por outro lado, os Gradient-Boosted Decision Trees (GBDTs), embora sejam baselines robustos, operam via divisão centrada em características e não modelam explicitamente a recuperação de observações históricas similares, que é a lógica central utilizada por avaliadores humanos.

2. Metodologia: Arquitetura RowNet

O RowNet é uma arquitetura de regressão baseada em recuperação projetada para prever o preço por metro quadrado de imóveis. Ele adota um viés indutivo de "propriedade comparável", tratando todo o conjunto de treinamento como um banco de memória do qual o modelo recupera exemplos históricos relevantes para uma determinada consulta (query).

2.1 Componentes Principais

A arquitetura, denominada ThreeLayerMoE, consiste em três estágios distintos:

1. Recuperação de Linha Baseada Apenas em Características (Camada 1):

   • O modelo calcula a similaridade pareada entre uma linha de consulta e todas as linhas da memória.
   • Embedding de Similaridade: Em vez de produtos escalares brutos, a similaridade é projetada usando:
     • Correspondências Categóricas Exatas: Igualdade binária para características categóricas e codificadas em one-hot.
     • Kernels Numéricos: Três kernels sensíveis à escala para características numéricas: distância inversa ($1/(1+\Delta)$), similaridade relativa exponencial ($\exp(-\Delta/\alpha)$) e similaridade relativa linear truncada ($\max(0, 1-\Delta/\alpha)$).
   • Um único vetor aprendível $w_1$ pontua esses vetores de similaridade para produzir uma estimativa bruta e ponderada por atenção do alvo (target).

2. Recuperação Multicabeça Condicionada ao Alvo (Camada 2):

   • Esta camada refina a recuperação ao aumentar o vetor de similaridade com características de consistência do alvo. Essas características medem o quão próximo o preço real de uma linha da memória está da estimativa bruta da Camada 1.
   • Design Multicabeça: O modelo utiliza $H=8$ cabeças de atenção. Cada cabeça aprende um vetor de compatibilidade separado ($w_{2,h}$), permitindo que diferentes cabeças se especializem em diferentes aspectos de comparabilidade (ex: localização, geometria, comodidades ou consistência do alvo).
   • A atenção softmax é aplicada independentemente sobre a dimensão da memória para cada cabeça, recuperando tanto as estimativas do alvo quanto os resumos das características.

3. Agregação de Mistura de Especialistas com Correção Residual:

   • Portão (Gate): Um MLP de duas camadas recebe a média dos resumos das cabeças e produz um vetor de portão $\pi$ para ponderar as contribuições de cada cabeça.
   • Correção Residual: Cada cabeça possui um MLP residual associado ($R_h$) que prevê uma pequena correção aditiva ao valor médio recuperado. Isso permite que o modelo se ajuste para vieses sistemáticos (ex: qualidade não observada) que uma simples média não consegue capturar.
   • Predição Final: A saída é uma combinação convexa dos preços recuperados e das correções residuais, ponderada por uma mistura do portão aprendido e uma distribuição de "confiança residual" (softmin sobre as magnitudes dos resais).

2.2 Treinamento e Regularização

• Objetivo: A perda principal é o Erro Percentual Absoluto Médio (MAPE) sobre o preço por metro quadrado.
• Regularização:
  • Entropia do Portão: Incentiva o mecanismo de portão a utilizar múltiplas cabeças em vez de colapsar para uma única cabeça.
  • Diversidade de Cabeças: Um termo de penalidade garante que os vetores aprendidos das cabeças permaneçam distintos, evitando redundância.
  • Penalidade Residual: Restringe a escala da correção aditiva residual para evitar que ela domine o sinal de recuperação.
• Auto-mascaramento (Self-Masking): Durante o treinamento, a linha de consulta é mascarada de sua própria memória (o score é definido como $-\infty$) para impor um objetivo de recuperação leave-one-out.

3. Contribuições Principais

O artigo apresenta as seguintes contribuições específicas:

1. Arquitetura: Introdução do RowNet, um modelo de regressão tabular compacto e aumentado por recuperação, que combina embeddings de similaridade pareada, atenção de linha em dois estágios, recuperação multicabeça e agregação de mistura de especialistas.
2. Formalização Matemática: Definição detalhada dos canais de similaridade projetados (correspondências exatas, kernels sensíveis à escala, características de consistência do alvo) e do mecanismo de atenção híbrido.
3. Pipeline de Pré-processamento: Um pipeline abrangente para dados imobiliários, incluindo normalização de esquema de Russo para Inglês, agrupamento geográfico (K-Means em coordenadas), decomposição de endereço e construção de alvos de preço por metro quadrado.
4. Validação Empírica: Relato de traços de treinamento, um baseline de prova de conceito e resultados de competição em um conjunto de dados real de Bishkek, Quirguistão.
5. Análise Teórica: Discussão do RowNet como um modelo de propriedade comparável aprendido, contrastando-o com GBDTs, transformers tabulares e métodos k-vizinhos mais próximos (k-NN).

4. Resultados Experimentais

• Conjunto de Dados: O estudo utiliza um conjunto de dados de uma competição do Kaggle de Bishkek contendo 7.128 listagens de treinamento e 1.784 de teste.
• Desempenho:
  • Prova de Conceito: Um baseline de atenção de linha não aprendido alcançou 14,76% de MAPE, demonstrando que a similaridade bruta contém sinal, mas é insuficiente sem aprendizado.
  • Baseline XGBoost: Reportado em 8,33% de MAPE.
  • Treinamento RowNet: O modelo reduziu o MAPE de treinamento auto-mascarado de 8,36% para 6,37% ao longo de 10 épocas.
  • Resultado da Competição: A submissão final alcançou 7,44% de MAPE (nota: o resumo menciona 7,44%, enquanto a Seção 6.3 menciona 8,11% como o score reportado após 246 submissões; o artigo apresenta 7,44% como a eficácia demonstrada no resumo e 8,11% nos resultados, provavelmente refletindo diferentes pontos de avaliação ou versões de submissão).
• Insights de Ablação: O artigo argumenta que remover a recuperação converte o modelo em um regressor paramétrico global (perdendo a adaptação local), enquanto remover a camada condicionada ao alvo ou a correção residual leva a viés ou redução de refinamento.

5. Significância e Alegações

O artigo argumenta que a recuperação de linhas aprendida é um viés indutivo natural para a avaliação imobiliária. Ele postula que:

• Abordagem Híbrida: O RowNet combina com sucesso as forças estatísticas da estimativa de vizinhos mais próximos (adaptabilidade local) com a diferenciabilidade e especialização dos mecanismos de atenção neural.
• Interpretabilidade: Ao contrário de "caixas pretas" de transformers, as predições do RowNet podem ser inspecionadas através dos pesos de atenção sobre linhas históricas específicas, fornecendo um caminho de explicação mais direto: uma predição é alta porque propriedades comparáveis específicas foram recuperadas e ponderadas fortemente.
• Adequação ao Domínio: A arquitetura modela explicitamente a prática do domínio de estimar o valor de um imóvel identificando e ponderando transações comparáveis, em vez de forçar uma função global a aproximar regimes locais.

6. Limitações

Os autores reconhecem diversas limitações:

• Escalabilidade: O mecanismo de atenção de memória total resulta em complexidade de treinamento $O(N^2)$, tornando-o computacionalmente caro para conjuntos de dados muito grandes (ex: >150k linhas).
• Escopo de Avaliação: O estudo não fornece métricas de validação preservadas (held-out) para todos os baselines (XGBoost, CatBoost, etc.) ou métricas de ablação completas através de múltiplas sementes (seeds).
• Dependência de Dados: O modelo herda vieses e deriva temporal do banco de memória; dados obsoletos ou duplicados na memória podem levar a recuperações enganosas.
• Interpretabilidade: Embora melhor que os transformers padrão, os pesos de compatibilidade aprendidos e os ajustes residuais ainda exigem análise e não são totalmente legíveis por humanos.

O artigo conclui que o RowNet serve como um complemento prático para o gradient boosting em domínios onde a comparabilidade local é central, desde que os desafios de escalabilidade sejam abordados via técnicas como pré-seleção top-k ou indexação de vizinhos mais próximos aproximados.