Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting

O artigo demonstra que uma tokenização discreta simples, combinada com suavização gaussiana adaptativa, permite que os Transformers superem o XGBoost em previsões tabulares, oferecendo distribuições de probabilidade calibradas e maior eficiência computacional.

O essencial

Imagine que você é um treinador de corrida tentando prever o tempo que um atleta vai levar para completar uma maratona. Você tem um monte de dados: a idade dele, o tempo que ele correu nas últimas corridas, se estava chovendo, o vento, etc.

Até hoje, os "gênios" da computação para esse tipo de problema eram árvores de decisão (como o XGBoost mencionado no texto). Pense nelas como um árbitro de futebol muito rígido: ele corta o mundo em caixas perfeitas. "Se choveu E a idade é acima de 30, então o tempo é X". Funciona bem, mas é um pouco "duro" e não entende nuances.

Os Transformers (a tecnologia por trás do ChatGPT) são como artistas impressionistas: eles são ótimos em ver padrões complexos e conexões sutis, mas, quando tentam olhar para dados tabulares (aquelas planilhas de Excel), eles tendem a "suavizar" demais as coisas e perdem os detalhes importantes, como se estivessem tentando pintar um cubo com pinceladas de água.

A Grande Descoberta: "Traduzindo" para o Idioma do Transformer

O autor deste artigo, Yael Elmatad, teve uma ideia brilhante: e se a gente "traduzisse" os dados numéricos para uma linguagem que o Transformer já entende bem?

Em vez de dar ao Transformer números exatos (como "25.3 graus" ou "5.42 minutos por km"), o modelo discretiza tudo. Ele transforma esses números em "palavras" ou "fichas" (tokens).

• Em vez de "25.3 graus", o modelo vê a palavra "QUENTE".
• Em vez de "5.42 min/km", ele vê a palavra "RÁPIDO-3".

É como se o Transformer deixasse de ser um matemático confuso e virasse um leitor de histórias. Ele agora lê a sequência de eventos como se fosse um livro: "O atleta correu num dia quente, depois num dia frio, e agora vamos prever o próximo capítulo".

O Segredo da "Pintura Suave" (Gaussian Smoothing)

Aqui está a parte mais criativa. Quando o modelo tenta adivinhar o tempo da corrida, ele não chuta um número único. Ele desenha uma curva de probabilidade (uma distribuição).

Imagine que o tempo real da corrida é um ponto no chão.

• O jeito antigo: O modelo tentava acertar o ponto exato. Se errasse por 1 segundo, era um erro grande.
• O jeito novo (RunTime): O modelo pinta uma mancha de tinta ao redor do ponto. Se a corrida real foi de 5:00, o modelo diz: "É muito provável que seja entre 4:58 e 5:02, mas pode ser até 5:05".

O autor usa uma técnica chamada suavização Gaussiana adaptativa. Pense nisso como um pincel mágico:

• Se a "faixa" de tempo é estreita (muitos corredores correm em tempos muito parecidos), o pincel é fino e preciso.
• Se a faixa é larga (tempos muito variados), o pincel se alarga para cobrir mais área.

Isso faz com que o modelo não fique nervoso se errar um pouquinho, mas aprenda a entender a certeza e a incerteza da previsão.

Por que isso é um "Superpoder"?

1. Vence o Campeão: Em testes com 600.000 corredores, esse novo método (RunTime) bateu o XGBoost (o antigo campeão) em precisão. Foi uma vitória de 10,8%.
2. Entende o Tempo: O modelo não apenas olha o que aconteceu, mas quando aconteceu. Ele usa "tokens de tempo" (como "há 2 semanas" ou "daqui a 1 mês") para entender o ritmo (cadência) do atleta. Se você shufflar (embaralhar) a ordem das corridas, o modelo perde a noção do ritmo e fica pior.
3. Previsões Honestas: O modelo é "calibrado". Isso significa que se ele diz "tenho 90% de certeza", ele realmente tem 90% de certeza. Ele não é arrogante nem inseguro demais. Ele entrega uma nuvem de possibilidades em vez de uma única resposta rígida.

A Analogia Final: O Detetive vs. O Cartógrafo

• O XGBoost (Antigo) é como um detetive rígido: ele segue regras estritas. "Se A e B, então C". É rápido e bom, mas não vê o quadro geral.
• O Transformer (Antigo) era como um cartógrafo sonhador: ele via o mundo todo, mas perdia os detalhes das estradas de terra.
• O RunTime (Novo) é como um narrador de histórias experiente. Ele transforma os dados brutos em uma narrativa sequencial (como um livro), usa pinceladas suaves para entender a incerteza e consegue prever o futuro não com uma única resposta, mas com um leque de cenários prováveis, superando o detetive rígido em precisão e confiança.

Resumo em uma frase: O artigo mostra que, ao transformar números em "palavras" e usar pinceladas suaves para prever probabilidades, podemos fazer a inteligência artificial mais poderosa do mundo (Transformers) vencer os especialistas tradicionais em dados de planilhas, entregando previsões mais precisas e honestas.

Resumo técnico

1. O Problema

Apesar da flexibilidade dos Transformers, modelos de Gradient Boosting (como o XGBoost) continuam dominando benchmarks de dados tabulares. A razão fundamental é que as árvores de decisão criam fronteiras de decisão discretas e alinhadas aos eixos, capturando naturalmente "regimes discretos" comuns em dados tabulares. Em contraste, redes neurais tradicionais são aproximadores de funções suaves, o que as torna menos eficazes ao lidar com padrões irregulares e descontínuos típicos desses dados.

Além disso, a maioria dos modelos de previsão tabular fornece apenas estimativas pontuais (um único valor), falhando em capturar a incerteza e a distribuição completa da variável alvo, o que é crucial para aplicações que exigem calibração probabilística.

2. Metodologia

O trabalho propõe o RunTime, uma arquitetura baseada em Transformers que trata cada trajetória (ex: carreira de um corredor) como uma sequência causal de tokens discretizados. A abordagem combina três pilares principais:

• Tokenização Discreta e Contextual:

  • Entradas: Variáveis ambientais (temperatura, vento, umidade) e o ritmo (pace) são discretizados em "bins" (intervalos) usando quantização baseada em quantis, garantindo que cada bin tenha um número similar de exemplos. Isso imita a forma como as árvores de decisão dividem o espaço.
  • Tokens de Cadência: Diferentemente de modelos de séries temporais regulares, o RunTime trata os intervalos de tempo irregulares (semanas desde a última corrida, semanas até o alvo) como tokens explícitos. Isso permite que o modelo aprenda a cadência e o contexto temporal sem depender de embeddings contínuos suaves.
  • Gramática: Cada bloco de evento segue uma estrutura estrita: [características ambientais/demográficas][ritmo][delta_tempo_anterior][delta_tempo_futuro].

• Alvos Suaves com Gaussiana Adaptativa:

  • Em vez de usar rótulos "hard" (one-hot), o modelo é treinado com alvos suaves integrados por Gaussiana.
  • Introduz-se uma suavização adaptativa onde a largura da Gaussiana ($\sigma_i$) escala com a largura do bin ($w_i$):
    $$\sigma_i = \sqrt{\sigma_{floor}^2 + (k \cdot w_i)^2}$$
  • Isso garante que bins estreitos permaneçam "afiados" (preservando precisão), enquanto bins largos recebem mais massa de probabilidade proporcional, adaptando-se a dados heterogêneos.

• Arquitetura:

  • Um Transformer causal (decoder-only) processa o fluxo de tokens.
  • O modelo é treinado para prever a distribuição de probabilidade sobre os bins de ritmo, gerando uma Função de Densidade de Probabilidade (PDF) completa em vez de um ponto único.
  • Divisão Disjunta por Entidade: O conjunto de dados é dividido (treino/validação/teste) de forma que nenhum corredor apareça em mais de um conjunto, forçando o modelo a generalizar para novos indivíduos em vez de memorizar trajetórias específicas.

3. Principais Contribuições

1. Insight Arquitetural: Demonstra que regimes discretos, e não apenas modelos maiores, são a chave para o desempenho de Transformers em dados tabulares.
2. Suavização Gaussiana Adaptativa: Uma técnica inovadora que ajusta a força da suavização com base na largura do bin, superando limitações de métodos anteriores que usavam larguras fixas ou ignoravam a estrutura ordinal.
3. Modelagem de Cadência Temporal: A representação explícita de intervalos de tempo irregulares via tokens, permitindo que o Transformer capture padrões de progressão dependentes do tempo.
4. Análise de Calibração Estratificada: Uma metodologia para diagnosticar miscalibração em diferentes níveis de confiança e percentis, indo além de métricas globais.
5. Desempenho Empírico: Prova que um Transformer bem projetado pode superar o XGBoost ajustado em métricas de erro e calibração.

4. Resultados

O modelo foi testado em um conjunto de dados massivo de 600.000 entidades (corredores) com 5 milhões de exemplos de treino.

• Precisão (MAE): O RunTime alcançou um MAE mediano de 35,94s, superando o XGBoost ajustado (40,31s) em 10,8%. Também superou a fórmula física de Riegel (49,74s) em cerca de 30%.
• Calibração: O modelo atingiu uma estatística de Kolmogorov-Smirnov (KS) de 0,0045 (usando o checkpoint otimizado para KS), indicando uma distribuição de probabilidade extremamente bem calibrada.
• Ablações:
  • Remover a ordem temporal (embaralhar a história) custou cerca de 2,0% de aumento no MAE.
  • Remover os tokens de delta de tempo custou cerca de 1,8% de aumento no MAE e aumentou o tempo de convergência de 60h para 107h.
• Eficiência: O modelo convergiu mais rápido com os tokens de tempo explícitos, sugerindo que eles "ancoram" a sequência e facilitam o aprendizado.

5. Significado e Impacto

Este trabalho é significativo porque desafia o consenso de que Gradient Boosting é insuperável em dados tabulares. Ele demonstra que:

• A discretização explícita permite que os Transformers explorem a atenção dentro de regimes discretos, alinhando-se à natureza dos dados tabulares.
• A previsão tabular pode ser tratada como um problema de classificação distribucional, gerando PDFs calibradas que são superiores a estimativas pontuais para tomada de decisão sob incerteza.
• A abordagem é generalizável para qualquer tarefa de regressão ordinal com larguras de bin heterogêneas, não se limitando apenas a dados esportivos.

O artigo fornece não apenas uma nova arquitetura, mas também ferramentas de análise (como a calibração estratificada) e um roteiro para futuras pesquisas que combinam modelagem sequencial, discretização e aprendizado de distribuições em dados estruturados.