📊 statistics

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

O artigo propõe o GEAR, uma estrutura de destilação modular de dois estágios que converte Modelos de Fundação Tabulares intensivos em recursos em preditores leves e de alto desempenho para CPUs comuns, combinando expansão de consulta sintética com reancoragem de dados reais, alcançando ganhos significativos em precisão e eficiência sobre os baselines supervisionados.

Autores originais: Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados, a informação frequentemente vem na forma de planilhas: linhas de números e categorias que descrevem tudo, desde solicitações de empréstimos até registros de saúde de pacientes. Durante décadas, a maneira mais confiável de encontrar padrões nessas tabelas foi treinar programas de computador especializados nos dados específicos em questão. Esses programas aprendem por exemplo, ajustando suas configurações internas até que possam prever o resultado para uma nova linha com base nos padrões que viram antes. No entanto, uma nova geração de modelos surgiu e trabalha de forma diferente. Em vez de aprender um conjunto fixo de regras, esses "modelos de fundação" agem como um especialista universal que pode olhar para uma tabela rotulada e instantaneamente prever o que acontece a seguir, simplesmente lendo o contexto fornecido. Embora essa abordagem seja incrivelmente poderosa e precisa, ela vem com um preço pesado. Para fazer uma previsão, o modelo deve manter toda a tabela original em sua memória e processá-la toda vez, o que é lento, caro e muitas vezes impossível para dispositivos comuns.

Pesquisadores há muito buscam uma maneira de manter a inteligência desses especialistas poderosos enquanto se livram de sua bagagem pesada. O objetivo é ensinar um programa de computador pequeno, rápido e simples a imitar o comportamento do especialista para que ele possa fazer previsões por conta própria, sem precisar da tabela original ou do modelo massivo. Uma equipe de cientistas introduziu agora um método chamado GEAR para resolver esse problema. A abordagem deles não tenta forçar o programa pequeno a aprender tudo de uma vez. Em vez disso, eles dividem o processo em duas etapas distintas. Primeiro, eles geram milhares de novos pontos de dados sintéticos que se parecem com os dados reais e os utilizam para ensinar ao programa pequeno como o especialista pensa. Depois, eles trazem o programa de volta aos dados reais para refinar seu entendimento, garantindo que ele permaneça fundamentado na realidade. Esse processo de duas etapas permite que o programa pequeno aprenda os segredos do especialista sem nunca precisar ver o especialista novamente durante o uso real.

O desafio central que os pesquisadores enfrentaram foi que os dados reais disponíveis para treinamento são frequentemente limitados. Se um programa pequeno aprender apenas com as poucas linhas de dados que possui, ele pode perder os padrões mais amplos que o especialista dominou. Para corrigir isso, a primeira etapa da equipe envolve a criação de uma vasta quantidade de novos dados falsos que mimetizam a estrutura do mundo real. Eles alimentam esses dados sintéticos ao poderoso modelo especialista para ver o que ele prevê e, então, ensinam o programa pequeno a copiar essas previsões. Isso expande a experiência do programa pequeno, permitindo que ele pratique em uma variedade muito maior de cenários do que poderia com os dados reais isoladamente. No entanto, confiar apenas em dados falsos é arriscado; o programa pequeno pode aprender a imitar o especialista muito bem nos dados falsos, mas falhar ao ser confrontado com a realidade desordenada dos registros reais.

Para resolver isso, os pesquisadores adicionaram uma segunda etapa, que chamam de "ancoragem real". Uma vez que o programa pequeno aprendeu com os dados sintéticos, eles o trazem de volta à tabela real e original. Aqui, eles não deixam o programa simplesmente memorizar as respostas. Em vez disso, utilizam uma técnica inteligente onde o programa aprende com as previsões do especialista em dados que o especialista nunca viu antes. Isso evita que o programa dependa de respostas memorizadas que ele deveria aprender. Ao misturar as respostas reais com a orientação do especialista, o programa pequeno corrige quaisquer erros que tenha cometido enquanto aprendia com os dados sintéticos. O resultado é um modelo que possui a ampla experiência dos dados sintéticos, mas a precisão precisa do mundo real.

A equipe testou este método em uma ampla gama de tarefas, desde escolhas binárias como "sim ou não" até classificações mais complexas com muitos resultados possíveis. Eles descobriram que os programas pequenos treinados com este método de duas etapas eram significativamente melhores do que aqueles treinados apenas com dados reais. Em tarefas binárias, o novo método melhorou a precisão em quase dois pontos percentuais em comparação com o treinamento padrão e, em tarefas mais complexas, ainda ganhou mais de um ponto percentual. Essas melhorias mantiveram-se verdadeiras mesmo quando os pesquisadores utilizaram diferentes tipos de programas pequenos, incluindo aqueles baseados em árvores de decisão, que são comuns na indústria. Os modelos pequenos foram não apenas mais precisos, mas também vastamente mais eficientes. Em termos de velocidade, o novo método tornou as previsões entre 57 e 2.866 vezes mais rápidas do que os modelos grandes originais. Também reduziu a quantidade de memória do computador necessária para fazer uma previsão em quase três vezes, permitindo que essas ferramentas poderosas rodem em processadores de computador padrão, em vez de exigir hardware especializado e caro.

Os pesquisadores também exploraram quanto dado sintético era realmente necessário. Eles descobriram que adicionar mais dados falsos ajudava no início, mas apenas até certo ponto. Uma vez que o programa pequeno tivesse visto exemplos sintéticos suficientes, adicionar mais não melhorava o desempenho e às vezes até o prejudicava se os dados falsos não correspondessem perfeitamente ao mundo real. Isso confirmou que a segunda etapa, o retorno aos dados reais, era essencial. Sem ela, o programa pequeno permaneceria preso no mundo dos dados sintéticos, incapaz de lidar com as nuances da realidade. O estudo mostrou que simplesmente treinar por mais tempo ou começar com um tipo diferente de modelo pré-treinado não produzia os mesmos resultados. A combinação específica de expandir o escopo de treinamento com dados sintéticos e depois fundamentá-lo com dados reais foi a chave para o sucesso.

Este trabalho demonstra que é possível destilar a inteligência de modelos massivos e dependentes de contexto em ferramentas leves e independentes sem perder muito de seu poder. O método não exige que o programa pequeno tenha acesso ao especialista original ou aos dados de treinamento no momento da previsão. Isso abre as portas para implantar esses modelos avançados em configurações onde a velocidade e a privacidade são críticas, como em dispositivos móveis ou em ambientes seguros onde os dados não podem ser compartilhados. Os pesquisadores mostraram que, ao equilibrar cuidadosamente o uso de dados gerados com a verificação do mundo real, eles puderam criar modelos que são simultaneamente inteligentes e práticos. As descobertas sugerem que o futuro da análise de dados poderosa pode não residir na construção de modelos maiores, mas em ensinar modelos menores a pensar como os gigantes, usando uma mistura de imaginação e realidade.

Resumo Técnico: GEAR para Destilação de Modelos de Fundação Tabulares

1. Problema

Os Modelos de Fundação Tabulares (TFMs), como o TabPFN, TabICL e TabDPT, demonstraram um forte desempenho em poucos disparos (few-shot) por meio de aprendizado em contexto (in-context learning - ICL). No entanto, sua implantação é dificultada pelos significativos custos de latência e memória. Diferente dos modelos supervisionados padrão, os TFMs exigem que toda a tabela de contexto rotulada esteja disponível no momento da inferência para condicionar as previsões. Essa inferência dependente de contexto escala mal com o tamanho do contexto e a carga de trabalho de consulta, levando frequentemente a falhas de falta de memória (out-of-memory) e alta latência de inferência, tornando-os inadequados para aplicações de larga escala e tempo real em hardware comum.

Embora abordagens recentes tentem mitigar isso otimizando a seleção de contexto ou utilizando misturas de especialistas (mixture-of-experts), elas ainda dependem de um modelo professor de grande porte e de um contexto no momento da inferência. A destilação de conhecimento (KD) oferece um caminho para comprimir o comportamento adaptativo ao contexto do professor em um estudante leve e livre de contexto (por exemplo, um MLP ou um modelo baseado em árvores). No entanto, a KD padrão enfrenta dois desafios primários neste cenário:

Cobertura de Consulta: Tabelas do mundo real fornecem apenas um número finito de locais de consulta, o que é particularmente restritivo em regimes de poucas amostras.
Vazamento de Autolabelagem (Self-Labeling Leakage): Se um professor prevê sobre uma linha que também faz parte de seu próprio contexto, o rótulo alvo vaza para o alvo de destilação, enviesando o estudante.

2. Metodologia: GEAR

Os autores propõem o GEAR (Generative Expansion and Real Anchoring), um framework modular de dois estágios projetado para destilar TFMs congelados em preditores eficientes, abordando os problemas de cobertura e vazamento.

Estágio 1: Expansão Generativa (Generative Expansion)

Objetivo: Expandir a cobertura dos locais de consulta do professor além dos dados reais observados.
Mecanismo: Um gerador (por exemplo, GAN, modelo de difusão ou modelo baseado em energia) produz covariáveis sintéticas. Essas linhas sintéticas são tratadas exclusivamente como locais de consulta para o professor congelado; seus rótulos gerados são descartados.
Treinamento: O modelo estudante é treinado via imitação pura do professor usando alvos suaves (soft targets) gerados pelo TFM nessas covariáveis sintéticas. Este estágio visa adquirir um conhecimento amplo do comportamento do professor através de um espaço de características mais vasto.

Estágio 2: Ancoragem Real (Real Anchoring)

Objetivo: Realinhar o estudante com a distribuição do domínio alvo e corrigir qualquer viés introduzido pelos dados sintéticos.
Mecanismo: O estudante do Estágio 1 é inicializado e treinado adicionalmente no conjunto de dados rotulados reais.
Prevenção de Vazamento: Para evitar o vazamento de autolabelagem, o framework utiliza previsões do professor Out-of-Fold (OOF). Os dados reais são particionados em $K_{cf}$ dobras (folds); para cada dobra, o professor é condicionado aos dados restantes (excluindo a dobra atual) para gerar alvos suaves.
Função de Perda: Uma função de objetivo mista é otimizada, combinando rótulos reais (hard ground-truth) com alvos suaves OOF do professor:
$\mathcal{L}_\lambda(p, y, q) = (1-\lambda)\ell(p, y) + \lambda\ell_T(p, q)$
onde $\ell$ é a perda supervisionada padrão e $\ell_T$ é a perda de rótulo suave.

Garantia Teórica
O artigo deriva um certificado de risco que caracteriza o compromisso entre o volume de consultas geradas ( $M$ ) e a fidelidade do gerador ( $Q_X$ vs. distribuição real $P_X$ ). A análise mostra que, embora aumentar o volume de consultas reduza o erro de amostra finita (decaindo como $M^{-1/2}$ ), isso não pode superar um "piso de fidelidade" causado pelo desajuste de distribuição. O Estágio 2 é teoricamente necessário para remover o viés do estudante quando a distribuição sintética não coincide perfeitamente com a real.

3. Principais Contribuições

Design de Framework: Introdução do GEAR, um protocolo de dois estágios que desacopla a expansão generativa de consultas da ancoragem em dados reais, suportando diversas famílias de geradores, professores TFM e arquiteturas de estudantes (MLPs, LightGBM, XGBoost).
Desempenho Empírico: Experimentos extensos nos benchmarks TALENT e TabArena demonstrando que o GEAR supera significativamente tanto os baselines supervisionados quanto os métodos de destilação baseados apenas em dados reais.
Insight Teórico: Derivação de um certificado de risco que explica os retornos decrescentes da expansão sintética e o papel crítico da ancoragem em dados reais para mitigar o desvio de distribuição.

4. Resultados Experimentais

Experimentos foram conduzidos utilizando TabICL, TabPFN e TabDPT como professores, e TabPFGen, Copula, CTGAN e TabDiff como geradores.

Ganhos de Desempenho (Estudantes MLP):
- Tarefas Binárias: MLPs do GEAR superaram MLPs supervisionados em 1,81–2,00 pontos de AUC e superaram a destilação baseada apenas em dados reais em 1,76–2,19 pontos.
- Tarefas Multiclasse: MLPs do GEAR superaram MLPs supervisionados em 1,19–1,35 pontos de AUC e a destilação baseada apenas em dados reais em 2,09–2,40 pontos.
- Modelos de Árvore: Em tarefas binárias, modelos de dois estágios LightGBM e XGBoost também mostraram ganhos sobre o treinamento supervisionado e superaram o CatBoost (o baselines não-TFM mais forte) em AUC média.
Eficiência:
- Tempo de Inferência: O GEAR reduziu o tempo de mediana de inferência em 57–2.866× em comparação com a inferência direta do TFM.
- Memória: O pico de memória de predição foi reduzido em 1,9–3,3×.
- Precisão vs. Custo: Estudantes GEAR retiveram AUC superior aos baselines supervisionados correspondentes, operando com uma fração do custo.
Estudos de Ablação:
- Impacto do Gerador: Geradores de maior fidelidade (ex: TabPFGen, TabDiff) produziram maiores ganhos. Geradores de menor fidelidade (ex: Copula) mostraram retornos decrescentes, consistentes com o piso de fidelidade teórico.
- Dois Estágios vs. Misto: Separar os estágios (GEAR) proporcionou maior estabilidade e maiores ganhos medianos em comparação com a otimização mista (treinar em dados reais e sintéticos simultaneamente).
- Mecanismo: Os ganhos foram confirmados como originados dos locais de consulta informativos fornecidos pelos dados sintéticos, e não meramente de cronogramas de treinamento mais longos ou warm starts genéricos.

5. Significância

O artigo afirma que o GEAR fornece uma solução prática para o gargalo de implantação dos Modelos de Fundação Tabulares. Ao destilar com sucesso as capacidades de aprendizado em contexto de grandes TFMs dependentes de contexto em modelos leves e livres de contexto, o GEAR permite o uso do desempenho de modelos de fundação em CPUs comuns com latência na escala de milissegundos. O trabalho destaca que, embora os dados sintéticos possam expandir a cobertura efetiva do professor, um estágio dedicado de ancoragem em dados reais é essencial para corrigir desvios de distribuição e prevenir o vazamento de autolabelagem, oferecendo um caminho robusto para implantar TFMs em domínios de alto risco, como finanças e saúde.