🤖 machine learning

Pocket Foundation Models: Distilling TFMs into CPU-Ready Gradient-Boosted Trees

Este artigo apresenta um método para destilar modelos fundamentais de tabelas lentos e dependentes de GPU em árvores de gradiente-boosted rápidas e nativas de CPU, utilizando rotulagem estratificada fora das dobras para prevenir vazamento de rótulos, alcançando precisão próxima à do modelo professor com um aumento de velocidade de até 860 vezes para aplicações em tempo real como detecção de fraudes.

Autores originais: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Gênio que Não Consegue Rodar

Imagine que você tem um Professor Gênio (o "Modelo de Fundação") que é incrivelmente inteligente na resolução de quebra-cabeças. Este professor pode olhar para uma biblioteca massiva de quebra-cabeças passados e descobrir instantaneamente a resposta para um novo.

No entanto, há um porém:

Eles são lentos: Para resolver um quebra-cabeça, o Professor precisa ler toda a sua biblioteca de anotações a cada vez. Isso leva muito tempo (cerca de 150 milissegundos a mais de um segundo).
Eles são caros: O Professor precisa de um supercomputador (uma GPU poderosa) para trabalhar.
O mundo real é impaciente: Em situações como parar fraudes com cartão de crédito ou triagem de pacientes, você precisa de uma resposta em menos de 2 milissegundos. O Professor é muito lento e pesado para ser útil aqui.

A Solução: O Aluno "de Bolso"

Os autores quiseram criar um Aluno que seja tão inteligente quanto o Professor, mas que rode em um laptop comum (CPU) e responda num piscar de olhos.

Eles usaram uma técnica chamada Destilação de Conhecimento. Pense nisso como o Professor entregando uma cola ao Aluno. Em vez de apenas dizer ao Aluno a resposta certa (por exemplo, "Sim, isso é fraude"), o Professor explica como pensou sobre isso (por exemplo, "Tenho 90% de certeza de que é fraude, mas há 10% de chance de ser um falso alarme"). Essa nuance ajuda o Aluno a aprender melhor do que apenas memorizar as respostas.

A Armadilha: O Problema do "Espelho"

Aqui está a parte complicada que o artigo descobriu.

Se você pedir ao Professor para corrigir exatamente os mesmos quebra-cabeças que ele acabou de usar para estudar, ele fica confuso. Como o Professor tem as respostas bem na frente dele em seu "contexto", ele na verdade não pensa; ele apenas recorda. Ele diz: "Eu conheço este! É definitivamente Fraude!" com 100% de certeza.

Se o Aluno aprender com isso, ele recebe uma cola ruim. O Professor não está compartilhando nenhuma "sabedoria" ou "incerteza"; ele está apenas repetindo o gabarito. O Aluno não aprende nada novo e acaba ficando mais burro do que se tivesse estudado o gabarito diretamente.

A Correção: O Teste "Cego"
Para corrigir isso, os autores usaram um método chamado Rotulagem Estratificada Fora-Das-Dobras (OOF).

Imagine dividir a biblioteca de quebra-cabeças em 5 pilhas separadas.
O Professor estuda 4 pilhas e é testado apenas na 5ª pilha que ele ainda não viu.
Então, eles trocam de pilhas. Eles estudam as 4 novas pilhas e são testados na próxima pilha não vista.
Ao fazer isso, o Professor é forçado a realmente pensar e adivinhar, em vez de apenas recordar. Isso cria uma cola de alta qualidade e honesta para o Aluno.

Os Resultados: Um Aluno Rápido e Inteligente

A equipe testou isso em 153 conjuntos de dados diferentes (variando de registros médicos pequenos a grandes dados financeiros). Eis o que eles descobriram:

Velocidade: O novo Aluno (um modelo chamado XGBoost) roda 38 a 860 vezes mais rápido que o Professor. Ele responde em cerca de 1,9 milissegundos em um computador padrão, atendendo ao requisito estrito de "menos de 2ms".
Inteligência: O Aluno mantém 96,5% da inteligência do Professor. Na verdade, em 51% dos testes, o Aluno realmente superou um modelo padrão e bem ajustado (CatBoost) que geralmente é o padrão-ouro para este tipo de trabalho.
O Ponto Doce "Baixa-Dimensional": O Aluno brilha mais em problemas com menos recursos (como um quebra-cabeça com menos de 21 peças). Nestes, o Aluno é significativamente melhor que a concorrência. No entanto, em quebra-cabeças massivos e complexos com milhares de recursos, o Aluno não ganha muita vantagem sobre os modelos padrão.
Trabalho em Equipe (Multi-Professor):
- Para Alunos Baseados em Árvores (como XGBoost), ter múltiplos Professores dando conselhos não ajudou muito. Um Professor forte foi suficiente.
- Para Alunos de Redes Neurais (MLPs), ter múltiplos Professores média seus conselhos ajudou, atuando como um efeito de "suavização" que tornou o Aluno mais preciso.

A Conclusão

O artigo prova que você não precisa de um supercomputador para usar os modelos de IA mais inteligentes do mundo em tarefas em tempo real. Ao usar um método inteligente de "teste cego" para gerar uma cola, você pode treinar um modelo "Aluno" leve e rápido que roda em uma CPU comum.

Se o Professor for bom: O Aluno se torna uma substituição rápida e precisa.
Se o Professor for ruim: O Aluno também será ruim (o método não conserta magicamente um Professor fraco).
A Regra de Ouro: Você deve garantir que o Professor esteja "cego" para os dados de teste, ou o Aluno não aprenderá nada.

Os autores disponibilizaram todas as ferramentas para fazer isso como código aberto, para que qualquer pessoa possa construir seu próprio "Modelo de Fundação de Bolso".

Resumo Técnico: Modelos Fundamentais de Bolso

Declaração do Problema

Modelos Fundamentais Tabulares (TFMs) como TabICLv2, TabPFNv2.6 e LimiX demonstraram precisão state-of-the-art em pequenos conjuntos de dados estruturados ao utilizar aprendizado em contexto (ICL) via grandes transformers. No entanto, esses modelos enfrentam uma barreira crítica de implantação: exigem atenção a todo o conjunto de treinamento no momento da consulta, resultando em latências de inferência entre 151 ms e 1.275 ms em GPUs. Essa latência é incompatível com aplicações em tempo real como detecção de fraudes, pontuação de crédito ou triagem de pacientes, que frequentemente exigem respostas abaixo de 2 ms. Além disso, os custos de GPU e as restrições de produção apenas em CPU tornam a implantação direta de TFM impraticável.

Embora a destilação de conhecimento ofereça um caminho para comprimir esses modelos em estudantes Gradient-Boosted Decision Tree (GBDT) mais rápidos, um obstáculo técnico específico surge com professores baseados em ICL. Quando um professor ICL pontua exemplos que já estão presentes em seu contexto (ou seja, seu próprio conjunto de treinamento), suas previsões colapsam para vetores quase one-hot com entropia quase zero. Esse "vazamento" destrói a estrutura interclasse (rótulos suaves) necessária para uma destilação eficaz, fazendo com que o estudante aprenda não mais do que aprenderia com rótulos duros, frequentemente performando pior do que o treinamento padrão.

Metodologia

O artigo propõe um pipeline de destilação consciente de vazamento que converte professores TFM em estudantes GBDT ou MLP prontos para CPU. A inovação central é o uso de rotulagem Estratificada Fora-Das-Dobras (OOF) para prevenir vazamento de contexto.

Rotulagem OOF: O conjunto de dados de treinamento $D$ é partitionado em $K=5$ dobras estratificadas. Para cada dobra $k$ , o modelo professor é ajustado em $D \setminus D_k$ e usado para prever probabilidades apenas para o conjunto retido $D_k$ . Isso garante que o professor nunca veja os exemplos de consulta em seu contexto, preservando o sinal de rótulo suave (estrutura interclasse) necessário para a destilação.
Média Multi-Professor: Em configurações multi-professor, as previsões OOF de diferentes famílias TFM (por exemplo, TabPFN, TabICL, LimiX) são médias com pesos iguais antes de serem usadas como alvos.
Objetivo do Estudante: O estudante (XGBoost, CatBoost, LightGBM ou MLP) é treinado usando uma função de perda mista estilo Hinton:
$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$
Onde $\alpha=0.7$ , $T_i$ é uma escala de temperatura por amostra com a entropia do professor, e $w_i$ é um peso de confiança que reduz o peso de previsões superconfiantes ou quase aleatórias. Para estudantes baseados em árvores, o termo KL simplifica para regressão MSE por classe em logits de rótulos suaves.
Seleção de Professor: O artigo descobre que a classificação dos professores por seu AUC individual em uma amostra retida transfere-se exatamente para a classificação dos estudantes resultantes. Assim, selecionar o melhor professor não requer busca complexa de arquitetura; basta escolher o professor com o maior AUC individual.

Contribuições Principais

Rotulagem OOF Obrigatória: Os autores identificam que a rotulagem OOF não é opcional para TFMs baseados em ICL. Sem ela, o sinal de rótulo suave colapsa, e a destilação produz estudantes inferiores às bases de rótulos duros.
Desempenho vs. Latência: Destilar TabICLv2 em XGBoost alcança um AUC médio macro de 0,882 (96,5% do AUC do professor) com uma latência de 1,9 ms em um único núcleo de CPU. Isso representa um aceleração de 38× a 860× comparado ao professor, enquanto supera estatisticamente uma base CatBoost ajustada em 51% dos 153 conjuntos de dados (Wilcoxon $p=0,0008$ ).
Ganhos Previsíveis: Os benefícios da destilação são altamente previsíveis com base na dimensionalidade dos dados:
- Dados de baixa dimensionalidade ( $\le$ 21 características): A destilação fornece um ganho significativo (+0,011 AUC sobre CatBoost).
- Dados de alta dimensionalidade ( $>$ 21 características): Os ganhos são negligenciáveis (+0,001 AUC), e se o próprio professor performar pior que o CatBoost, a destilação pode degradar ainda mais o desempenho.
Dinâmicas Multi-Professor:
- Estudantes Árvore: A média multi-professor fornece um ganho estatisticamente detectável, mas praticamente negligenciável (+0,0006 AUC). Um único professor forte é suficiente.
- Estudantes MLP: A média multi-professor atua como suavização de rótulos eficaz, produzindo um ganho significativo (+0,006 AUC, $p=0,003$ ) sobre o treinamento de professor único.
Pipeline de Código Aberto: O pipeline completo é implementado e lançado como parte da biblioteca TabTune.

Resultados

A avaliação cobre 153 conjuntos de dados de classificação do TALENT, OpenML-CC18, TabZilla e TabArena.

Precisão: A melhor configuração destilada (TabICLv2 $\to$ XGBoost) alcança 0,882 AUC, retendo 96,5% do desempenho do professor.
Latência: Estudantes de árvores destilados rodam em 1,9–4,0 ms em CPU, comparado a 151–1.275 ms para professores em GPU.
Bases de Comparação: Os modelos destilados superam uma base CatBoost ajustada em 51% dos conjuntos de dados. Em contraste, OrionMSP, um professor mais fraco, produz estudantes que vencem apenas 22,6% das vezes.
Ablação: Para estudantes MLP em dados de baixa dimensionalidade, usar rótulos duros com OOF ( $\alpha=0$ ) na verdade superou o pipeline completo de rótulos suaves Hinton em 0,034 AUC, sugerindo que para dados limpos e de baixa dimensionalidade, a maquinaria complexa de rótulos suaves é opcional, mas a rotulagem OOF permanece crítica.

Significado

O artigo demonstra que o "problema de implantação" dos modelos fundamentais tabulares pode ser resolvido sem sacrificar suas vantagens de precisão. Ao abordar o problema específico de vazamento inerente a professores ICL, os autores mostram que é possível destilar a "estrutura interclasse" de um TFM em um GBDT leve e nativo de CPU.

O significado reside na previsibilidade e na falha graciosa da abordagem:

Se um TFM é forte, a destilação transfere essa força para um estudante rápido.
Se um TFM é fraco (ou os dados são de alta dimensionalidade), a destilação não infla artificialmente o desempenho; ela falha limpa, frequentemente performando pior do que um GBDT padrão, sinalizando que o professor não era um bom candidato.
O método não requer ajuste complexo de hiperparâmetros para o estudante; a decisão principal é simplesmente selecionar o professor de melhor desempenho.

Os autores concluem que, para dados estruturados de baixa dimensionalidade, praticantes podem alcançar precisão próxima à do professor com 1% do custo de inferência, desde que adiram estritamente ao protocolo de rotulagem OOF para evitar o colapso do sinal.