🤖 machine learning

Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study

Este estudo apresenta um benchmark de larga escala, distribuído em sala de aula, de 11.536 execuções de treinamento através de 18 conjuntos de dados e 6 famílias de modelos, demonstrando que, embora as leis de potência descrevam eficazmente as curvas de aprendizado para a maioria dos modelos tabulares com expoentes compartilhados aproximados, uma variância significativa persiste devido a detalhes de implementação em vez de sementes aleatórias.

Autores originais: Kaihua Ding

Publicado 2026-07-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kaihua Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a tomar decisões, como prever se um cliente comprará um produto ou se um empréstimo será pago. Por muito tempo, os cientistas ficaram obcecados por "leis de escala" para redes neurais gigantes — os computadores massivos, semelhantes ao cérebro, que alimentam coisas como chatbots e geradores de imagens. Eles descobriram uma regra mágica: se você alimentar esses gigantes com mais dados, mais células cerebrais e mais poder de computação, seus erros caem de uma forma perfeitamente previsível, como um escorregador descendo uma colina. Essa regra tornou-se tão importante que as empresas gastam milhões de dólares apenas para calcular quanto dado precisam comprar.

Mas aqui está a reviravolta: a maior parte do mundo real não funciona com redes neurais gigantes. Ela funciona com "dados tabulares". Pense em uma planilha: linhas de clientes, colunas de sua idade, renda e histórico de compras. Isso é o pão com manteiga dos negócios, usado para tudo, desde a precificação de seguros até a previsão de vendas. Para essas tarefas, ferramentas mais simples e antigas, como árvores de decisão e modelos lineares, costam funcionar melhor do que os gigantes sofisticados. A grande questão era: essas ferramentas mais simples seguem a mesma regra mágica de "mais dados = menos erros"? E se seguirem, a regra é a mesma para todos ou muda dependendo da planilha específica que você está usando? Até agora, ninguém havia testado isso em uma escala massiva para ver se a regra se sustenta quando pessoas diferentes tentam executar o mesmo experimento.

Este artigo é um experimento gigante, do tamanho de uma sala de aula, projetado para responder exatamente a isso. Em vez de uma única equipe de pesquisa realizar alguns testes, o autor organizou 127 alunos de um curso de pós-graduação em aprendizado de máquina para atuarem como cientistas independentes. Cada aluno recebeu um conjunto específico de regras e foi designado a três conjuntos de dados diferentes do mundo real (como inadimplência de cartão de crédito ou preços de imóveis) para trabalhar. Eles tiveram que treinar seis tipos diferentes de modelos de aprendizado de máquina "clássicos" nesses conjuntos de dados, começando com quantidades minúsculas de dados e adicionando mais gradualmente, para observar como as taxas de erro mudavam. No total, eles realizaram mais de 11.000 sessões de treinamento, criando uma biblioteca massiva de resultados para ver se uma fórmula matemática simples poderia prever quão bem esses modelos aprenderiam.

Os resultados foram surpreendentemente claros, mas com algumas ressalvas importantes. Primeiro, a "fórmula mágica" (uma lei de potência) funciona muito bem para a maioria desses modelos. Os autores descobriram que, para cerca de 78% dos experimentos, a fórmula se ajustava aos dados tão bem que poderia prever com precisência o quanto o erro diminuiria à medida que mais dados fossem adicionados. No entanto, nem todos os modelos são iguais. Os modelos "baseados em árvores" (como Boosting e Random Forests) foram os campeões, superando consistentemente os outros e alcançando as menores taxas de erro. Por outro lado, alguns modelos, particularmente a regressão Lasso, falharam em seguir a regra inteiramente, muitas vezes apenas chutando a média e ignorando o tamanho dos dados.

O estudo também abordou uma questão fascinante: existe uma única "velocidade de aprendizado" para toda uma família de modelos, independentemente do conjunto de dados? A resposta é um "mais ou menos". Para cinco das seis famílias de modelos, os alunos descobriram que uma única "velocidade de aprendimento" média (um expoente) poderia prever como os modelos se comportariam através de diferentes conjuntos de dados quase tão bem quanto calcular uma velocidade única para cada um. É como dizer que todos os carros de uma determinada marca aceleram aproximadamente na mesma taxa, mesmo que as condições específicas da estrada variem. No entanto, isso não é uma lei universal perfeita; o ajuste não é exato e, para alguns modelos como a regressão Ridge, a "velocidade" era tão instável que não podia ser confiada.

Talvez a descoberta mais surpreendente não tenha sido sobre os dados, mas sobre os humanos realizando o trabalho. Embora cada aluno tenha recebido exatamente as mesmas instruções e a mesma semente aleatória (um ponto de partida digital) para garantir que deveriam obter resultados idênticos, suas respostas finais ainda variavam ligeamente. Os autores calcularam que esse "ruído de implementação humana" — causado por diferenças minúsculas e inevitáveis na forma como as pessoas lidam com números ausentes ou codificam texto — criou uma variação de cerca de 14% nos resultados. Isso sugere que, quando uma única equipe de pesquisa afirma ter descoenido uma lei de escala específica, há uma "imprecisão" inerente de cerca de 14% que vem apenas da forma como o experimento foi configurado, não dos dados em si.

No fim, este artigo oferece um mapa prático para o mundo dos dados tabulares. Ele confirma que, para a maioria dos problemas de negócios, você não precisa de um supercomputador; um modelo de árvore bem ajustado provavelmente vencerá. Ele fornece uma "lista de compras" para dados, estimando que, para alguns problemas comuns, você pode precisar de apenas algumas centenas de linhas de dados para atingir um alto nível de precisão, enquanto outros podem precisar de dezenas de milhares. Mas ele também nos avisa para sermos humildes: as regras são aproximadas, não absolutas, e a forma como preparamos nossos dados pode introduzir tanta incerteza quanto os próprios dados. É um lembrete de que, no mundo do aprendizado de máquina, até as planilhas mais simples têm seus próprios ritmos complexos, ligeiramente bagunçados, mas fundamentalmente previsíveis.

Resumo Técnico: Leis de Escala para Aprendizado de Máquina Clássico em Dados Tabulares

Definição do Problema
Embora as leis de escala empíricas (decaimento de potência da perda de teste com o tamanho dos dados) tenham se tornado centrais para o design de grandes redes neurais, seu comportamento no aprendizado de máquina (ML) clássico em dados tabulares permanece subcaracterizado em escala. Trabalhos anteriores sobre curvas de aprendizado para modelos de árvore, lineares e de kernel existem, mas são limitados a escalas pequenas (equipes únicas, um punhado de conjuntos de dados). Há uma carência de evidências de replicação cruzada que determinem se os modelos clássicos seguem leis de potência previsíveis, se os expoentes são compartilhados entre conjuntos de dados dentro de uma família de modelos e quanta variância existe em essas estimativas devido a diferenças de implementação.

Metodologia
O estudo emprega um protocolo de replicação distribuído em escala de sala de aula envolvendo 127 estudantes de pós-graduação.

Conjuntos de Dados: 18 conjuntos de dados tabulares curados (10 de classificação, 8 de regressão) variando de 303 a 53.940 linhas, cobrindo domínios como risco de crédito, saúde e e-commerce.
Modelos: Seis famílias de modelos clássicos do scikit-learn: Boosting, Random Forest, SVM (RBF), Regressão Linear/Logística, Ridge e Lasso.
Protocolo:
- Hiperparâmetros fixos (sem ajuste por N) para isolar efeitos do tamanho dos dados.
- Uma única divisão treino/teste de 80/20 (seed=42) por conjunto de dados.
- Treinamento em sete subconjuntos aninhados da dobra de treinamento (frações: 0,01 a 1,00).
- Métricas de erro: $1 - \text{AUROC}$ para classificação; RMSE normalizado para regressão.
Ajuste: Uma lei de potência aditiva de três parâmetros, $\text{erro}(N) = aN^{-b} + c$ , foi ajustada aos sete pontos de dados para cada tripla (estudante, conjunto de dados, modelo) usando mínimos quadrados não lineares.
Agregação: Os resultados foram agregados via ajustes agrupados (concatenando todos os pontos dos estudantes) e médias por fração. A variância entre estudantes foi medida como o coeficiente de variação (CV) do expoente $b$ .

Principais Contribuições

Benchmark Empírico de Grande Escala: O estudo gera 11.536 execuções de treinamento e 1.648 curvas de escala bem-sucedidas, fornecendo a primeira visão de replicação cruzada do escalonamento de ML clássico.
Compressibilidade Preditiva Aproximada: Estabelece que, embora um expoente "universal" único não exista estritamente (ajustes por conjunto de dados são estatisticamente preferidos), um único expoente ao nível da família pode prever curvas de conjuntos de dados com perda mínima de poder preditivo ( $R^2$ gap < 0,011 para 5 de 6 famílias). Isso é enquadrado como "compressibilidade preditiva aproximada" em vez de universalidade independente de dados.
Quantificação da Variância de Implementação: Ao fixar random_state=42, o estudo isola a variância induzida por elementos de protocolo não restritos (pré-processamento, codificação, tratamento de valores ausentes) em vez da variância da semente aleatória. Encontra um CV médio do expoente $b$ de 0,144 entre os estudantes.
Tabela Prática de Requisitos de Dados: Os autores fornecem estimativas de ajuste agrupado para o tamanho de amostra ( $N^\star$ ) necessário para atingir um erro alvo de 0,15, sinalizando casos em que o erro residual irredutível ( $c$ ) torna o alvo inalcançável.

Resultados

Qualidade do Ajuste: A lei de potência aditiva ajusta-se bem, com $R^2 > 0,8$ em 77,7% das células. Ensembles de árvores (Boosting, Random Forest) e SVMs apresentam os ajustes mais limpos. Ridge e Lasso performam mal; Lasso frequentemente falha em ajustar uma lei de potência devido ao encolhimento de coeficientes para zero em regimes de baixos dados, e Ridge exibe comportamento não monotônico em casos específicos.
Expoentes de Escalonamento ( $b$ ):
- Ensembles de árvores exibem expoentes moderados (mediana do Random Forest $\tilde{b} \approx 0,325$ ; Boosting $\tilde{b} \approx 0,480$ ).
- Modelos lineares em classificação mostram expoentes maiores ( $\tilde{b} \approx 0,830$ ), indicando uma redução de erro mais rápida por ponto de dado em relação ao seu alto erro inicial.
- O expoente mediano entre todos os bons ajustes é 0,495.
Erro Irredutível ( $c$ ): Ensembles de árvores alcançam os menores pisos de erro (ex: mediana do Random Forest $c \approx 0,110$ ). Modelos lineares têm pisos baixos, mas apenas porque seu alto $b$ reduz o erro; em termos absolutos, eles frequentemente subperformam os ensembles de árvores com dados totais.
Ranking de Modelos com Dados Totais: Boosting vence em 50% dos conjuntos de dados, seguido por Random Forest (33%). Modelos lineares e SVMs ficam no meio do ranking, enquanto Ridge e Lasso vencem 0%.
Expoentes Compartilhados: Um ajuste conjunto compartilhando um único expoente $b_{\text{model}}$ entre os conjuntos de dados performa quase tão bem quanto os ajustes não restritos para Boosting, Random Forest, SVM e modelos lineares (LODO $R^2$ gaps $\le 0,012$ ). Ridge é frágil (LODO CV 0,96), e Lasso falha totalmente.
Variância: O CV de 14,4% nos expoentes entre os estudantes destaca que detalhes de implementação (não apenas sementes) impactam significativamente as estimativas das leis de escala. A variância é maior em pequenos $N$ .

Significância e Alegações
O artigo afirma que sua principal contribuição é a escala de replicação e a lente de reprodutibilidade ao nível do protocolo, em vez da novidade de ajustar leis de potência a modelos clássicos.

Para Praticantes: Ensembles de árvores com ajustes padrão dominam tarefas tabulares, oferecendo o melhor equilíbrio entre o expoente de escala e o piso de erro irredutível. O estudo fornece estimativas concretas de requisitos de dados (ex: ~200–500 linhas para tarefas específicas) e alerta que, para algumas células, mais dados não podem superar um piso de erro irredutível elevado ( $c \ge 0,15$ ).
Para a Teoria: Modelos tabulares clássicos exibem expoentes de escala ( $b \approx 0,3\text{--}0,8$ ) que são geralmente maiores que os de grandes redes neurais ( $b \approx 0,07\text{--}0,35$ ), sugerindo que cada linha rende mais redução de erro do que cada token em transformers. No entanto, o piso de erro irredutível é a restrição limitante no ML tabular, ao contrário de modelos de linguagem sobreparametrizados onde o piso é desprezível.
Insight Metodológico: O estudo trata a variância dos expoentes relatados entre implementações nominalmente complacentes como uma quantidade de primeira classe. Sugere que estudos de escala de grupo único devem relatar intervalos de incerteza amplos o suficiente para acomodar um piso de ~14% na estimativa do expoente devido ao desvio de protocolo.

Os autores declaram explicitamente que não reivindicam a universalidade dos expoentes; em vez disso, demonstram que expoentes compartilhados oferecem "compressibilidade preditiva aproximada" que é útil para planejamento, mesmo que a heterogeneidade por conjunto de dados permaneça estatisticamente significativa.

Resumo Técnico: Leis de Escala para Aprendizado de Máquina Clássico em Dados Tabulares

Mais como este