📊 statistics

Statistical learning theory and Occam's razor: Regularization

Este artigo fornece uma justificativa da teoria do aprendizado estatístico para a regularização e a navalha de Occam, argumentando que trocar o ajuste pela simplicidade é um meio metodológico necessário para alcançar confiabilidade teórica e garantias de "o que você vê é o que você obtém", sem depender de preferências pragmáticas ou suposições ontológicas sobre a simplicidade da verdade.

Autores originais: Tom F. Sterkenburg

Publicado 2026-08-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tom F. Sterkenburg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Dilema do Detetive: Por que Menos é Frequentemente Mais

Imagine que você é um detetive tentando resolver um mistério, mas em vez de pistas, você tem uma montanha de dados. No mundo da ciência e dos computadores, isso é chamado de aprendizado de máquina (machine learning). O objetivo é ensinar um computador a encontrar padrões em dados para que ele possa fazer suposições inteligentes sobre coisas novas que ele ainda não viu. Pense nisso como ensinar um cachorro a reconhecer uma "bola" mostrando a ele mil bolas diferentes. Se o cachorro aprender de forma muito estrita, ele pode pensar que apenas aquela específica bola vermelha é uma bola, e perder a azul. Se ele aprender de forma muito frouxa, ele pode pensar que um biscoito redondo é uma bola. Esse equilíbrio é o coração do problema.

Por décadas, cientistas discutiram sobre uma regra chamada Navalha de Occam. É uma ideia antiga que diz que, quando você tem duas explicações que se ajustam aos fatos igualmente bem, você deve escolher a mais simples. Mas por quê? O universo é naturalmente simples? Ou é apenas que coisas simples são mais fáceis de lidar? Esta tem sido uma questão complicada para filósofos e cientistas da computação. Eles tentaram provar que modelos simples são melhores, mas frequentemente a prova parecia circular — assumindo que o mundo é simples apenas para provar que modelos simples funcionam.

A Grande Ideia do Artigo: Trocando o Ajuste por uma Rede de Segurança

Este artigo, escrito por Tom F. Sterkenburg, mergulha na matemática por trás do aprendizado de máquina para encontrar uma razão sólida e não circular para usar a Navalha de Occam. O autor não diz apenas que "simplicidade é boa"; ele usa uma estrutura chamada Teoria do Aprendizado Estatístico para mostrar que trocar um pouco de "ajuste perfeito" por muita "simplicidade" é, na verdade, uma estratégia de sobrevivência inteligente para os computadores.

Aqui está a história do que ele descobriu:

1. A Armadilha do Ajuste Perfeito
Imagine que você está tentando desenhar uma linha através de uma dispersão de pontos em um gráfico. Se você tiver uma régua muito flexível (um modelo complexo), você pode dobrá-la tão perfeitamente que ela toca cada um dos pontos. Ela se ajusta aos dados perfeitamente. Mas aqui está a pegadinha: se você receber um novo conjunto de pontos amanhã, essa linha ondulada provavelmente errará todos eles. Ela memorizou o ruído (os rabiscos aleatórios) em vez do padrão. Em linguagem do artigo, isso é chamado de overfitting (sobreajuste).

O artigo explica que, se você tentar usar o modelo mais complexo possível (um que pode se ajustar a qualquer coisa), você perde sua capacidade de confiar em seus resultados. Você obtém uma garantia que diz: "Se você tiver dados infinitos, você pode estar certo", mas no mundo real, com dados limitados, essa garantia é inútil.

2. A Promessa do "O Que Você Vê É O Que Você Tem"
O autor introduz um conceito chamado Convergência Uniforme. Pense nisso como um rótulo de "veracidade publicitária" para o seu modelo. Ele promete que, se o seu modelo parecer bom nos dados que você possui (o conjunto de treinamento), ele provavelmente parecerá bom em novos dados (o conjunto de teste).

No entanto, o artigo prova uma regra estrita: você só consegue obter essa promessa de "veracidade publicitária" se limitar o quão complexo seu modelo pode ser. Se o seu modelo for muito flexível (muito complexo), a promessa quebra. Você não pode confiar que o que vê é o que você tem. Portanto, a primeira lição é: Mantenha seu modelo simples o suficiente para que você possa confiar em seus resultados.

3. A Verdadeira Magia: Minimização do Risco Estrutural (SRM)
Mas espere, e se a verdade for complicada? E se o padrão for realmente uma linha ondulada, e uma linha reta (um modelo simples) simplesmente não der conta? Se ficarmos apenas com modelos simples, podemos perder a resposta inteira. Este é o "equilíbrio entre viés e complexidade".

A principal descoberta do artigo é um método chamado Minimização do Risco Estrutural (SRM). Esta é a maneira do computador jogar de forma inteligente. Em vez de escolher um modelo e ficar com ele, o SRM olha para uma família inteira de modelos, variando de muito simples a muito complexo.

Aqui está o truque inteligente: o SRM não procura apenas o modelo que melhor se ajusta aos dados. Ele procura o modelo que se ajusta aos dados bem o suficiente enquanto permanece o mais simples possível. Ele adiciona uma "penalidade" pela complexidade.

Se um modelo complexo se ajusta um pouco melhor aos dados do que um simples, mas a penalidade de complexidade é enorme, o SRM diz: "Não, obrigado, fique com o simples".
Se um modelo complexo se ajusta muito melhor, a penalidade vale a pena, e o SRM diz: "Ok, vamos ser complexos".

4. Por que Isso Não é Apenas um Palpite
O artigo argumenta que isso não é apenas um palpite de sorte ou um pressentimento filosófico. É uma justificativa metodológica. O autor mostra que, mesmo que não saibamos se o mundo é simples ou complexo, usar essa estratégia de "equilíbrio" é a maneira mais inteligente de aprender.

Ele usa um conceito chamado "Sorte" (Luckiness). Imagine que você está apostando em uma corrida de cavalos.

Se você apostar em um cavalo simples e a corrida for realmente simples, você ganha muito.
Se você apostar em um cavalo simples e a corrida for complexa, você perde, mas não muito mais do que se tivesse apostado em um cavalo complexo cegamente.
Mas se você apostar em um cavalo complexo e a corrida for simples, você perde muito porque complicou demais as coisas.

Ao usar o SRM (o equilíbrio), você se protege contra o pior cenário. Você ganha muito se tiver "sorte" (se a verdade for simples), e não perde muito se for "azarado" (se a verdade for complexa).

5. O Que o Artigo Diz Que NÃO É
O autor é muito cuidadoso ao dizer o que isso não é.

Não é uma prova de que o universo é simples. Não precisamos acreditar que o mundo é simples para que isso funcione.
Não é apenas uma regra pragmática (como "coisas simples são mais fáceis de escrever"). É sobre obter melhor precisão.
Não é uma solução mágica para todas as técnicas modernas. O artigo admite que, no campo muito recente do "deep learning" (aprendizado profundo), as coisas ficam estranhas (às vezes modelos supercomplexos funcionam surpreendentemente bem), e esta matemática específica ainda não explica totalmente esses novos fenômenos.

A Conclusão
Então, por que preferimos a simplicidade no aprendizado de máquina? De acordo com este artigo, não é porque o universo é simples. É porque a simplicidade é uma rede de segurança. Ao trocar um pouco de "ajuste perfeito" por muita "simplicidade", obtemos uma garantia matemática de que as suposições do nosso computador realmente funcionarão em novos dados. É a diferença entre memorizar um roteiro e entender a história. O artigo prova que esse equilíbrio é a maneira mais confiável de aprender, seja a verdade simples ou complicada.

Problema
O artigo aborda o duradouro desafio filosófico e metodológico de justificar a navalha de Occam — o princípio de preferir a simplicidade na inferência indutiva — no contexto do aprendizado de máquina e da teoria do aprendizado estatístico. Embora a literatura frequentemente cite a navalha de Occam como uma heurística, uma justificativa rigorosa que evite colapsar em uma preferência puramente pragmática (simplicidade por conveniência) ou uma suposição ontológica (a verdade é simples) tem sido elusiva. Especificamente, o artigo busca justificar o procedimento de regularização (trocar o ajuste empírico pela simplicidade) não apenas como uma ferramenta prática, mas como uma norma metodológica derivada de garantias teóricas.

Metodologia
O autor emprega o framework da Teoria do Aprendizado Estatístico (SLT), focando especificamente em classificação binária, para construir um argumento de "meios-fins". A análise procede através dos seguintes passos lógicos:

Argumento Central (ERM e Dimensão VC): O artigo primeiro revisa a justificativa padrão para a Minimização do Risco Empírico (ERM). Ele estabelece que, para uma classe de hipóteses possuir a propriedade de convergência uniforme (garantindo que o erro empírico seja um indicador confiável do risco real), a classe deve possuir uma dimensão Vapnik-Chervonenkis (VC) finita. Isso leva a uma norma metodológica (N1): "Mantenha a classe de hipóteses simples". No entanto, o autor observa que esta norma é excessivamente restritiva para o aprendizado de máquina moderno, onde modelos complexos e orientados por dados (como o aprendizado profundo) são preferidos, e onde a "melhor" hipótese em uma classe simples ainda pode apresentar um alto erro de aproximação (subajuste/underfitting).
Minimização do Risco Estrutural (SRM): Para superar as limitações de N1, o artigo introduz a Minimização do Risco Estrutural (SRM). Isso envolve organizar uma "superclasse" potencialmente complexa de hipóteses em uma sequência enumerável de subclasses aninhadas ( $H_n$ ) com complexidade crescente (dimensão VC). A regra SRM seleciona uma hipótese minimizando um limite que inclui tanto o erro empírico quanto um termo de regularização dependente da dimensão VC da subclasse e de uma função de peso.
Análise da Justificativa Teórica: O artigo examina criticamente as garantias teóricas da SRM, incluindo:
- Aprendizado não uniforme: A SRM permite o aprendizado de classes que não são aprendíveis via PAC como um todo, mas que são uniões enumeráveis de classes VC.
- Limites de Oráculo (Oracle Bounds): A confiabilidade da SRM depende de um limite de "oráculo" relativo à subclasse específica que contém a melhor hipótese.
- Relatividade do Modelo: O autor destaca que as garantias teóricas são relativas à escolha prévia do modelo indutivo (a sequência específica de subclasses e pesos). Isso levanta uma potencial circularidade: a justificativa para a simplicidade apenas assume que o mundo é simples?
Argumento de Meios-Fins para a Regularização: O autor constrói um novo argumento para resolver a circularidade. O argumento postula que, para alcançar garantias teóricas específicas (confiabilidade e garantias de "o que você vê é o que você obtém" ou WYSIWYG) para uma classe de hipóteses complexa, é necessário implementar uma preferência pela simplicidade via regularização.

Contribuições Principais e Resultados

Formalização da Norma N2: O artigo articula uma segunda norma metodológica (N2): "Troque ajuste por simplicidade." Diferente de N1, que restringe a escolha da própria classe de hipóteses, N2 aplica-se ao processo de aprendizado dentro de uma classe escolhida (potencialmente complexa).
Justificativa da Regularização: O artigo argumenta que a regularização não é apenas uma heurística, mas uma condição necessária para obter garantias de confiabilidade em amostras finitas e garantias WYSIWYG ao trabalhar com classes de hipóteses complexas (especificamente, uniões enumeráveis de classes VC).
Resolução da Circularidade: O autor argumenta que a justificativa para preferir a simplicidade é metodológica, não ontológica. Mesmo que a "verdade" seja complexa, usar SRM (regularização) é uma estratégia "esperta" porque:
- Sorte (Luckiness): Se o processo gerador de dados for simples (caso de sorte), a regularização produz limites de erro significativamente mais estreitos do que o ERM sobre a superclasse completa. Se o processo for complexo (caso de azar), os limites são apenas ligeiramente piores que o ERM.
- WYSIWYG: A regularização fornece uma indicação mais nítida de se uma hipótese selecionada é boa ou má (através da proximidade do limite para as subclasses iniciais), permitindo que o aprendiz aja de acordo (por exemplo, descartar o modelo se o limite for frouxo).
Distinção da Pragmaticidade: O artigo distingue esta justificativa de mera conveniência pragmática (por exemplo, facilidade computacional). A preferência pela simplicidade está ligada ao fim epistêmico da precisão preditiva (minimização do risco real) e à capacidade de avaliar essa precisão.

Significância e Alegações
O artigo afirma fornecer uma justificativa metodológica genuína para a navalha de Occam na forma de regularização. Ele assevera que esta justificativa:

Não é circular: Não requer a suposição de que o mundo é simples; em vez disso, mostra que a simplicidade é um "meio" necessário para atinger o "fim" da confiabilidade teórica e da capacidade diagnóstica.
É robusta: Mantém-se mesmo quando o modelo indutivo (a escolha das subclasses) não é perfeitamente compatível com a distribuição real, desde que o modelo seja uma união enumerável de classes VC.
Esclarece o papel da complexidade: Formaliza a simplicidade não como o número de parâmetros ou comprimento de descrição (que podem ser instáveis), mas como capacidade (dimensão VC), que é uma medida robusta e invariante da flexibilidade de uma classe.

O autor conclui modestamente, reconhecendo que o argumento está confinado ao framework específico da teoria do aprendizado estatístico (precisão preditiva sob suposições i.i.d.) e não cobre todos os aspectos da simplicidade científica. Além disso, o artigo observa que fenômenos contemporâneos como a "interpolação benigna" e a "descida dupla" (double descent) no aprendizado profundo desafiam a relevância dessas normas, sugerindo que, embora o argumento esclareça o papel da navalha de Occam na teoria clássica, sua aplicação ao aprendizado profundo moderno requer investigação adicional. O artigo não pretende resolver o problema da simplicidade em toda a ciência, mas especificamente justificar o procedimento de regularização dentro do framework matemático da SLT.

O Dilema do Detetive: Por que Menos é Frequentemente Mais

A Grande Ideia do Artigo: Trocando o Ajuste por uma Rede de Segurança

Mais como este