🤖 machine learning

Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Este artigo introduz um novo framework para derivar limites de generalização não vacuosos para modelos de aprendizado profundo ao alavancar substitutos de discordância certificáveis treinados via compressão de amostras, compressão de modelo ou teoria PAC-Bayes, tudo isso sem modificar o modelo alvo ou seu procedimento de treinamento.

Autores originais: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Publicado 2026-07-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um cérebro de robô gigante e superinteligente (uma rede neural profunda) para resolver um quebra-cabeça. Ele é incrível em resolver o quebra-cabeça, mas ninguém sabe exatamente o quão bem ele se sairá em um novo quebra-cabeça que nunca viu antes. Na verdade, a maior parte da matemática que costumamos usar para prever seu desempenho futuro é ou totalmente inútil (como dizer "ele pode estar 100% certo ou 0% certo") ou exige mudar o cérebro do robô para se ajustar à matemática, o que estraga o robô.

Este artigo, intitulado "Bound to Disagree" (Destinado a Discordar), oferece uma nova maneira inteligente de verificar o desempenho futuro desse robô sem tocar no seu cérebro ou usar matemática inútil.

A Grande Ideia: O "Substituto" e a "Discordância"

Pense no seu cérebro de robô gigante como um Modelo Alvo. Ele é complexo, poderoso e difícil de medir. Os autores dizem: "Vamos construir um cérebro de robô minúsculo e simples chamado Modelo Substituto".

Este substituto é pequeno o suficiente para que possamos provar facilmente o quão bom ele é em resolver quebra-cabeças. Mas aqui está o detalhe: o substituto precisa agir quase exatamente como o robô gigante.

O ingrediente secreto dos autores é medir a Discordância. Eles pegam um pequeno monte de imagens não rotuladas (dados que o robô ainda não viu) e pedem que tanto o robô gigante quanto o robô minúsculo adivinhem a resposta.

Se eles concordarem em quase tudo, o histórico comprovado do robô minúsculo é um ótimo palpite para o desempenho futuro do robô gigante.
Se eles discordarem muito, o robô gigante pode estar em apuros.

O artigo prova que a lacuna entre o verdadeiro desempenho do robô gigante e o desempenho comprovado do robô minúsculo está diretamente ligada ao quão frequentemente eles discordam nessas imagens não rotuladas.

O Que Eles Descartaram (A Lista do "Não Se Dê Ao Trabalho")

Os autores são muito claros sobre o que não funciona para este objetivo específico, e não querem que você perca tempo com esses métodos:

Não tente mudar o robô gigante: Você não precisa retreinar o modelo alvo ou alterar sua arquitetura. O método funciona no modelo exatamente como ele foi treinado.
Não dependa de limites baseados em "Normas": Estes são truques matemáticos antigos que observam o tamanho dos pesos do robô. O artigo mostra que eles são geralmente "vacuosos" (significa que dão respostas tão amplas que são inúteis, como dizer "o erro está entre 0 e um bilhão de por cento").
Não dependa de limites baseados em "Partição": Estes tentam fatiar os dados em blocos. Os autores descobriram que estes são frequentemente triviais, estimando o desempenho como se o robô estivesse apenas chutando aleatoriamente (cerca de 90% de erro em algumas tarefas).
Não exija dados rotulados para a verificação: Diferente de muitos outros métodos que precisam de um grande monte de dados rotulados (onde humanos já escreveram as respostas) para verificar o modelo, este método só precisa de um pequeno monte de dados não rotulados (imagens sem respostas). Isso é muito mais barato e rápido de obter.

Como Eles Testaram (Os Resultados de "Laboratório")

Os autores não apenas sonharam com isso; eles construíram e testaram em quebra-cabeças do mundo real. Eles usaram três maneiras diferentes de construir seus substitutos "robôs minúsculos":

Compressão de Amostra: Escolhendo um subconjunto minúsculo e perfeito dos dados de treinamento para representar o todo.
Compressão de Modelo: Encolhendo o modelo (como transformar uma foto de alta resolução em uma miniatura pequena) sem perder muita qualidade.
PAC-Bayes: Usando uma estrutura estatística que trata o modelo como uma distribuição de possibilidades, em vez de um único cérebro fixo.

Eles testaram isso em:

MNIST: Reconhecer dígitos escritos à mão.
CIFAR10: Identificar objetos como aviões e gatos em pequenas imagens.
Amazon Polarity: Ler avaliações de filmes para decidir se são positivas ou negativas (usando modelos de linguagem grandes como DistilBERT e GPT2).

Os Resultados:
Nestes experimentos, os novos limites de "discordância" foram estritos e computáveis.

Para os dígitos manuscritos MNIST, o método deles encontrou um limite de generalização (um limite de segurança para o erro) de cerca de 3,45% usando compressão de modelo, enquanto os antigos métodos baseados em "normas" deram números tão enormes que eram sem sentido (como $3,14 \times 10^8$ por cento).
Para o CIFAR10, eles obtiveram um limite de 35,06% com compressão de modelo, enquanto os métodos antigos eram inúteis ou estimavam o desempenho como se o modelo fosse um chutador aleatório (cerca de 90%).
Eles também mostraram que, se você encolher um modelo para 4 bits (tornando-o minúsculo e rápido), o limite de discordância garante que o modelo encolhido terá um desempenho quase tão bom quanto o grande, com uma lacuna de discordância de apenas cerca de 2%.

O Quão Certos Estamos?

O artigo fornece provas matemáticas (teoremas) mostrando que esses limites se mantêm com alta probabilidade (especificamente, com uma confiança de 99%, ou $1-\delta = 0,99$ ).

A ideia central — que a lacuna de erro é limitada pela discordância — é provada matematicamente para perda zero-um (respostas simples de certo/errado) e perdas Lipschitz (erros suaves e contínuos).
Os números específicos (como os limites de 3,45% ou 35,06%) são resultados medidos de seus experimentos em conjuntos de dados específicos. Eles não são simulações; são cálculos reais em modelos treinados.
Os autores admitem uma limitação: a qualidade do limite final depende inteiramente de quão bom é o "robô minúsculo" (substituto). Se você não conseguir encontrar um substituto bom que concorde com o robô gigante, o limite não será tão estrito.

A Conclusão

Este artigo sugere uma nova maneira prática de confiar na sua IA. Em vez de tentar forçar um modelo complexo em uma caixa que não serve, ou usar matemática que dá respostas inúteis, você pode construir um gêmeo pequeno e certificável, verificar com que frequência eles discordam em alguns exemplos não rotulados e usar isso para garantir como o grande modelo se sairá no mundo real. É uma maneira "certificável" de saber que seu robô não vai falhar com você, sem precisar reconstruí-lo.

Resumo Técnico: Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Declaração do Problema

Modelos de aprendizado profundo, particularmente redes neurais superparametrizadas, têm demonstrado sucesso empírico que contradiz a teoria clássica do aprendizado estatístico, que frequentemente prevê o sobreajuste (overfitting). Apesar da extensa pesquisa em limites de generalização baseados em dimensão VC, complexidade de Rademacher, teoria da informação e teoria PAC-Bayes, os limites existentes para redes neurais profundas sofrem de três limitações primárias:

Vacuidade: Muitos limites resultam em valores maiores que 1 (ou limites superiores triviais) quando aplicados a redes de médio a grande porte.
Não computabilidade: Alguns limites dependem de constantes universais que não podem ser computadas ou exigem suposições intratáveis sobre o espaço de entrada.
Restritividade: Muitos limites válidos aplicam-se apenas a versões modificadas do modelo (por exemplo, podadas ou quantizadas) em vez do preditor original, ou exigem restrições arquiteturais específicas (por exemplo, ativações com portões/gated activations).

O artigo aborda a necessidade de limites de generalização que sejam computáveis, não vácuos e aplicáveis a qualquer preditor sem modificar o modelo alvo ou seu procedimento de treinamento.

Metodologia

Os autores propõem um framework que desacopla a certificação de um modelo alvo complexo da derivação do próprio limite. A estratégia central envolve:

Modelagem de Surrogato (Substituto): Treinar um modelo "surrogato" mais simples que possua garantias de generalização estreitas e computáveis. Este surrogato é projetado para mimetizar o comportamento do modelo alvo.
Limitação de Desacordo (Disagreement Bounding): Medir a lacuna entre o risco real do modelo alvo ( $f$ ) e o modelo surrogato ( $h$ ) usando uma métrica de "desacordo" avaliada em um pequeno conjunto de dados não rotulados ( $U$ ) não utilizado durante o treinamento.
Agregação de Risco: Combinar o limite de generalização estreito do surrogato com o limite de desacordo para estabelecer um limite superior para o risco real do modelo alvo.

Contribuições Teóricas

O artigo formaliza três limites específicos baseados em desacordo, dependendo da função de perda:

Perda Zero-Um (Teorema 5): Para a perda zero-um, o desacordo é definido como a frequência empírica de predições divergentes entre $f$ e $h$ no conjunto não rotulado. O limite utiliza a inversão da cauda binomial (Langford, 2005) para limitar superiormente a lacuna do risco real.
$R_D(f) \leq R_D(h) + \text{Bin}(m \cdot d_U^{0-1}(f, h), m, \delta)$
Perdas Lipschitz-Contínuas (Teorema 6): Para perdas como Huber ou perda logística (que são Lipschitz em relação à saída softmax), o desacordo é medido via a distância $L_1$ entre as distribuições softmax dos dois modelos. Este limite emprega o limite de Chernoff para variáveis no intervalo unitário.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + 2K_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_U^{K_\ell}(f, h)]}{2}, \frac{\log(1/\delta)}{m}\right)$
Perdas Não-Lipschitz (Teorema 7): Para perdas como entropia cruzada (que podem não ser Lipschitz sem restrições), os autores propõem o uso de um pequeno conjunto de dados rotulados mantido à parte para medir a diferença absoluta nos valores de perda entre os modelos.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + \lambda_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_L(f, h)]}{\lambda_\ell}, \frac{\log(1/\delta)}{m}\right)$

Integração do Framework

A metodologia é agnóstica ao framework específico usado para certificar o surrogato. Os autores demonstram versatilidade integrando seus limites de desacordo com três frameworks distintos:

Compressão de Amostra: Utilizando algoritmos como Pick-To-Learn ou seleção de Coreset (ex: Random Coreset, k-Center Greedy) para definir um surrogato baseado em um subconjunto dos dados de treinamento.
Compressão de Modelo: Utilizando técnicas como SubLoRA (Subspace Low-Rank Adaptation) e quantização para reduzir o comprimento de descrição do surrogato.
Teoria PAC-Bayes: Treinando redes neurais estocásticas onde o surrogato é uma distribuição sobre hipóteses, limitada via divergência KL em relação a uma prior.

Resultados Principais

Os autores avaliaram empiricamente seu framework em MNIST, CIFAR10 e o dataset Amazon Polarity (usando DistilBERT e GPT2).

Estreiteza (Tightness): Os limites propostos baseados em desacordo são significativamente mais estreitos que os limites computáveis existentes. Por exemplo, no CIFAR10, limites baseados em norma foram vácuos (valores $> 10^{21}$ ), e limites baseados em partição foram triviais (aprox. 90% de erro). Em contraste, os novos limites alcançaram resultados não vácuos (ex: 28,13% para surrogatos PAC-Bayes no CIFAR10).
Versatilidade: A abordagem certificou com sucesso alvos através de diferentes arquiteturas (CNNs, ResNets, Transformers) e funções de perda (zero-um, entropia cruzada, Huber).
Seleção de Surrogato: Os experimentos revelaram que a abordagem de Random Coreset frequentemente produzia os limites mais estreitos para compressão de amostra, enquanto o SubLoRA foi eficaz para compressão de modelo. Curiosamente, minimizar o desacordo no conjunto não rotulado nem sempre resultava no limite final mais estreito; em alguns casos, surrogatos com os limites de generalização intrínsecos mais estreitos (mesmo com maior desacordo) apresentaram melhor desempenho.
Casos de Uso:
- Certificação: Fornecer limites não vácuos para modelos determinísticos padrão.
- Destilação: Certificar o risco de um modelo destilado enquanto se minimiza o desacordo.
- Quantização: Limitar a lacuna de desempenho entre um modelo alvo e sua versão quantizada, garantindo que a compressão não leve a quedas significativas de desempenho.

Significância e Alegações

O artigo alega fornecer um framework totalmente computável, não vácuo e livre de suposições para limites de generalização. Sua principal significância reside em:

Desacoplamento de Complexidade: Permite a certificação de modelos arbitrários e complexos ao deslocar o ônus das garantias teóricas para um surrogato mais simples e certificável.
Requisitos Mínimos de Dados: A abordagem requer apenas um pequeno conjunto de dados não rotulados (que é mais barato e fácil de obter do que dados rotulados) para avaliar o desacordo, tornando-a prática para aplicações de larga escala.
Sem Necessidade de Modificação: Ao contrário de trabalhos anteriores que exigem poda, quantização ou mudanças arquiteturais no modelo alvo para derivar limites, este método aplica-se ao modelo "como ele é".
Ampla Aplicabilidade: O framework não é restrito a funções de perda ou classes de modelos específicas, acomodando perdas zero-um, Lipschitz e não-Lipschitz, bem como preditores determinísticos e estocásticos.

Os autores reconhecem limitações, observando que a estreiteza do limite final é inerentemente dependente da qualidade da própria garantia de generalização do surrogato. Além disso, encontrar um surrogato que seja simultaneamente certificável e suficientemente próximo de um alvo altamente complexo continua sendo um desafio. No entanto, o trabalho estabelece um novo paradigma onde as garantias de generalização são alcançadas via "desacordo" em vez de análise direta de complexidade do alvo.