🤖 machine learning

Mitigating Negative Flips via Margin Preserving Training

Este artigo propõe um novo framework de treinamento que mitiga inversões negativas em sistemas de classificação de imagens em evolução ao preservar as margens do modelo original por meio de calibração de logits, enquanto emprega destilação focal de dupla fonte para manter alta acurácia tanto em classes antigas quanto novas.

Autores originais: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

Publicado 2026-08-10

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um mestre chef que passou anos aperfeiçoando um menu. Seus clientes sabem exatamente o que esperar: o "Tofu Picante" é sempre picante e o "Cogumelo Cremoso" é sempre cremoso. Então, você decide expandir o menu. Você adiciona novos sabores empolgantes como "Sorbet de Fruta do Dragão" e "Sorvete de Wasabi". Isso parece ótimo, mas há um porém. Na pressa de abrir espaço para esses novos sabores, você acidentalmente altera a receita dos favoritos antigos. De repente, o Tofu Picante fica um pouco insosso, ou o Cogumelo Cremoso ganha um retrogosto estranho. Seus clientes leais ficam confusos e insatisfeitos, embora o novo menu seja tecnicamente "melhor" no papel. Este é o dilema diário da Inteligência Artificial. À medida que os sistemas de IA aprendem coisas novas, eles frequentemente esquecem como fazer as coisas antigas corretamente. No mundo da ciência da computação, este tipo específico de confusão — onde uma IA fica pior em algo que ela costumava acertar — é chamado de "negative flip" (inversão negativa). É um erro frustrante onde uma atualização quebra algo que não estava quebrado.

O artigo que você está prestes a ler aborda exatamente este problema. Os pesquisadores, trabalhando com classificação de imagens (ensinando computadores a reconhecer fotos de gatos, cachorros, carros, etc.), notaram que, quando adicionavam novas categorias ao cérebro de uma IA, as "linhas de decisão" que elas desenhavam entre o antigo e o novo ficavam muito congestionadas. Era como tentar colocar pessoas demais em uma sala pequena; todos começavam a esbarrar uns nos outros, e a IA ficava confusa sobre quem era quem. Para resolver isso, eles inventaram um novo método de treinamento chamado Margin Preserving Training (MPT) (Treinamento de Preservação de Margem). Pense nisso como uma maneira inteligente de ensinar a IA a respeitar o espaço pessoal de seus velhos amigos enquanto abre espaço para os novos. Em vez de apenas empurrar tudo junto, eles usam um "viés" especial para manter as categorias antigas seguras e um sistema de "professor duplo" para garantir que as novas categorias não sejam deixadas para trás. Seus experimentos mostram que este método impede com sucesso que a IA cometa esses erros irritantes em tarefas antigas, ao mesmo tempo em que aprende as novas tão bem quanto antes.

O Problema: Quando "Melhor" Significa "Pior"

No mundo acelerado da IA, os modelos estão sendo constantemente atualizados. Desenvolvedores treinam uma nova versão de uma IA, esperando que ela seja mais inteligente, mais rápida e capaz de reconhecer mais coisas. Geralmente, isso funciona muito bem. Mas, às vezes, algo estranho acontece. Uma IA que era perfeita em identificar um "Golden Retriever" de repente começa a chamá-lo de "Labrador" após uma atualização. Ou, pode confundir uma "Placa de Pare" com uma "Placa de Limite de Velocidade" quando não fazia isso antes.

Este fenômeno é chamado de negative flip. É o oposto de um "positive flip" (inversão positiva), onde uma IA finalmente aprende a reconhecer algo que antes errava. Embora as inversões positivas sejam o objetivo, as inversões negativas são o custo oculto do progresso. Elas são particularmente perigosas porque podem causar comportamentos imprevisíveis em sistemas do mundo real, como um carro autônomo que subitamente identifica incorretamente uma placa de trânsito familiar.

Os pesquisadores descobriram que essas inversões negativas acontecem com mais frequência quando a IA é solicitada a aprender mais classes (categorias). Imagine uma sala de aula onde o professor tem que distinguir entre 10 alunos. É fácil. Agora, imagine que 100 alunos entram na sala. O professor tem que espremer todos no mesmo ambiente. Para acomodar todos eles, o "espaço pessoal" (ou margem) entre cada aluno fica menor. Em termos de IA, a "margem" é o buffer de segurança que o modelo mantém entre diferentes categorias. Quando você adiciona novas classes, o modelo tenta espremer tudo para maximizar o espaço para todos, mas isso muitas vezes empurra as categorias antigas muito próximas da borda, tornando-as fáceis de confundir.

A Solução: Mantendo a Paz com o MPT

Os autores propõem um novo método chamado Margin Preserving Training (MPT). O objetivo deles é simples: atualizar a IA para aprender coisas novas sem diminuir os buffers de segurança das coisas que ela já conhece.

Eles abordam isso com dois truques principais, trabalhando juntos como uma máquina bem lubrificada:

1. O "Passe VIP" (Perda Calibrada pela Margem)
Primeiro, eles dão às novas classes uma pequena "vantagem inicial" durante o treinamento. Imagine que você está ensinando uma classe de alunos. Os alunos antigos (classes antigas) já estão sentados em seus assentos. Os novos alunos (novas classes) estão parados na porta. Se você apenas disser para todos se sentarem, os alunos antigos podem ser empurrados de suas cadeiras para abrir espaço.

Para evitar isso, os pesquisadores dão aos novos alunos um "passe VIP" (um viés de logit positivo). Este passe diz à IA: "Ei, esses caras novos são importantes, dê a eles um pouco de espaço extra para encontrarem seus assentos". Ao aumentar artificialmente a confiança para as novas classes durante o treinamento, a IA é forçada a empurrar as fronteiras de decisão para longe das classes antigas. Isso garante que as classes antigas mantenham suas margens amplas e seguras e não sejam espremidas. É como dizer à IA: "Não se preociga tanto com o que é novo ainda; certifique-se de que o que é antigo permaneça seguro".

2. O Sistema de "Professor Duplo" (Destilação Focal de Dupla Fonte)
Há um problema com o passe VIP, no entanto. Se você der aos novos alunos uma vantagem inicial grande demais, eles podem se tornar confiantes demais e ignorar as características reais da imagem, levando a erros nas novas categorias. A IA pode aprender as novas classes mal porque estava ocupada demais protegendo as antigas.

Para corrigir isso, os pesquisadores introduzem um segundo professor.

Professor A (O Modelo Antigo): Este professor conhece as classes antigas perfeitamente. Ele ajuda o novo modelo a lembrar como lidar com as coisas antigas.
Professor B (Um Modelo Novo): Este é um modelo novinho em folha, treinado do zero em todas as classes (antigas e novas) sem nenhum viés especial. Ele sabe como lidar com as novas classes corretamente.

O novo modelo aprende com ambos os professores ao mesmo tempo. Ele ouve o Professor A para manter as classes antigas seguras e ouve o Professor B para garantir que não erre as novas classes. Essa abordagem de "dupla fonte" garante um equilíbrio perfeito: as classes antigas permanecem seguras e as novas classes são aprendidas com precisão.

O Que Eles Descobriram

Os pesquisadores testaram sua ideia em dois conjuntos de dados de imagens famosos: CIFAR100 (100 categorias de imagens pequenas) e ImageNet1K (1.000 categorias de imagens maiores e mais complexas). Eles compararam seu método com várias outras técnicas populares usadas para corrigir inversões negativas.

Os resultados foram promissores. O método deles, MPT, reduziu consistentemente o número de inversões negativas.

No CIFAR100, usando um modelo ResNet-18 padrão, sua melhor versão (MPT-KL) reduziu a Taxa de Inversão Negativa (NFR) para 9,26%, comparado a 14,04% de um modelo sem tratamento.
No ImageNet1K, a melhoria foi ainda mais clara. A NFR caiu para 6,09%, superando o próximo melhor método (ELODI), que teve 7,61%.

Crucialmente, eles não apenas reduziram as inversões negativas; eles também não sacrificaram a precisão geral. Os modelos ainda acertam as coisas novas. Na verdade, no ImageNet1K, o método deles de fato melhorou a taxa de erro geral nas classes antigas de 28,40% (sem tratamento) para 24,68%.

Eles também realizaram um experimento de "e se" (um estudo de ablação) para ver qual parte de sua receita era o ingrediente secreto. Descobriram que, se removessem o "passe VIP" (o viés de margem), as inversões negativas voltavam a subir. Se removessem o sistema de "Professor Duplo", o modelo tinha dificuldade com as novas classes. Descobriu-se que era necessário ter ambas as partes trabalhando juntas para obter os melhores resultados.

Visualizando a Magia

Para realmente ver o que estava acontecendo, os pesquisadores criaram um mapa visual de como a IA "via" as imagens. Eles transformaram a matemática complexa dentro da IA em um desenho 2D simples.

Sem o método deles: Os agrupamentos de classes antigas (como "gatos") e novas classes (como "cachorros") estavam espremidos juntos. As linhas que os separavam eram finas e instáveis. Um "gato" poderia acidentalmente cruzar a linha para a zona do "cachorro".
Com o método deles: As classes antigas permaneceram em seus próprios círculos organizados e espaçosos. As novas classes encontraram seus próprios lugares sem aglomerar as antigas. As "linhas de decisão" permaneceram largas e claras, exatamente como eram no modelo original.

A Conclusão

Este artigo sugere que a chave para atualizar a IA sem quebrá-la reside em respeitar o "espaço pessoal" do que ela já sabe. Ao preservar explicitamente as margens de decisão das classes antigas e usar um sistema inteligente de duplo professor para guiar o aprendizado das novas classes, podemos atualizar modelos de IA de forma mais segura.

Os autores observam que seu método exige o treinamento de um modelo de "referência" adicional, o que consome um pouco mais de poder computacional, mas ainda é muito mais barato do que outros métodos complexos que exigem grandes grupos de modelos. Eles também enfatizam que a força do "passe VIP" (o valor do viés) precisa ser ajustada cuidadosamente para diferentes conjuntos de dados.

Em suma, o MPT oferece uma maneira de expandir o céreamente de uma IA sem encolher sua memória. É um passo em direção a sistemas de IA que podem aprender continuamente, adaptando-se a novos mundos sem esquecer as lições do passado.

Resumo Técnico: Mitigação de Inversões Negativas via Treinamento de Preservação de Margem

Definição do Problema
O artigo aborda o fenômeno das "inversões negativas" (negative flips) em sistemas de aprendizado de máquina, definidas como instâncias onde um modelo atualizado classifica incorretamente amostras de teste que eram classificadas corretamente por uma versão anterior. Embora as atualizações de modelos visem frequentemente reduzir as taxas de erro global ou incorporar novos dados, elas frequentemente introduzem regressão em casos específicos. Este problema é particularmente pronunciado em tarefas de classificação de imagens, onde o número de classes de treinamento aumenta ao longo do tempo. Os autores argumentam que a adição de novas categorias reduz a margem de decisão entre classes adjacentes e introduz características interferentes, levando à transferência negativa. Consequentemente, até mesmo predições de alta confiança em classes previamente aprendidas podem tornar-se incorretas devido a deslocamentos nas fronteiras de decisão, interrompendo processos subsequentes e a confiança do usuário.

Metodologia: Treinamento de Preservação de Margem (MPT)
A solução proposta, o Treinamento de Preservação de Margem (MPT - Margin Preserving Training), consiste em dois componentes primários projetados para equilibrar a preservação do desempenho das classes antigas com o aprendizado das novas classes:

Perda de Entropia Cruzada Softmax com Calibração de Margem:
Para neutralizar a redução natural das margens quando novas classes são introduzidas, os autores introduzem um termo de viés de logit ( $\Delta_i$ ) exclusivamente para as classes recém-introduzidas ( $Y_{new}$ ).

Um viés positivo $k > 0$ é aplicado aos logits das novas classes durante o treinamento.
Isso atua como um prior explícito que inclina as fronteiras de decisão para favorecer as classes previamente aprendidas ( $Y_{old}$ ), preservando efetivamente suas margens de decisão originais.
Na inferência, este viés é removido. Como o modelo foi treinado sem o viés para as classes antigas, ele é forçado a aprender margens de decisão mais amplas e robustas para elas para compensar a falta do prior artificial.
A função de perda é definida como $L_\Delta = -\log \frac{e^{z_y + \Delta_y}}{\sum_{i=1}^C e^{z_i + \Delta_i}}$ , onde $\Delta_i = k$ se $i \in Y_{new}$ e $0$ caso contrário.

Destilação Focal de Dupla Fonte:
Os autores observam que a perda de calibração de margem por si só pode levar ao subajuste (underfitting) das novas classes devido ao viés induzido. Para resolver isso, eles propõem uma estratégia de destilação que utiliza dois modelos de referência:

$\phi_{old}$ : O modelo original treinado em $Y_{old}$ .
$\phi_{new}$ : Um novo modelo treinado independentemente no conjunto completo de classes ( $Y_{all}$ ) usando entropia cruzada padrão.
O modelo estudante é treinado usando uma perda de destilação focal ( $L_{FD}$ ) que transfere conhecimento de ambas as referências. Esta perda enfatiza seletivamente instâncias classificadas corretamente pelos modelos de referência, utilizando a divergência de Kullback-Leibler (KL) ou o Emparelhamento de Logits (LM) como métrica de distância.
O objetivo final combina a perda de calibração de margem com os termos de destilação: $\min_\phi L_\Delta + \lambda L_{FD}(\phi, \phi_{old}) + \lambda L_{FD}(\phi, \phi_{new})$ .

Principais Contribuições

Abordagem Inovadora: O artigo introduz o MPT, um método que foca explicitamente na preservação das margens de decisão para classes previamente aprendidas durante atualizações incrementais para mitigar inversões negativas.
Destilação Focal de Dupla Fonte: Uma estratégia é proposta para neutralizar o potencial subajuste das novas classes causado pela calibração de margem, utilizando o conhecimento tanto do modelo antigo quanto de um novo modelo independente para garantir um desempenho equilibrado.
Validação Empírica: Experimentos extensos demonstram que o método reduz consistentemente as taxas de inversão negativa enquanto mantém ou melhora a precisão global.

Resultados Experimentais
Os autores avaliaram o MPT nos conjuntos de dados CIFAR100 e ImageNet1K usando as arquiteturas ResNet-18 e ResNet-50, bem como um ViT-B/32 ajustado no CIFAR100.

Taxa de Inversão Negativa (NFR): As variantes do MPT (MPT-KL e MPT-LM) alcançaram consistentemente a menor NFR em comparação com os baselines, incluindo variantes de Treinamento Congruente Positivo (PCT) e ELODI (um método de destilação baseado em ensemble).
Precisão Global: O método manteve taxas de erro (ER) competitivas tanto nas classes antigas quanto nas novas. Em cenários onde o novo modelo utilizava uma arquitetura mais poderosa (ResNet-50 vs. ResNet-18), o MPT ainda superou os baselines na redução de inversões negativas sem sacrificar a precisão global.
Análise Qualitativa: A visualização dos espaços de incorporação (embeddings) mostrou que, enquanto as atualizações padrão ("No Treatment") causaram o deslocamento e a intersecção dos clusters de classes (redução de margem), o MPT conseguiu manter a separação das classes antigas enquanto acomodava adequadamente as novas classes.
Estudos de Ablação: A remoção da calibração de margem ou da destilação de dupla fonte resultou em taxas de inversão negativa mais altas ou redução da precisão nas classes novas, confirmando a necessidade de ambos os componentes.

Significância e Alegações
O artigo afirma que as abordagens existentes para reduzir inversões negativas frequentemente negligenciam a redução progressiva das margens de classe conforme novas categorias são adicionadas. Ao preservar explicitamente essas margens através de viés de logit e equilibrar o processo de aprendizado via destilação de dupla fonte, o MPT oferece uma alternativa computacionalmente eficiente aos métodos de ensemble (que exigem múltiplos modelos na inferência) enquanto alcança um desempenho superior na prevenção de regressão. Os autores posicionam seu trabalho como o primeiro a abordar sistematicamente a preservação da margem de decisão especificamente para a redução de inversões negativas em configurações de aprendizado incremental. Eles reconhecem que o método requer o treinamento de um modelo de referência adicional e o ajuste do parâmetro de viés de margem $k$ , mas afirmam que o custo computacional adicional é modesto em comparação com as abordagens baseadas em ensemble.

O Problema: Quando "Melhor" Significa "Pior"

A Solução: Mantendo a Paz com o MPT

O Que Eles Descobriram

Visualizando a Magia

A Conclusão

Mais como este