🤖 machine learning

Sign-Symmetry Learning Rules are Robust Fine-Tuners

Este artigo demonstra que o ajuste fino de redes neurais pré-treinadas com retropropagação padrão utilizando regras de aprendizagem de Simetria de Sinal alcança paridade de desempenho enquanto aumenta significativamente a robustez do modelo, revitalizando, assim, o potencial de mecanismos de aprendizagem biologicamente inspirados no aprendizado profundo.

Autores originais: Aymene Berriche, Mehdi Zakaria Adjal, Riyadh Baghdadi

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aymene Berriche, Mehdi Zakaria Adjal, Riyadh Baghdadi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer gatos, cachorros e carros. Durante décadas, o padrão ouro para treinar esses cérebros digitais tem sido um método chamado "Backpropagation" (Retropropagação). Pense nisso como um treinador rigoroso e perfeccionista que observa cada movimento do robô, calcula o erro exato até a menor casa decimal e envia um sinal de correção preciso de volta por todo o sistema nervoso do robô. Isso funciona incrivelmente bem, tornando o robô inteligente e rápido. No entanto, este treinador tem uma fraqueza secreta: se alguém colocar um grão de poeira minúsculo, quase invisível, em uma foto de um gato, o robô pode subitamente gritar "É uma torradeira!" porque os cálculos perfeitos do treinador são sensíveis demais a esse pequeno truque. Isso é chamado de "ataque adversarial", e é um grande problema para confiar na IA no mundo real. Cientistas há muito tempo tentam encontrar uma maneira diferente de ensinar robôs — uma que imite como nossos cérebros humanos reais aprendem — usando sinais mais brutos, biológicos, em vez de matemática perfeita. Mas esses métodos "biologicamente plausíveis" geralmente tornavam os robôs mais burros e lentos, então a maioria das pessoas desistiu deles.

Uma equipe de pesquisadores decidiu tentar uma abordagem híbrida inteligente. Eles perguntaram: "E se usarmos o treinador rigoroso para ensinar o básico ao robô, mas depois mudarmos para o treinador biológico, mais bruto, apenas para o polimento final?" Em seu novo estudo, eles pré-treinaram redes neurais (o cérebro do robô) usando o método padrão, perfeito. Depois, em vez de terminar o treinamento com o mesmo treinador rigoroso, usaram um conjunto de regras chamadas "Sign-Symmetry" (Simetria de Sinal). Essas regras são como um treinador que só se importa com a direção do erro (para cima ou para baixo, esquerda ou direita) em vez do tamanho exato do erro. Eles não precisam saber o peso preciso de cada conexão; eles só precisam saber para que lado devem dar o empurrão. Os pesquisadores descobriram que esse polimento final "mais bruto" não tornou o robô menos inteligente. Na verdade, tornou o robô incrivelmente resistente. Quando atacantes tentaram enganar o robô com aqueles grãos de poeira minúsculos e invisíveis, o robô que usou as regras de Sign-Symmetry mal vacilou, enquanto o robô treinado inteiramente com o treinador rigoroso colapsou. Acontece que, ao não serem tão obcecados pela precisão perfeita, o robô tornou-se muito mais difícil de enganar.

A História do Polimento Bruto

Vamos mergulhar em como isso funciona. Os pesquisadores começaram com a ideia de que o treinador rigoroso (Backpropagation) é ótimo para construir uma base sólida. É como aprender a andar de bicicleta com rodinhas que fornecem dados de equilíbrio perfeitos. Mas, uma vez que você sabe andar, talvez não precise mais desses sensores perfeitos. A equipe pegou modelos pré-treinados — redes neurais que já haviam aprendido a reconhecer imagens usando o método padrão — e deram a eles uma sessão de "ajuste fino" (fine-tuning) usando as regras de Sign-Symmetry.

Existem alguns sabores diferentes dessas regras, como uSF (Feedback de Sinal concordante Uniforme), frSF (Feedback de Sinal concordante de Magnitude Aleatória Fixa) e brSF (Feedback de Sinal concordante de Magnitude Aleatória por Lote). Você pode pensar nisso como diferentes maneiras de dar um empurrão no robô. Em vez de dizer: "Você estava 0,043 unidades para a esquerda", o treinador de Sign-Symmetry apenas diz: "Ei, você está inclinando para a esquerda, empurre para a direita!". Ele ignora os números exatos e foca no sinal (positivo ou negativo) do erro.

A equipe testou isso em duas tarefas principais: Classificação de Imagens (dizer o que há em uma foto) e Recuperação de Imagens baseada em Hashing (encontrar fotos semelhantes em um banco de dados gigante). Eles usaram cérebros robóticos populares como AlexNet, VGG-16 e ResNet-18, e testaram em conjuntos de dados famosos como CIFAR-10, MS-COCO e ImageNet.

Os resultados foram surpreendentes e empolgantes. Quando se tratava apenas de ser inteligente, os robôs ajustados com Sign-Symmetry eram tão bons quanto os treinados inteiramente com o treinador rigoroso. Em alguns casos, foram até melhores! Por exemplo, no conjunto de dados CIFAR-10 com um cérebro AlexNet, os métodos de Sign-Symmetry atingiram uma precisão top-1 de 93,75%, superando os 90,62% do treinador padrão. No conjunto de dados ImageNet com um cérebro ResNet-18, eles igualaram a precisão de 87,5% do treinador padrão. A principal conclusão aqui é que você não perde inteligência ao mudar para o treinador mais bruto para as etapas finais.

Mas a verdadeira magia aconteceu quando testaram o quão bem esses robôs lidavam com problemas. Os pesquisadores lançaram "ataques adversariais" contra eles. Estes são como hackers digitais tentando enganar o robô adicionando pequenas quantidades de ruído a uma imagem. Eles usaram dois tipos de ataques: FGSM e PGD. Estes são ataques de "caixa branca" (white-box), o que significa que os hackers sabiam exatamente como o robô pensava e usaram esse conhecimento para criar o truque perfeito.

Quando atacaram os robôs padrão (treinados apenas com Backpropagation), os robôs desmoronaram rapidamente. Conforme os hackers aumentavam o ruído (representado por um valor chamado $\epsilon$ ), a precisão dos robôs padrão despencava. No conjunto de dados ImageNet, quando o nível de ruído chegou a 0,5, a precisão do robô padrão caiu para quase 0%. Foi completamente enganado.

No entanto, os robôs que haviam sido ajustados com Sign-Symmetry foram como botas velhas e resistentes. Eles não colapsaram. Mesmo com o mesmo ruído pesado, eles mantiveram sua precisão muito melhor. Nos experimentos com ResNet-18, a diferença entre o robô padrão e o robô de Sign-Symmetry foi enorme — às vezes uma diferença de 71,88% na precisão sob ataque. A linha do robô padrão caiu como uma pedra, enquanto a linha do robô de Sign-Symmetry desceu suavemente, como um escorregador. Isso sugere que, como as regras de Sign-Symmetry não dependem de gradientes exatos e perfeitos, os hackers não conseguem calcular facilmente o truque perfeito para enganá-los. É como tentar abrir uma fechadura quando os pinos estão ligeiramente soltos e aleatórios; a chave perfeita não funciona mais.

A equipe também verificou se esses robôs eram vulneráveis a ataques de "caixa preta" (black-box), onde o hacker não sabe como o robô pensa e apenas tenta truques aleatórios. Nesses casos, os robôs de Sign-Symmetry tiveram o mesmo desempenho que os padrões. Este é um detalhe crucial: significa que os robôs não se tornaram mais fracos no geral; eles apenas se tornaram especificamente mais difíceis de enganar por hackers que dependem de conhecer a matemática interna do robô.

Os pesquisadores também observaram a tarefa de "hashing", que é como organizar uma biblioteca transformando capas de livros em códigos curtos e únicos. Eles encontraram resultados semelhantes aqui. Quando atacados com métodos como HAG e SDHA, o desempenho dos robôs padrão (medido pela Precisão Média Averaging, ou mAP) desabou. Por exemplo, no ImageNet, o mAP do robô padrão caiu para cerca de 12% em níveis altos de ruído, enquanto os robôs de Sign-Symmetry permaneceram em torno de 40%.

Uma das descobertas mais interessantes foi que o método chamado frSF (Feedback de Sinal concordante de Magnitude Aleatória Fixa) pareceu ser o mais estável e performático de todos. Ele manteve consistentemente sua posição através de diferentes tipos de cérebros robóticos e conjuntos de dados.

Então, o que tudo isso significa? O artigo sugere que não precisamos escolher entre ser inteligente e ser resistente. Podemos ter ambos. Ao usar o treinador rigoroso e perfeito para construir a fundação e depois mudar para o treinador mais bruto, de estilo biológico, para o toque final, obtemos um robô que é tão inteligente quanto, mas muito mais difícil de enganar. Os autores propõem que esta abordagem de "Sign-Symmetry" pode ser uma nova maneira de tornar a IA mais segura e confiável, especialmente em situações em que não podemos nos dar ao luxo de sermos enganados. Eles admitem que mais trabalho é necessário para ver como isso funciona em sistemas ainda maiores e mais complexos, mas os resultados iniciais são um forte indício de que o estilo de aprendizado bruto e turbulento da natureza pode ser o ingrediente secreto que nos faltava para tornar nossos cérebros digitais verdadeiramente robustos.

Resumo Técnico: Regras de Aprendizado de Simetria de Sinal são Ajustadores Finos Robustos

Declaração do Problema
A retropropagação (BP) continua sendo o método dominante para o treinamento de redes neurais devido à sua eficácia na aprendizagem de representações. No entanto, a BP sofre de duas limitações primárias:

Implausibilidade Biológica: A BP depende do "problema do transporte de pesos", exigindo que a passagem de retrocesso utilize a transposta exata das matrizes de pesos da passagem direta, um mecanismo não observado em sistemas biológicos.
Vulnerabilidade Adversária: Modelos treinados por BP são altamente suscetíveis a ataques adversários baseados em gradiente (ex: FGSM, PGD), onde perturbações sutis e imperceptíveis nos inputs causam quedas significativas de acurácia.

Por outro lado, regras de aprendizado biologicamente plausíveis, como o Alinhamento de Feedback (FA) e variantes de Simetria de Sinal (ex: uSF, frSF, brSF), abordam o problema do transporte de pesos utilizando matrizes de feedback de sinal ou aleatórias fixas. Historicamente, esses métodos apresentaram desempenho inferior à BP em termos de acurácia e precisão, levando a um declínio no interesse de pesquisa. O problema central abordado por este trabalho é a lacuna de desempenho entre a BP e os métodos biologicamente plausíveis, e o potencial de alavancar a robustez inerente destes últimos sem sacrificar o desempenho dos primeiros.

Metodologia
Os autores propõem uma estratégia de treinamento híbrida que integra os pontos fortes de ambos os paradigmas:

Pré-treinamento: As espinhas dorsais (backbones) das redes neurais (AlexNet, VGG-16, ResNet-18) são pré-treinadas no ImageNet usando a retropropagação padrão para estabelecer representações de características de alta qualidade.
Ajuste Fino (Fine-tuning): Os modelos pré-treinados são subsequentemente ajustados em tarefas específicas de downstream (Classificação de Imagens e Recuperação de Imagens baseada em Hashing) usando regras de aprendizado de Simetria de Sinal em vez de BP.
- Variantes de Simetria de Sinal: O estudo utiliza três métodos específicos onde a passagem de retrocesso utiliza o sinal dos pesos de avanço (potencialmente com magnitudes aleatórias) em vez dos pesos em si:
  - Feedback de Sinal Uniforme (uSF): $V = \text{sign}(W^T)$
  - Feedback de Sinal de Magnitude Aleatória Fixa (frSF): $V = M \circ \text{sign}(W^T)$ , onde $M$ é uma matriz aleatória fixa.
  - Feedback de Sinal de Magnitude Aleatória por Lote (brSF): Semelhante ao frSF, mas $M$ é redesenhado após cada atualização de parâmetro.
Configuração Experimental: A abordagem foi avaliada em múltiplos datasets (CIFAR-10, MS-COCO, NUS-WIDE, ImageNet, ImageNet100) e arquiteturas. A robustez foi testada contra ataques de caixa branca (FGSM, PGD para classificação; HAG, SDHA para hashing) e ataques de caixa preta (Boundary Attack, HopSkipJump Attack).

Principais Contribuições

Pipeline de Treinamento Inovador: O artigo introduz um método que combina o pré-treinamento por BP com o ajuste fino por Simetria de Sinal, unindo a lacuna entre métodos biologicamente plausíveis e pipelines padrão de deep learning.
Robustez Aprimorada: Os autores demonstram que esta abordagem híbrida melhora significativamente a resistência a ataques adversários baseados em gradiente, mantendo a paridade de desempenho com o ajuste fino padrão por BP.
Validação de Caixa Preta: O estudo valida que o ganho de robustez é específico para ataques baseados em gradiente; o desempenho contra ataques de caixa preta permanece comparável ao da BP, confirmando que o método não introduz instabilidade ou vulnerabilidade geral.
Paridade de Desempenho: Contrariando descobertas anteriores onde métodos biologicamente plausíveis ficavam significativamente atrás, este trabalho mostra que os métodos de Simetria de Sinal (particularmente uSF e frSF) podem alcançar resultados comparáveis a, ou em alguns casos superiores à, BP durante a fase de ajuste fino.

Resultos

Acurácia: Em vários backbones e datasets, o ajuste fino de Simetria de Sinal alcançou pontuações de acurácia top-1 e mAP (mean Average Precision) comparáveis à BP. Em diversas configurações (ex: AlexNet no CIFAR-10 e ImageNet), os métodos de Simetria de Sinal superaram a BP.
Robustez Adversária (Caixa Branca):
- Sob ataques FGSM e PGD, os modelos BP exibiram quedas abruptas de acurácia (ex: caindo para próximo de 0% em $\epsilon=0.1$ para ResNet-18).
- Os modelos de Simetria de Sinal mostraram um declínio de desempenho muito mais gradual. Por exemplo, no ImageNet sob PGD, a BP colapsou enquanto os métodos de Simetria de Sinal retiveram acurácia significativa.
- A lacuna de robustez foi substancial, com diferenças de acurácia atingindo até 71,88% em certas configurações.
Robustez Adversária (Caixa Preta): Contra ataques baseados em decisão (Boundary Attack, HSJA), os modelos de Simetria de Sinal performaram de forma semelhante à BP, indicando que a robustez está especificamente ligada à ofuscação dos gradientes exatos, e não a um aumento geral na dificuldade do modelo.
Especificidades da Tarefa: As melhorias de robustez foram consistentes tanto para tarefas de classificação de imagem quanto para tarefas de recuperação de imagem baseada em hashing.

Significância e Alegações
O artigo postula que as regras de aprendizado de Simetria de Sinal atuam como "ajustadores finos robustos" eficazes. A principal significância reside na descoberta de que métodos biologicamente plausíveis, anteriormente descartados devido à menor acurácia, podem ser integrados com sucesso em pipelines padrão para aumentar a segurança do modelo sem comprometer a utilidade.

Os autores atribuem essa robustez à independência da computação de gradiente precisa. Ao utilizar gradientes aproximados (matrizes de sinal) durante o ajuste fino, o método ofusca a informação exata do gradiente necessária para que atacantes de caixa branca criem perturbações eficazes. O artigo conclui que esta estratégia híbrida oferece um caminho prático para alavancar regras de aprendizado inspiradas na biologia para abordar as limitações de robustez da retropropagação, sugerindo que pesquisas futuras devem explorar as implicações mais amplas desta estratégia em outras propriedades e arquiteturas de redes neurais.

A História do Polimento Bruto

Mais como este