🤖 machine learning

EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample

EVA-0 é um framework de adaptação de ordem zero mínima que permite a evolução eficiente do modelo no momento do teste com apenas duas passagens diretas por amostra, superando obstáculos-chave de otimização sem retropropagação para alcançar desempenho superior e acelerações significativas em relação aos métodos existentes.

Autores originais: Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de IA altamente treinado, como um aplicativo de navegação inteligente, que foi ensinado a dirigir perfeitamente em rodovias ensolaradas e claras. Mas agora, você o implantou em uma cidade caótica onde começa a chover repentinamente, as estradas estão cobertas de neve e os sinais estão borrados.

A maioria dos sistemas de IA fica "congelada" assim que sai do laboratório. Eles não conseguem aprender com essas novas condições desordenadas. Para corrigi-los, os engenheiros geralmente precisam recolher o carro, reentrená-lo em uma garagem enorme (usando backpropagation, que é como um processo pesado, caro e que consome muita memória) e depois enviá-lo de volta. Isso é lento, caro e impossível para dispositivos pequenos como um smartwatch ou um drone.

Alguns métodos mais recentes tentam permitir que a IA aprenda sobre a marcha, sem esse reentrenamento pesado. Mas eles frequentemente exigem que a IA "pense" sobre o mesmo problema dezenas de vezes para descobrir a direção correta, o que ainda é muito lento para uso em tempo real.

Apresentamos o EVA-0: O Gênio de "Duas Tentativas"

Os autores deste artigo propõem um novo método chamado EVA-0. Sua grande ideia é simples, mas poderosa: Uma IA pode aprender e se adaptar eficazmente ao observar um problema apenas duas vezes?

Eles dizem "Sim". Veja como fizeram isso funcionar, usando algumas analogias criativas:

1. O Problema: A Armadilha do "Atalho"

Imagine que você está tentando perder peso (melhorar a IA).

O Atalho: Você poderia simplesmente parar de comer totalmente. A balança (a função de perda) mostrará que você está perdendo peso imediatamente, mas você não está realmente ficando mais saudável; você está apenas passando fome. Em termos de IA, o modelo encontra um "atalho" onde finge uma boa resposta inflando seus números de confiança, em vez de realmente entender a imagem.
A Correção do EVA-0: Os autores projetaram um "plano de dieta" especial (um objetivo invariante de escala) que impede a IA de trapacear. Isso força a IA a realmente aprender as características corretas, e não apenas inflar seus números de confiança para parecer boa.

2. O Problema: Se Perder (Deriva de Pesos)

Imagine que você está caminhando em uma floresta nebulosa. Se você der passos aleatórios para encontrar o caminho, pode acabar vagando quilômetros para longe da trilha. Na IA, dar "chutes" aleatórios para melhorar pode fazer o modelo desviar tanto de seu treinamento original que ele esquece tudo o que sabia.

A Correção do EVA-0: Eles introduziram uma Âncora. Pense nisso como uma corda resistente amarrada a uma árvore lá atrás, no início da trilha. A IA tem permissão para vagar e explorar para encontrar o novo caminho, mas a corda puxa-a suavemente de volta se ela começar a desviar muito. Isso mantém a IA estável, enquanto ainda permite que ela aprenda.

3. O Problema: Chutar a Direção

Geralmente, para saber para onde ir, você pode tentar andar para frente, ver se é melhor, depois andar para trás e comparar.

O Jeito Antigo: Alguns métodos usam um chute "de um lado só" (apenas ande para frente e torça). Isso é ruidoso e pouco confiável.
O Truque do EVA-0: Eles usam uma abordagem Simétrica de Dois Lados. Eles pedem que a IA olhe para o problema duas vezes: uma vez com um pequeno "empurrão" para a esquerda e uma vez com um pequeno "empurrão" para a direita.
- A Magia: Ao calcular a média dos resultados desses dois empurrões, eles obtêm uma imagem muito clara do que a resposta teria sido sem nenhum empurrão (para que possam fazer uma previsão).
- A Eficiência: Ao comparar a diferença entre o empurrão para a esquerda e o empurrão para a direita, eles descobrem exatamente para onde se mover para melhorar.
- O Resultado: Eles obtêm tanto uma previsão quanto um sinal de aprendizado das exatas mesmas duas olhadas. Nenhuma etapa extra é necessária.

Por Que Isso Importa

O artigo testou isso em imagens corrompidas (borradas, ruidosas, nevadas) usando dois tipos de modelos de IA (ViT e ResNet).

Velocidade: É 14 vezes mais rápido que os métodos anteriores de "sem backpropagation" porque não precisa chutar 28 vezes como os métodos antigos; ele chuta apenas duas vezes.
Memória: Usa uma fração minúscula da memória (cerca de 822 MB versus 5 GB para outros métodos), o que significa que pode rodar em dispositivos pequenos e de borda, como celulares ou sensores.
Desempenho: Funciona melhor do que alguns métodos que usam a backpropagation pesada e cara, e é o primeiro método a fazer isso sem precisar de nenhum "dados de origem" (aprende puramente a partir do novo mundo bagunçado).

Em resumo: O EVA-0 é uma maneira de permitir que uma IA aprenda com seus erros em tempo real, usando apenas dois rápidos olhares para o problema, sem se perder, sem trapacear e sem precisar de um supercomputador para fazê-lo. Ele transforma um modelo "congelado" em um "vivo" que pode se adaptar ao mundo real sobre a marcha.

Resumo Técnico: EVA-0

Declaração do Problema

Os modelos de IA modernos são cada vez mais implantados em ambientes dinâmicos sujeitos a deslocamentos de distribuição (por exemplo, variações de sensores, mudanças no comportamento do usuário). Embora a Adaptação no Tempo de Teste (TTA) vise permitir que os modelos aprendam com experiências não rotuladas no tempo de teste, a maioria dos métodos existentes depende da retropropagação (BP). A BP incorre em uma sobrecarga substancial de memória, tornando-a incompatível com dispositivos de borda com recursos limitados, modelos quantizados, aceleradores especializados ou configurações de modelos de caixa preta.

Esforços recentes exploraram TTA sem BP usando otimização de ordem zero (ZO). No entanto, os métodos ZO existentes enfrentam limitações significativas:

Eficiência vs. Desempenho: Métodos como FOA exigem muitas passagens para frente (por exemplo, 28) para sinais estáveis, enquanto métodos como ZOA, que operam sob um orçamento estrito de duas passagens para frente, sofrem com direções de atualização grosseiras e ruidosas.
Desafios de Otimização: A otimização ZO é propensa a aprender "soluções de atalho" (por exemplo, reduzir a entropia via inflação da norma de logits em vez de melhorar as fronteiras de decisão), sofre de deriva de pesos descontrolada e luta com a estimativa eficaz da direção de atualização sob restrições computacionais apertadas.

A questão central abordada é: Um modelo implantado pode evoluir de forma estável e eficaz a partir de experiências não rotuladas no tempo de teste usando apenas duas passagens para frente por amostra, sem retropropagação?

Metodologia: EVA-0

Os autores propõem EVA-0 (Adaptação Evolutiva com Gradientes de Ordem Zero), um framework mínimo projetado para alcançar a evolução estável do modelo no tempo de teste sob um orçamento estrito de duas passagens para frente. O EVA-0 aborda os desafios identificados através de três princípios de design centrais:

1. Perturbação Simétrica de Dois Lados por Amostra (SSD)

Para superar o ruído e a ineficiência dos estimadores ZO de um lado, aderindo simultaneamente à restrição de duas passagens para frente:

Mecanismo: Para cada amostra $x_i$ , o modelo avalia duas perturbações simétricas: $f_{\theta_t + \mu z_{t,i}}(x_i)$ e $f_{\theta_t - \mu z_{t,i}}(x_i)$ .
Utilidade Dupla: Essas duas passagens para frente servem a um duplo propósito:
- Inferência: As saídas são médias para aproximar a previsão limpa do modelo (cancelando termos de perturbação de primeira ordem via expansão de Taylor), eliminando a necessidade de uma terceira passagem para frente "limpa".
- Adaptação: A diferença nas perdas entre as duas saídas simétricas fornece uma estimativa de gradiente SPSA de dois lados com menor variância.
Independência por Amostra: Diferentemente de perturbações em nível de lote, o EVA-0 aplica perturbações independentes a cada amostra dentro de um mini-lote. Isso aumenta a diversidade das direções de atualização exploradas, melhorando significativamente o alinhamento com os verdadeiros gradientes de BP em comparação com perturbações de lote compartilhadas.

2. Objetivos Resistentes a Atalhos

Para prevenir que a otimização ZO explore atalhos (por exemplo, inflar normas de logits para minimizar a entropia sem aprender):

Entropia Invariante à Escala: O EVA-0 emprega um objetivo de entropia invariante à escala ( $E_{SR}$ ). Ele normaliza os logits das saídas perturbadas pela sua norma média e aplica descentralização (subtraindo um centro online). Isso impede que o modelo reduza a entropia simplesmente inflando a magnitude dos logits.
Alinhamento de Características por Amostra: Quando estatísticas de origem estão disponíveis, o EVA-0 usa uma perda de alinhamento de características por amostra ( $\ell_{SWA}$ ). Em vez de estimar variância a partir de uma única amostra ruidosa, ele rastreia os momentos de primeira e segunda ordem das características online via Média Móvel Exponencial (EMA) para reconstruir uma estimativa de variância estável para alinhamento.

3. Controle de Trajetória Guiado por Âncora

Para mitigar o acúmulo de deriva de pesos comum em atualizações ZO aleatórias:

Perturbação Guiada por Âncora: Uma âncora confiável (por exemplo, pesos pré-treinados ou uma EMA de parâmetros online em movimento lento) é mantida. A distribuição de perturbação $D_t$ é adaptativa: um subconjunto de amostras explora direções aleatórias, enquanto outras são guiadas pelo vetor apontando para a âncora.
Relaxamento de Pesos: Após a atualização ZO, um passo de relaxamento fraco funde os pesos atualizados com a âncora ( $\theta_{t+1} = (1-\gamma)\theta'_{t+1} + \gamma\theta_{anc}$ ). Isso atua como um limite suave, removendo ruído da trajetória e impedindo que o modelo desvie muito para regiões instáveis, mantendo a plasticidade para adaptação.

Principais Contribuições

Configuração Estrita de Duas Passagens para Frente: O artigo estabelece e investiga o regime desafiador de evolução do modelo no tempo de teste com apenas duas passagens para frente por amostra e sem retropropagação, impulsionando a TTA em direção a uma implantação real altamente eficiente.
Análise Sistemática das Limitações ZO: Os autores revelam três obstáculos específicos na TTA de ordem zero: suscetibilidade a soluções de atalho, deriva de pesos descontrolada e estimativa ineficaz da direção de atualização sob orçamentos estritos.
Framework EVA-0: Um método unificado que integra objetivos invariantes à escala, controle de trajetória guiado por âncora e perturbações simétricas por amostra.
Validação Abrangente: Experimentos extensos em CNNs (ResNet50-GN), Transformers de Visão (ViT-Base), modelos quantizados (6 bits/8 bits), fluxos contínuos e configurações de caixa preta.

Resultados Experimentais

Avaliado no ImageNet-C (15 corrupções, nível de severidade 5):

Desempenho: O EVA-0 supera tanto métodos baseados em BP (por exemplo, DeYO) quanto baselines sem BP (FOA, ZOA, FOZO). No ViT-Base, o EVA-0 alcança 66,7% de precisão média, superando o DeYO (65,7%) e o ZOA (61,3%).
Eficiência: O EVA-0 alcança um aceleramento de 14× sobre o FOA (que requer 28 passagens para frente) e reduz significativamente o uso de memória em comparação com métodos baseados em BP (822 MB vs. 5.350 MB para o DeYO no ViT-Base).
Modelos Quantizados: O EVA-0 permite que um ViT quantizado em 6 bits supere um ViT não adaptado em 32 bits em 4,4% de precisão em dados fora da distribuição (OOD), demonstrando sua viabilidade para implantação na borda.
Adaptação Contínua: Em configurações de TTA contínua de longo prazo onde os modelos evoluem através de domínios sem redefinição, o EVA-0 mantém estabilidade (45,6% de precisão no ResNet50-GN), enquanto outros métodos (por exemplo, FOA, DeYO) sofrem degradação significativa.
Adaptação de Caixa Preta: O EVA-0 adapta efetivamente prompts de entrada em configurações de caixa preta, superando o FOA em 5,3% sob a restrição de duas passagens para frente.

Significado e Alegações

O artigo afirma que a evolução de modelo apenas com passagem para frente não é meramente um compromisso para cenários restritos, mas um caminho promissor e escalável para inteligência adaptativa implantada.

Ao unificar objetivos resistentes a atalhos, controle de trajetória e estimativa eficiente de direção, o EVA-0 demonstra que a evolução eficaz, estável e eficiente de modelos é possível sob restrições de implantação extremamente restritivas (duas passagens para frente, sem BP). Este trabalho sugere que os modelos podem aprender significativamente a partir de sua própria experiência não rotulada em ambientes do mundo real com recursos limitados, sem o alto custo computacional da retropropagação.