💬 NLP

Continual Visual Learning under Evolving Semantic Concept Shift

Este artigo apresenta o SemReWrite, um framework projetado para lidar com mudanças evolutivas de conceitos semânticos em modelos de fundação visual ao atualizar seletivamente mapeamentos visuais-semânticos obsoletos enquanto preserva o conhecimento válido, validado por meio de um novo benchmark (EvoShift-Bench) e métricas de avaliação especializadas.

Autores originais: Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde as regras para nomear as coisas mudam, mas as coisas em si não mudam. Um carro continua sendo um carro em cada fotografia, mas uma nova lei de trânsito pode subitamente exigir que façamos a distinção entre um "veículo privado", um "caminhão comercial" e um "socorrista de emergência" com base em detalhes sutis que antes eram ignorados. Da mesma forma, um pássaro que antes era simplesmente chamado de "pardal" pode ser reclassificado em duas espécies distintas por um novo estudo científico, ou um defeito de fábrica pode ser redefinido por um padrão de segurança mais rigoroso. Esta é a realidade para sistemas de visão computacional de longa duração: o mundo visual permanece o mesmo, mas o significado que atribuímos a ele evolui. Por décadas, pesquisadores de inteligência artificial focaram em ensinar computadores a reconhecer objetos mesmo quando a iluminação muda ou o ângulo da câmera se desloca. No entanto, um novo desafio surgiu: como ensinamos um computador a atualizar seu dicionário de significados sem apagar o conhecimento que ele já aprendeu?

Uma equipe de pesquisadores abordou este problema desenvolvendo um novo framework chamado SemReWrite. O trabalho deles aborda um cenário específico e difícil conhecido como "mudança de conceito semântico evolutivo". Nesta situação, a evidência visual que a IA vê não muda, mas a definição do que essa evidência representa sim. Considere um sistema de direção autônoma que inicialmente trata todos os veículos em movimento como uma única categoria. Mais tarde, uma nova política exige que o sistema separe carros de passageiros de veículos de emergência porque eles precisam de ações diferentes. As imagens dos carros parecem idênticas, mas a resposta correta para o computador mudou fundamentalmente. Os métodos tradicionais para atualizar modelos de IA costumam falhar aqui. Se você simplesmente treinar o modelo com as novas regras, ele pode aprender as novas distinções, mas esquecer como lidar com as categorias antigas que ainda são válidas. Se você tentar proteger o conhecimento antigo de forma muito estrita, o modelo pode se recusar a aprender as novas regras. Os pesquisadores descobriram que a solução não é escolher entre aprender e lembrar, mas fazer ambos seletivamente.

O cerne de sua abordagem é um sistema que atua como um editor cuidadoso, em vez de uma folha em branco. Quando as regras semânticas mudam, o sistema primeiro analisa a diferença entre a definição antiga e a nova. Ele utiliza um pequeno número de novos exemplos, rotulados com as regras atualizadas, para identificar exatamente quais partes do mundo visual são afetadas por essa mudança. Por exemplo, se a regra muda para distinguir tipos de veículos, o sistema identifica que as características visuais do tamanho ou da forma do veículo tornam-se agora críticas, enquanto as características da estrada ou do clima permanecem irrelevantes para a nova definição. Uma vez que sabe onde a mudança é relevante, o sistema aplica uma atualização direcionada apenas àquelas áreas específicas do processo de decisão do modelo. O restante do modelo, que lida com as partes do mundo que não mudaram, é deixado intocado. Isso garante que o sistema aprenda as novas definições sem desaprender acidentalmente as antigas e corretas.

Para testar essa ideia, os pesquisadores criaram um novo benchmark chamado EvoShift-Bench, que simula várias formas pelas quais os significados podem evoluir. Eles testaram cenários onde uma única categoria se divide em duas, onde duas categorias se fundem em uma, onde a fronteira entre categorias se desloca e onde categorias inteiramente novas são inseridas. Eles também testaram situações em que a aparência visual do mundo muda ao mesmo tempo que as definições, como quando um sistema treinado em fotos nítidas deve se adaptar a esboços ou imagens com baixa luminosidade. Nestes testes, o novo framework superou consistentemente os métodos existentes. Enquanto outras abordagens ou falhavam em aprender as novas regras ou esqueciam as antigas, este método de reescrita seletiva alcançou uma pontuação alta em ambas as áreas. Ele conseguiu aprender as novas distinções enquanto preservava a precisão dos conceitos inalterados.

Os resultados mostram que o sistema é particularmente eficiente. Ele consegue aprender essas novas regras semânticas usando pouquíssimos exemplos — às vezes apenas uma ou duas imagens por nova categoria. Isso é crucial porque, no mundo real, obter um grande número de novas imagens corretamente rotuladas é frequentemente difícil e caro. Os pesquisadores também descobriram que o sistema pode lidar com uma sequência de mudanças ao longo do tempo. À medida que as regras evoluíram através de múltiplas etapas, o sistema continuou a se adaptar sem acumular erros ou perder sua capacidade de reconhecer conceitos estáveis. Crucialmente, o sistema foi capaz de suprimir as associações antigas e incorretas. Ele não apenas aprendeu a resposta nova; ele ativamente parou de prever a resposta antiga, agora errada, para as imagens afetadas. Essa distinção é vital: um bom sistema de adaptação deve não apenas saber o que é verdadeiro agora, mas também saber o que não é mais verdadeiro.

O estudo sugere que o futuro dos sistemas visuais de longa duração reside nesse tipo de atualização seletiva. Em vez de tratar todo o conhecimento como igualmente permanente ou igualmente descartável, esses sistemas devem ser capazes de identificar quais partes de seu entendimento tornaram-se obsoletas e quais partes permanecem válidas. Ao combinar uma compreensão clara de como as definições mudaram com um mecanismo preciso para atualizar apenas as partes necessárias do modelo, os pesquisadores demonstraram um caminho a seguir para uma IA que possa crescer e mudar junto com o mundo que observa. O trabalho não pretende resolver todos os problemas da inteligência artificial, mas oferece um método concreto e eficaz para lidar com a realidade específica e complexa das mudanças de significados em um mundo visual estático.

Resumo Técnico: Aprendizado Visual Contínuo sob Mudança Evolutiva de Conceito Semântico

1. Definição do Problema: Mudança Evolutiva de Conceito Semântico

O artigo aborda uma limitação crítica nos atuais modelos de fundação visual e estratégias de adaptação: a suposição de que, embora a aparência dos dados possa mudar (desvio de covariável/covariate shift), o significado semântico da tarefa de predição permanece fixo. Em sistemas de longa duração (ex: condução autônoma, inspeção industrial, monitoramento ecológico), as definições dos próprios conceitos evoluem devido a mudanças em taxonomias, políticas ou critérios de decisão.

Os autores definem Mudança Evolutiva de Conceito Semântico como um cenário onde a probabilidade condicional $P(Y|X)$ muda mesmo quando a distribuição marginal da evidência visual $P(X)$ permanece constante. Neste cenário:

O mesmo input visual pode exigir uma interpretação semântica diferente ao longo do tempo.
A adaptação de domínio convencional falha porque assume que a semântica da tarefa é estática.
O aprendizado contínuo (CL) padrão falha porque seu objetivo principal é prevenir todo o esquecimento, enquanto a evolução semântica exige o esquecimento seletivo de associações obsoletas enquanto se preservam as válidas.
Crucialmente, essa mudança é frequentemente inidentificável apenas através de fluxos visuais não rotulados; se a distribuição da imagem não muda, testes estatísticos não podem detectar que a regra de rotulagem mudou. Portanto, a adaptação requer informações laterais explícitas sobre a revisão semântica.

2. Metodologia: O Framework SEMREWRITE

Os autores propõem o SEMREWRITE, um framework projetado para atualizar seletivamente mapeamentos visuais-semânticos obsoletos enquanto preserva o conhecimento válido. O framework opera através de quatro etapas principais:

A. Representação da Mudança Semântica

O sistema compara a especificação semântica antiga ( $S_t$ ) e a especificação revisada ( $S_{t+1}$ ) usando um codificador de texto congelado (ex: do CLIP).

Protótipos: As definições semânticas são codificadas como protótipos de texto normalizados ( $z_c$ ).
Delta Semântico: Para conceitos persistentes, a mudança é representada como um vetor de deslocamento $\Delta z_c = z_{t+1}^c - z_t^c$ . Este vetor captura a direção do movimento semântico no espaço de embedding de linguagem.
Memória de Grafo: Uma memória estruturada de conceitos semânticos ( $G_t$ ) mantém relações (ex: é-um, parte-de) para lidar com operações complexas como divisão, fusão e redefinição de conceitos.

B. Localização de Conceitos Afetados

Como o fluxo visual sozinho não pode revelar a mudança, o framework combina a especificação semântica com um pequeno conjunto de exemplos de supervisão revisados ( $D_{few}$ ) para estimar quais inputs são afetados.

Discrepância Semântica: Calcula a divergência de Jensen-Shannon (JS) entre as distribuições de probabilidade induzidas pelo texto antigo e pelo revisado para um input $x$ .
Localizador de Nível de Amostra: Uma rede leve $g_\psi$ é treinada nos exemplos revisados esparsos para prever um "alvo de mudança" $r_i$ , indicando se o rótulo de um input mudou em relação ao modelo antigo.
Portão de Reescrita (Rewrite Gate): Esses sinais são combinados em um portão contínuo $a(x) \in [0, 1]$ , que estima a probabilidade de um input $x$ requerer reescrita semântica.

C. Reescrita Seletiva de Conceitos

O framework emprega um mecanismo de adaptação de baixo rank dependente do input.

Atualização de Baixo Rank: Em vez de realizar o fine-tuning de todo o backbone, ele introduz matrizes de baixo rank treináveis $U, V$ (estilo LoRA) para criar uma transformação residual.
Adaptação Modulada: O residual é escalonado pelo portão $a(x)$ $a (x)$ .
- Se $a(x) \approx 1$ (região afetada), o modelo aplica uma atualização forte para alinhar-se com as novas semânticas.
- Se $a(x) \approx 0$ (região não afetada), o modelo permanece próximo à representação congelada, preservando o conhecimento válido.

D. Objetivos de Aprendizado

A perda de treinamento ( $L_{total}$ ) é uma soma ponderada de cinco componentes:

$L_{new}$ : Cross-entropy padrão na supervisão revisada para aprender a nova regra.
$L_{pres}$ : Uma perda de preservação que destila o conhecimento apenas para conceitos com semânticas inalteradas e o pondera por $(1-a(x))$ para proteger regiões não afetadas.
$L_{erase}$ : Um objetivo para suprimir explicitamente a probabilidade de decisões antigas conflitantes em amostras afetadas (prevenindo associações obsoletas "fantasmagóricas").
$L_{sem}$ : Uma perda de consistência semântica garantindo que os protótipos adaptados permaneçam próximos de suas definições de texto e preservem estruturas de grafo relacional.
$L_{reg}$ : Regularização para manter as atualizações de baixo rank compactas.

3. Principais Contribuições

Formulação do Problema: O artigo define formalmente a Mudança Evolutiva de Conceito Semântico, distinguindo-a de desvio de covariável, adaptação de domínio e aprendizado incremental de classe padrão. Destaca a impossibilidade teórica de detectar tais mudanças usando apenas dados visuais não rotulados.
Framework (SEMREWRITE): Uma arquitetura inovadora que acopla informação lateral semântica explícita com supervisão esparsa para localizar regiões afetadas e realizar a reescrita seletiva e dependente de input do modelo.
Benchmark (EVOSHIFT-BENCH): Um novo conjunto de avaliação abrangendo ImageNet, iNaturalist, CUB-200-2011 e DomainNet. Cobre diversos tipos de mudança: divisão de classe, fusão, revisão de fronteira, inserção, redefinição parcial, recorrência e mudanças mistas de semântica-aparência.
Métricas de Avaliação: Os autores introduzem métricas especificamente para revisão seletiva:
- Acurácia de Reescrita (RA): Desempenho em regiões afetadas.
- Acurácia de Preservação (PA): Desempenho em regiões não afetadas.
- Retenção de Obsoletos (OR): A probabilidade retida por associações semânticas desatualizadas.
- Pontuação de Revisão Seletiva (SRS): Uma média harmônica de RA e PA para equilibrar reescrita e preservação.

4. Resultados Experimentais

Experimentos foram conduzidos usando CLIP ViT-B/16 (e validados em SigLIP e DINOv2) contra baselines incluindo fine-tuning total, LoRA, métodos de aprendizado contínuo (EWC, LwF, Replay) e adaptação baseada em prompts.

Equilíbrio de Desempenho: O SEMREWRITE alcançou a maior Pontuação de Revisão Seletiva (SRS) em todos os tipos de mudança (ex: 90,7% de SRS médio vs. 80,1% para Full Fine-Tuning e 81,5% para Replay).
Esquecimento Seletivo: Enquanto o Full Fine-Tuning alcançou alto RA (84,7%), mas baixo PA (80,1%), indicando esquecimento catastrófico de conceitos estáveis, o SEMREWRITE alcançou tanto alto RA (88,9%) quanto alto PA (93,4%).
Supressão de Obsoletos: O SEMREWRITE reduziu significativamente a Retenção de Obsoletos (OR) para 7,9%, comparado a 13,6% para Full Fine-Tuning e 21,9% para Replay, demonstrando sua capacidade de remover ativamente regras desatualizadas em vez de apenas sobrescrevê-las.
Eficiência de Anotação: O método permaneceu eficaz com supervisão extremamente esparsa (1-shot), aproveitando a especificação semântica como um forte prior.
Mudanças Mistas: Em cenários combinando mudanças semânticas com mudanças de covariável (ex: esboço ou corrupção), o SEMREWRITE superou métodos de adaptação de domínio (como StatA) e métodos baseados apenas em prompts, que falharam em lidar com a mudança simultânea nas regras de decisão.
Evolução Contínua: Ao longo de cinco revisões sequenciais, o SEMREWRITE manteve o PA acima de 92% e manteve o OR abaixo de 10%, mostrando estabilidade sem acumular interferência.

5. Significância e Alegações

O artigo afirma que o sucesso da adaptação sob evolução semântica requer uma mudança de paradigma de "prevenir todo o esquecimento" para "preservar seletivamente o que permanece verdadeiro enquanto reescreve o que se tornou obsoleto."

Os autores argumentam que:

Métodos de adaptação padrão são insuficientes porque ou falham em atualizar a fronteira de decisão (apenas prompts) ou destroem o conhecimento válido (fine-tuning global).
Métodos de aprendizado contínuo são insuficientes porque tratam todo o conhecimento anterior como valioso, falhando em distinguir entre "esquecimento prejudicial" (perda de conceitos válidos) e "esquecimento desejável" (remoção de associações obsoletas).
O framework SEMREWRITE proposto demonstra que, ao modelar explicitamente a mudança semântica e localizar seu impacto visual, os modelos podem se adaptar a definições evolutivas sem exigir retreinamento massivo ou sofrer de interferência catastrófica.

O trabalho conclui que o desafio central em sistemas visuais de longa duração não é apenas aprender novas distribuições de dados, mas gerenciar dinamicamente a validade dos mapeamentos semânticos conforme as definições do mundo mudam.