💻 computer science

Continual Video-MLLM Adaptation over Evolving Domains

Este artigo propõe o Roteamento de Especialistas Sensível à Distribuição (DAER), um framework eficiente em parâmetros que emprega especialistas leves isolados por domínio com mecanismos de roteamento intra e interdomínio para permitir que os Video-MLLMs se adaptem a domínios em constante evolução, enquanto previne o esquecimento catastrófico e a interferência entre domínios.

Autores originais: Rui Cheng, Meixing Shi, Yuxiang Cai, Jingcai Guo, Jianwei Yin, Zhi Chen

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rui Cheng, Meixing Shi, Yuxiang Cai, Jingcai Guo, Jianwei Yin, Zhi Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a entender o mundo através de vídeos. Este robô, um "Modelo de Linguagem de Grande Escala Multimodal de Vídeo" (Video-MLLM), é como um aluno brilhante que já leu todos os livros e assistiu a todos os filmes já feitos. Ele sabe responder perguntas sobre um gato perseguindo um ponteiro laser ou um carro dirigindo através de uma tempestade. Mas aqui está o detalhe: no mundo real, novos tipos de vídeos não aparecem todos de uma vez; eles chegam um por um, dia após dia. Talvez hoje sejam câmeras de trânsito, amanhã desenhos animados e, no dia seguinte, experimentos de física.

O problema é que, quando você ensina algo novo a este robô, ele costuma esquecer o que aprendeu ontem. Isso é chamado de "esquecimento catastrófico". É como um aluno que estuda para uma prova de matemática, passa nela, mas imediatamente esquece como ler porque estava focado demais na nova matemática. Tentativas anteriores de corrigir isso envolveram tentar fazer o robô aprender tudo em um único cérebro compartilhado e gigante, mas isso causou muita confusão, ou tentaram salvar os vídeos antigos para mostrar ao robô mais tarde, o que consome muita memória. Os cientistas queriam uma maneira de ensinar o robô coisas novas continuamente sem perder suas habilidades antigas ou precisar de uma biblioteca massiva de vídeos antigos.

Surge então uma nova equipe de pesquisadores que criou uma solução inteligente chamada DAER (Roteamento de Especialistas Consciente da Distribuição). Pense no cérebro do robô como uma gigantesca biblioteca congelada que nunca muda. Em vez de reescrever os livros da biblioteca, o DAER constrói um conjunto de pequenos "grupos de estudo" especializados ou "equipes de especialistas" que ficam do lado de fora da biblioteca. Cada equipe é dedicada a um tipo específico de vídeo, como uma "Equipe de Trânsito", uma "Equipe de Desenhos Animados" ou uma "Equipe de Ciência".

Quando um novo vídeo chega, o sistema não apenas adivinha qual equipe usar. Em vez disso, ele usa uma ferramenta de "detetive" especial chamada MMD (Discrepância de Média Máxima). Imagine que esta ferramenta é um farejador de aromas que pode cheirar a "vibe" do vídeo. Se o vídeo cheira a uma rodovia movimentada, o farejador o direciona para a Equipe de Trânsito. Se o vídeo cheira a um desenho animado engraçado, ele vai para a Equipe de Desenhos Animados. Isso garante que a Equipe de Trânsito aprenda apenas sobre carros e nunca se confunda com desenhos animados, e vice-versa. Isso mantém o aprendizado limpo e evita que o robô misture suas memórias.

Mas e se o robô não souber o nome da categoria do vídeo enquanto o está assistindo? Sem problemas. O sistema tem um segundo detetive que observa o vídeo em um "espaço discriminativo" especial (uma maneira sofisticada de dizer que ele olha para a impressão digital única do vídeo) para descobrir qual equipe de especialistas deve assumir o controle. Melhor ainda, se dois tipos de vídeos forem muito semelhantes (como dois tipos diferentes de vídeos de trânsito), o sistema pode fundir gentilmente seus grupos de estudo para economizar espaço, para que o robô não fique inchado com muitas equipes.

A equipe testou essa ideia em um desafio difícil: ensinar o robô dez tipos muito diferentes de perguntas de vídeo, variando de "Como está o trânsito?" até "Por que este truque de mágica é engraçado?". Eles usaram dois cérebros robóticos poderosos para testar seu método. Os resultados foram impressionantes. Em um dos cérebros robóticos mais fortes (InternVideo2.5-8B), o método deles aumentou a precisão média de 64,38% para 67,59%. Mais importante ainda, impediu o robô de esquecer as lições antigas. Enquanto outros métodos faziam o robô esquecer 1,81% do que sabia, o DAER na verdade reduziu o esquecimento para -0,14%, o que significa que o robô lembrou de tudo perfeitamente e até melhorou ligeiramente nas tarefas antigas.

A equipe também mostrou que seu método é muito mais eficiente. Enquanto um método anterior de topo precisava de 302,30 milhões de parâmetros treináveis e levava 1,46 segundos para processar um vídeo, o DAER precisou de apenas 139,54 milhões de parâmetros e 1,33 segundos. Isso significa que o robô aprende mais rápido, usa menos energia e não precisa de um computador enorme para rodar.

Em resumo, o artigo sugere que, ao manter o cérebro principal congelado e usar equipes especializadas inteligentes que são roteadas pelo "aroma" dos dados, podemos ensinar a IA a aprender continuamente em um mundo em constante mudança sem perder a sanidade. Os pesquisadores descobriram que essa abordagem funciona melhor do que tentar compartilhar um único cérebro ou apenas reproduzir vídeos antigos, ofereando uma maneira estável e eficiente para os robôs de vídeo se tornarem mais espertos a cada dia.

Resumo Técnico: Roteamento de Especialistas Sensível à Distribuição (DAER) para Adaptação Contínua de Video-MLLM

1. Declaração do Problema

Modelos de Linguagem Multimodais de Vídeo (Video-MLLMs) demonstraram capacidades robustas de compreensão de vídeo, porém sua adaptação a domínios que evoluem sequencialmente permanece pouco explorada. Em implantações do mundo real, os dados de vídeo chegam continuamente de domínios heterogêneos (ex: cenas de tráfego, desenhos animados educativos, raciocínio abstrato) com mudanças significativas no estilo visual, composição de cena e demandas de raciocínio.

O desafio central é o aprendizado contínuo incremental de domínio: o modelo deve adquirir novos conhecimentos específicos de domínio sem sobrescrever as capacidades aprendidas anteriormente (esquecimento catastrófico) ou sofrer interferência cruzada severa entre domínios. As abordagens existentes enfrentam limitações específicas:

Métodos baseados em regularização lutam contra grandes mudanças de domínio.
Métodos baseados em replay incorrem em altos custos de memória e levantam preocupações de privacidade.
Métodos baseados em prompts e adaptadores frequentemente dependem de espaços de adaptação compartilhados ou particionamento de parâmetros suaves, que são insuficientes para evitar a interferência entre domínios altamente heterogêneos.
Identidade da Tarefa: Uma dificuldade prática é a ausência de identificadores explícitos de tarefa no momento da inferência, tornando difícil selecionar o módulo de adaptação correto.

2. Metodologia: Roteamento de Especialistas Sensível à Distribuição (DAER)

Os autores propõem o DAER, um framework de eficiência de parâmetros que combina isolamento estrito de parâmetros com roteamento sensível à distribuição. O framework mantém um backbone de Video-MLLM pré-treinado congelado para preservar o conhecimento multimodal geral, enquanto confina todo o aprendizado incremental a pools de especialistas leves do tipo LoRA.

Componentes Principais:

Pools de Especialistas Isolados por Domínio:
Em vez de um adaptador compartilhado, o DAER aloca um conjunto dedicado de especialistas leves para cada tarefa. Durante o aprendizado da tarefa $t$ , os parâmetros de tarefas anteriores permanecem congelados (a menos que sejam mesclados), garantindo que as atualizações de gradiente para a tarefa atual não desloquem o espaço de parâmetros das tarefas mais antigas.
Roteamento Intra-Domínio Sensível à Distribuição (IntraDAR):
Para permitir especialização fina dentro de um domínio, o DAER utiliza um mecanismo de roteamento não paramétrico baseado em Discrepância de Média Máxima (MMD).

Ele mapeia estados ocultos de entrada para um espaço de representação de domínio.
Mantém um reservatório de protótipos de nível de especialista para cada especialista.
As decisões de roteamento são feitas combinando a representação de entrada com esses reservatórios usando similaridade baseada em kernel (aproximando a minimização da MMD). Isso ativa o especialista cuja distribuição modelada melhor se ajusta à entrada atual, em vez de depender de uma rede de gating paramétrica.

Roteamento Inter-Domínio Sensível à Distribuição (InterDAR):
Para abordar a falta de identificadores de tarefa na inferência, o DAER realiza a predição de tarefa via correspondência de protótipos.

Mantém um reservatório de protótipos de nível de domínio para cada tarefa, agregando representações semânticas de vídeo e texto.
A correspondência ocorre em um subespaço discriminativo (aprendido via projeção de dois estágios para remover direções redundantes de baixa variância e ampliar as margens inter-domínio) em vez do espaço de características bruto.
O modelo prevê o ID da tarefa encontrando o domínio com a maior afinidade de protótipo, então ativa o pool de especialistas correspondente.

Mesclagem Adaptativa de Domínio (ADM):
Para evitar que a contagem de parâmetros cresça linearmente com o número de tarefas, o DAER introduz uma estratégia de mesclagem. Ele quantifica a discrepância de distribuição entre a tarefa atual e as tarefas históricas usando MMD entre os reservatórios de protótipos de nível de domínio. Se a discrepância cair abaixo de um limiar $\tau$ , os parâmetros do especialista da tarefa atual são calculados pela média com os de uma tarefa histórica mais similar.
Estratégia de Otimização de Dois Estágios:
Para estabilizar o aprendizado e evitar instabilidade de "cold-start":

Estágio de Warm-up: Uma rede de gating auxiliar inicializa os reservatórios de protótipos e estabelece um espaço de roteamento estável sem depender do mecanismo de roteamento MMD.
Treinamento Principal: O mecanismo de roteamento completo do DAER é ativado, e os parâmetros dos especialistas são otimizados de ponta a ponta usando perda de entropia cruzada padrão.

3. Configuração Experimental

Benchmark: Um benchmark de incremento de domínio construído a partir de 10 datasets de VidQA cobrindo diversos ambientes (MSVD, MSRVTT, Tráfego, Pororo, SVQA, Física, Magia, Humor, Criatividade, Abstração).
Backbones: Avaliado em dois fortes Video-MLLMs: InternVideo2.5-8B e VideoLLaMA3.
Métricas: Acurácia Média ( $A_t$ ) e Esquecimento Retroativo ( $BWF_t$ ).
Baselines: Comparado contra métodos Zero-Shot, Fine-tuning Sequencial, baseados em Regularização (LwF, EWC), baseados em Prompt (L2P, CODA-Prompt, S-Prompts) e baseados em Adaptador (MoE-Adapters, DAM).

4. Resultados Principais

Desempenho: No InternVideo2.5-8B, o DAER alcançou uma acurácia média de 67,59%, superando o baseline anterior mais forte (DAM) em 3,21% (64,38%).
Esquecimento: O DAER reduziu o esquecimento retroativo para -0,14 (indicando uma leve melhoria nas tarefas antigas), comparado ao DAM com 1,81 e outros baselines variando de 2,48 a 4,24.
Generalização: No VideoLLaMA3, o DAER melhorou a acurácia média de 61,97% (DAM) para 63,79% enquanto reduziu o esquecimento de 1,93 para 0,02.
Robustez: Em um cenário de 20 tarefas (dividindo domínios em sub-tarefas), o DAER manteve uma acurácia média de 65,89% com um escore de esquecimento negativo (-0,47), superando significativamente o DAM.
Eficiência: O DAER alcançou maior acurácia com 139,54M de parâmetros treináveis, comparado aos 302,30M do DAM. Isso representa uma redução de 53,84% nos parâmetros treináveis e uma redução de 92,67% nos GFLOPs, mantendo latência comparável.

5. Significância e Alegações

O artigo afirma que o DAER fornece uma solução eficaz e escalável para a adaptação contínua de Video-MLLM sob domínios em evolução. Sua significância reside em:

Desacoplamento de Adaptação: Separar com sucesso a adaptação específica de domínio do conhecimento multimodal geral ao congelar o backbone e usar especialistas isolados.
Roteamento Sensível à Distribuição: Demonstrar que o roteamento não paramétrico baseado em MMD (tanto intra quanto inter-domínio) é superior ao gating paramétrico para lidar com mudanças de domínio heterogêneas sem IDs de tarefa explícitos.
Escalabilidade: Provar que a mesclagem adaptativa de domínio permite que o modelo lide com fluxos longos de tarefas sem crescimento ilimitado de parâmetros.
Estado da Arte: Estabelecer novos benchmarks de desempenho para VidQA de incremento de domínio, mostrando que combinar a adaptação de especialista isolado por domínio com roteamento sensível à distribuição gera estabilidade e acurácia robustas.

Os autores enfatem que sua abordagem aborda o problema aberto de adaptação robusta específica de domínio sem identidade de tarefa explícita, enquanto preserva amplamente as capacidades zero-shot do modelo pré-treinado.