Resumo Técnico: VISCOP (Visual Contextualized Probing) para Adaptação de Domínio de Vídeo

1. Definição do Problema

Grandes Modelos de Visão-Linguagem (VLMs) demonstram um desempenho robusto em tarefas gerais de raciocínio visual, mas sofrem uma degradação significativa quando implantados em novos domínios caracterizados por mudanças substanciais de distribuição (ex.: mudanças de perspectiva, modalidade de sensoriamento ou estrutura de tarefa). As estratégias atuais de adaptação de domínio enfrentam um compromisso crítico:

• Congelar o codificador visual e atualizar apenas conectores leves preserva o conhecimento pré-treinado, mas restringe a capacidade do modelo de aprender características visuais específicas do domínio.
• O ajuste fino (fine-tuning) total ou parcial do codificador visual permite uma compreensão visual especializada, mas frequentemente leva ao esquecimento catastrófico das amplas capacidades adquiridas durante o pré-treinamento.

Além disso, as abordagens existentes normalmente dependem das representações da camada final de um codificador visual congelado, descartando características intermediárias que codificam estruturas visuais de múltiplos níveis. O artigo postula que representações abstratas da camada final são insuficientes para mudanças de domínio visualmente proeminentes e questiona como um VLM pode aproveitar sinais específicos do domínio através da profundidade de um codificador congelado sem causar esquecimento catastrófico.

2. Metodologia: VISCOP

Os autores propõem o VISCOP (Visual Contextualized Probing), um mecanismo de adaptação leve projetado para especializar VLMs para domínios alvo enquanto preserva o conhecimento de propósito geral.

Arquitetura Central

O VISCOP aumenta um codificador visual congelado com um conjunto compacto de sondas visuais (probes) treináveis ($P \in \mathbb{R}^{M \times d_v}$) e um módulo de interação. Diferente de métodos que reinterpretam características fixas ou as comprimem na camada final, o VISCOP cria uma via parametrizada paralela:

1. Sondagem por Camada (Layer-wise Probing): O método extrai sinais relevantes do domínio das camadas intermediárias ($\ell = 1, \dots, L$) do codificador visual congelado.
2. Módulo de Interação ($\Phi^\ell$): Em cada camada, um módulo de interação treinável condiciona as sondas nas representações visuais hierárquicas ($X^\ell$) via atenção cruzada visão-sonda (vision-probe cross-attention).
   • As sondas são atualizadas como: $P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$.
   • Isso permite que as sondas atentem a todos os frames em um vídeo, aprendendo relações espaço-temporais complexas específicas do domínio alvo, mesmo quando o codificador base está congelado.
3. Projeção para o LLM: Após a camada final, as sondas atualizadas ($P^L$) são projetadas para o espaço de incorporação de linguagem via um conector dedicado ($C_{probe}$).
4. Objetivo de Treinamento: O VLM é treinado com uma perda padrão de predição do próximo token autorregressivo, condicionado tanto pelas incorporações visuais originais ($E$) quanto pelas incorporações das sondas ($Z$).

Estratégia de Treinamento

• Componentes Congelados: Os parâmetros do codificador visual pré-treinado permanecem congelados.
• Componentes Treináveis: Apenas as sondas visuais, módulos de interação, o conector visão-linguagem e (opcionalmente) parâmetros LoRA no LLM são atualizados.
• Mecanismo: Ao restringir as atualizações a um subespaço visual definido por sondas de baixo posto (low-rank), o VISCOP direciona o aprendizado para estruturas relevantes do domínio, evitando o "crash" (esquecimento catastrófico) associado ao fluxo direto de gradiente através do codificador visual.

3. Principais Contribuições

1. Nova Estratégia de Adaptação: Introdução do VISCOP, que aprende representações visuais específicas do domínio através da sondagem por camada de um codificador congelado, permitindo uma transferência eficaz sem interromper as representações pré-treinadas.
2. Avaliação Abrangente: Estabelecimento de um cenário de avaliação rigoroso abrangendo três cenários de adaptação desafiadores:
   • Cross-view (Mudança de visão): Exocêntrica $\to$ Egocêntrica.
   • Cross-modal (Mudança de modalidade): RGB $\to$ Profundidade (Depth).
   • Cross-task (Mudança de tarefa): Compreensão humana $\to$ Controle robótico.
3. Superioridade Empírica: Demonstração de que o VISCOP supera consistentemente as estratégias existentes (incluindo ajuste fino total e parcial) no desempenho do domínio alvo, mantendo simultaneamente capacidades superiores no domínio de origem.

4. Resultados Experimentais

Os autores avaliaram o VISCOP contra baselines (VLM Base, Ajuste Fino Total, Ajuste Fino Parcial, estilo Q-Former, Prompt Tuning) em três domínios:

• Compreensão de Vídeo Egocêntrico (Exocêntrico $\to$ Egocêntrico):

  • O VISCOP alcançou o maior aumento no domínio alvo ($\Delta_{target} = +3,53$) enquanto simultaneamente melhorou a retenção no domínio de origem ($\Delta_{source} = +1,77$).
  • Em contraste, o ajuste fino total melhorou ligeiramente o alvo ($\Delta_{target} = +0,57$), mas causou esquecimento no domínio de origem ($\Delta_{source} = -0,50$).

• Compreensão de Vídeo de Profundidade (RGB $\to$ Profundidade):

  • O gap visual entre RGB e Profundidade causou um esquecimento severo nas abordagens de ajuste fino padrão ($\Delta_{source} = -3,87$).
  • O VISCOP alcançou os maiores ganhos no alvo ($\Delta_{target} = +19,27$) enquanto preservou o desempenho de origem ($\Delta_{source} = +1,84$).

• Controle Robótico (Compreensão Humana $\to$ Controle Robótico):

  • Dado o extremo gap de domínio (espaço visual e de linguagem), o VLM Base teve 0% de acurácia.
  • O VISCOP alcançou o melhor desempenho no alvo ($\Delta_{target} = +67,82$) e reteve a maior parte do conhecimento de origem ($\Delta_{source} = -4,58$) em comparação com outros especialistas, que sofreram esquecimento significativo ($\Delta_{source} \approx -8,87$).

• Generalização: O VISCOP também foi testado em compreensão de áudio (entrada de espectrograma), mostrando desempenho no alvo comparável aos baselines, mas com redução significativa no esquecimento da origem, indicando que o método não se limita a mudanças visuais.

Eficiência

O VISCOP introduz apenas um overhead computacional modesto (aumento de 2% nos parâmetros, ~3,4 GB de aumento de VRAM) e, notavelmente, demonstrou menor latência de inferência do que o VLM base devido à geração de tokens mais focada.

5. Significância e Alegações

O artigo alega que o VISCOP aborda o compromisso fundamental na adaptação de domínio de VLM: a incapacidade de aprender novas características visuais sem apagar o conhecimento pré-treinado. Ao agir como um "policial de trânsito" que direciona os fluxos de gradiente para longe do codificador congelado e para uma via alternativa, o VISCOP permite:

• Transferência de Domínio Eficaz: Aprender pistas específicas do domínio (ex.: movimento egocêntrico, estrutura de profundidade, manipulação robótica) que estão ausentes na representação pré-treinada.
• Preservação de Capacidades Gerais: Manter a competência no domínio de origem, o que é crítico para implantações no mundo real onde os modelos devem lidar com diversas entradas.
• Utilização de Características Intermediárias: Demonstrar que as camadas intermediárias de um codificador congelado contêm sinais valiosos e específicos do domínio que são perdidos se apenas as representações da camada final forem utilizadas.

Os autores concluem que o VISCOP fornece uma abordagem simples e eficaz para a adaptação de domínio de vídeo sob gaps visuais proeminentes sem modificar os parâmetros do codificador visual pré-treinado, uma capacidade não habilitada pelas abordagens existentes.