TRANSPORTER: Transferring Visual Semantics from VLM Manifolds

Título: TRANSPORTER: Transferindo Semântica Visual de Manifold de VLMs

1. O Problema

Os Modelos de Visão e Linguagem (VLMs) modernos demonstram capacidades impressionantes de raciocínio sobre cenas complexas, envolvendo diversos objetos, ações e dinâmicas de cena. No entanto, um desafio fundamental permanece: compreender e controlar os processos internos desses modelos.

• Limitações Atuais: As abordagens existentes para explicabilidade (como prompting, sondas lineares ou decodificação de embeddings ocultos) geralmente resultam em descrições textuais sensíveis a mudanças, de comprimento limitado ou que não representam fielmente os processos internos do modelo.
• A Lacuna: Não há uma maneira direta e causal de visualizar como as distribuições de probabilidade (logits) de um VLM correspondem a representações visuais concretas em vídeos. A pergunta central é: "Como os modelos de compreensão de vídeo adquirem suas respostas e como podemos visualizar as regras subjacentes a essas previsões?"

2. Metodologia: TRANSPORTER

O artigo introduz uma nova tarefa chamada Logits-to-Video (L2V) e propõe o modelo TRANSPORTER para realizá-la. A abordagem é independente do modelo VLM específico e utiliza técnicas de transporte ótimo para acoplar espaços de embeddings semânticos com representações visuais de alta fidelidade.

A. Definição da Tarefa L2V

O objetivo é gerar um vídeo $x'$ que reflita uma mudança específica na distribuição de logits de um VLM.

• Dado um par de prompts de texto ($\pi^-$ e $\pi^+$) que resultam em diferentes logits ($\omega^-$ e $\omega^+$), o sistema deve gerar um vídeo onde a mudança visual corresponda à divergência $\Delta\omega$ entre esses logits.
• Exemplo: Se o logit muda de "jovem" para "velho", o vídeo gerado deve mostrar essa transição visual.

B. Arquitetura do TRANSPORTER

O sistema consiste em três componentes principais que trabalham em conjunto:

1. Rede de Acoplamento ($\Phi$):

   • O desafio é mapear os embeddings latentes do gerador de vídeo ($z_\Xi \in \mathbb{R}^\Xi$) para o espaço de embeddings do VLM ($z_\Omega \in \mathbb{R}^\Omega$).
   • Uma simples decodificação e re-codificação introduz variações estocásticas indesejadas.
   • A rede $\Phi$ projeta os embeddings do gerador para o espaço do VLM usando dois módulos:
     • $\Phi_{\Omega1}$: Minimiza o erro quadrático médio (MSE) entre a projeção e o embedding alvo.
     • $\Phi_{\Omega2}$: Preserva a estrutura relacional local dos tokens usando uma perda de matriz de Gram (similaridade de estrutura).
   • Transporte Ótimo Aprendível ($\rho$-OT): Para combinar as propriedades globais e locais, o sistema utiliza um módulo de Transporte Ótimo baseado em entropia. Ele aprende vetores de projeção para encontrar um plano de transporte ótimo entre as representações, garantindo que a semântica seja preservada com alta fidelidade.

2. Banco de Conceitos Aprendíveis ($Q$):

   • O sistema cria um banco de vetores latentes ($q_o$) que codificam as direções de mudança entre pares de conceitos semânticos (ex: "bola de beisebol" vs. "bola de beisebol perdida").
   • Durante o treinamento, a divergência de logits ($\Delta\omega$) entre pares de prompts é usada como supervisão para aprender esses vetores de direção no espaço latente do gerador.
   • A divergência é calculada usando a distância de Hellinger entre as distribuições de logits.

3. Geração Condicional:

   • Na inferência, o usuário define uma mudança desejada (ex: alterar a cor de um objeto).
   • O vetor do banco de conceitos correspondente ($q_o$) é adicionado à condição de entrada do gerador de vídeo (baseado em Flow Matching ou Diffusion).
   • Isso modula o campo de velocidade do gerador, produzindo um vídeo que visualiza a mudança específica prevista pelos logits do VLM.

3. Contribuições Principais

1. Tarefa L2V (Logits-to-Video): Uma nova tarefa de geração controlada para explicações visuais de VLMs, indo além das explicações baseadas apenas em texto ou mapas de saliência.
2. Modelo TRANSPORTER: Um método independente do modelo que aprende caminhos de transporte ótimo entre espaços de embeddings geométricos locais e representações globais, permitindo a geração de vídeos controlados por previsões de VLMs.
3. Latentes Aprendíveis: Mecanismo para modular vídeos com base na divergência de logits alvo, permitindo controle fino sobre atributos de objetos, advérbios de ação e contexto da cena.
4. Avaliação Empírica: Demonstração robusta através de múltiplos VLMs (VideoLLaMA 3, Gemma 3, Phi 4 MM), mostrando que a abordagem gera vídeos de alta qualidade visual e alinhamento semântico superior.

4. Resultados e Avaliação

Os resultados foram avaliados quantitativa e qualitativamente em comparação com métodos de visualização de características (baselines) e outros métodos de otimização de ativação (AM).

• Qualidade Visual e Alinhamento Semântico:

  • O TRANSPORTER superou consistentemente as baselines (como LEAPS e AM otimizado) em métricas de qualidade de vídeo (FVD - Fréchet Video Distance e LPIPSv) e alinhamento semântico (CLIPv score, estética).
  • Em testes com o VideoLLaMA 3, o TRANSPORTER dobrou o score de alinhamento CLIPv (35.44 vs. 16.74 do melhor baseline).
  • Para o Phi 4 MM, o método mostrou ganhos significativos na divergência de cossim e na qualidade visual, gerando vídeos muito mais próximos de vídeos reais do que os métodos anteriores.

• Análise Qualitativa:

  • Controle de Atributos: O modelo consegue gerar vídeos onde apenas atributos específicos mudam (ex: cor de uma bola, material de uma mesa) enquanto a dinâmica da cena, câmera e movimento dos objetos permanecem consistentes.
  • Granularidade: O sistema consegue visualizar mudanças sutis (ex: "fatiar fino" vs. "fatiar grosso") e mudanças mais complexas (ex: "andar" vs. "correr", "esquerda" vs. "direita").
  • Interpretabilidade: As visualizações revelam como os VLMs entendem a sequência de ações e a plausibilidade física (ex: o modelo falha em mudar a posição de um homem gritando para uma mulher se a preposição for trocada, indicando limitações no entendimento de preposições).

5. Significado e Impacto

O trabalho TRANSPORTER representa um avanço significativo na área de explicabilidade de modelos de IA (XAI) para vídeo:

• Novo Paradigma: Move a explicabilidade de descrições textuais estáticas para vídeos gerativos dinâmicos, permitindo que os pesquisadores "vejam" o que o modelo está pensando.
• Validação de Semântica: Permite verificar se as representações aprendidas pelos VLMs correspondem realmente às representações visuais esperadas, identificando falhas de raciocínio (como alucinações ou falta de entendimento de relações espaciais).
• Ferramenta de Investigação: Serve como uma ferramenta interativa para explorar correlações objeto-atributo e a estrutura do espaço latente de modelos multimodais complexos.
• Futuro: Abre caminho para o controle mais fino de modelos generativos e para a criação de ferramentas de depuração visual para sistemas de visão computacional de próxima geração.

Em resumo, o TRANSPORTER preenche a lacuna entre a lógica abstrata dos logits de um VLM e a realidade visual, transformando previsões probabilísticas em vídeos explicativos de alta fidelidade.