Resumo Técnico: EVIDENT - Adaptação de Roteamento de MLLM através de Evidência Visual Fundamentada em Entidades

1. Declaração do Problema

O artigo aborda a falha de generalização entre domínios de Modelos de Linguagem Grandes Multimodais (MLLMs) na Ancoragem Temporal de Vídeo (VTG). Embora MLLMs pré-treinados possuam capacidades inerentes e agnósticas a domínios de atenção a entidades (a capacidade de associar consultas linguísticas a entidades visuais relevantes através de distribuições diversas), o ajuste fino ingênuo para tarefas de VTG frequentemente destrói essa capacidade.

Os autores identificam um fenômeno que denominam "desacoplamento atenção-localização". Quando ajustados finamente em um domínio de origem específico (No Domínio, ID), os MLLMs aprendem a localizar eventos dependendo de atalhos específicos do conjunto de dados (por exemplo, viés de localização temporal, contexto da cena ou viés de aparência) em vez da evidência visual subjacente. Consequentemente, embora o desempenho no ID melhore, o desempenho Fora do Domínio (OOD) degrada-se drasticamente.

Através de análise empírica, o artigo diagnostica que essa degradação é impulsionada principalmente pela mudança de domínio visual (diferenças na distribuição visual entre vídeos de origem e de destino) e não pela presença de conceitos de consulta não vistos. O ajuste fino padrão faz com que o modelo superajuste aos contextos de cena do domínio de origem, falhando em acoplar seu conhecimento aprendido de localização temporal com sua atenção a entidades pré-treinada.

2. Metodologia: EVIDENT

Para resolver isso, os autores propõem o EVIDENT (Adaptação Atenta a Entidades Fundamentada em Evidência), um framework eficiente em parâmetros projetado para ancorar a ancoragem temporal na atenção a entidades inerente dos MLLMs pré-treinados. O framework consiste em três componentes principais:

A. Adaptador de Gargalo de Entidade (Adaptador EB)

Em vez de ajustar finamente todo o MLLM ou reexecutar o ajuste de instrução, o EVIDENT insere um adaptador leve nas camadas iniciais do decodificador do MLLM.

• Mecanismo: Transforma tokens visuais densos em um conjunto compacto de slots de nível de entidade aprendíveis usando um mecanismo de Atenção de Slots.
• Função: Isso força o modelo a decompor a cena visual em entidades discretas e semanticamente coerentes (por exemplo, pessoa, objeto) em vez de processar tokens visuais brutos e emaranhados.
• Reconstrução: O adaptador reconstrói a sequência original de tokens a partir desses slots de maneira livre de parâmetros, garantindo que o decodificador LLM consuma apenas representações desentrelaçadas e centradas em entidades.

B. Destilação de Ligação de Entidade (Destilação EB)

Os autores observam que o espaço visual do MLLM pré-treinado é "emaranhado", o que significa que os slots no gargalo colapsariam naturalmente em atenção uniforme sem orientação.

• Mecanismo: Uma perda de destilação é introduzida para orientar a formação dos slots. Utiliza o DINOv2 (um modelo de visão auto-supervisionado) para gerar mapas de clusters pseudo-verdadeiros de patches visuais.
• Função: Através de correspondência húngara e perda de Entropia Cruzada Binária (BCE), o modelo é treinado para vincular cada slot a um cluster de entidade específico e semanticamente coerente. Isso incute "priors de objetividade" no espaço visual do MLLM, garantindo que os slots representem entidades distintas mesmo sob mudança de domínio.

C. Comutação de Entidade para Evidência (E2V)

Para aproveitar essas entidades aprendidas para a localização temporal, o framework introduz um mecanismo de comutação.

• Mecanismo: Para uma consulta em linguagem natural dada, o sistema extrai conceitos de sujeito e objeto. Em seguida, calcula uma pontuação de co-ocorrência por quadro baseada na similaridade de cosseno entre os recursos visuais do quadro e os tokens de sujeito/objeto da consulta.
• Função: Essa pontuação atua como um comutador, modulando a contribuição da saída do Adaptador EB. Quadros onde as entidades relevantes à consulta co-ocorrem recebem pesos mais altos. Isso injeta um viés indutivo de que o momento temporal alvo é onde as entidades relevantes estão visualmente presentes, desviando o modelo dos atalhos do conjunto de dados.

Objetivo de Treinamento: O framework é treinado de ponta a ponta com o codificador de visão congelado. Os parâmetros do Adaptador EB e do LoRA são atualizados conjuntamente usando uma perda combinada: $L_{total} = L_{CE} + \lambda L_{EBD}$, onde $L_{CE}$ é a perda padrão de entropia cruzada para geração de timestamp e $L_{EBD}$ é a perda de destilação de ligação de entidade.

3. Principais Contribuições

1. Diagnóstico da Falha OOD: O artigo demonstra sistematicamente que o ajuste fino ingênuo causa "desacoplamento atenção-localização" e identifica a mudança de domínio visual como a causa principal da degradação OOD, e não lacunas de conceitos.
2. Framework EVIDENT: Um método de adaptação eficiente em parâmetros que roteia a aprendizagem de VTG através de representações de nível de entidade sem reexecutar o ajuste completo de instrução. Combina um Adaptador de Gargalo de Entidade, Destilação de Ligação de Entidade e um mecanismo de comutação de Entidade para Evidência.
3. Validação Empírica: Experimentos extensivos mostram que o EVIDENT melhora consistentemente a robustez OOD em diversos benchmarks entre domínios (Charades-STA, QVHighlights, DiDeMo), mantendo desempenho competitivo No Domínio com uma sobrecarga modesta de parâmetros (~2,36% do backbone de 7B).

4. Resultados Experimentais

Os autores avaliaram o EVIDENT em configurações entre domínios (treinamento em um conjunto de dados, teste em outro).

• Desempenho: O EVIDENT supera significativamente MLLMs ajustados finamente de forma ingênua (por exemplo, Qwen2.5-VL) em cenários OOD. Por exemplo, na tarefa Charades-STA $\to$ QVHighlights, a linha de base ingênua sofreu uma queda de mais de 23,9 pontos em R1@0.5, enquanto o EVIDENT preencheu essa lacuna, alcançando um ganho de +5,5 pontos sobre a linha de base.
• Comparação: O EVIDENT supera MLLMs zero-shot (que carecem de localização temporal precisa) e modelos especializados baseados em DETR (que frequentemente falham em generalizar entre domínios).
• Estudos de Ablação:
  • Remover a Destilação EB resulta em slots que falham em se especializar, confirmando a necessidade da perda de destilação para a ligação de entidades.
  • Remover a comutação E2V reduz o desempenho OOD, confirmando o valor de usar entidades como evidência visual explícita.
  • A inserção do adaptador nas camadas iniciais do decodificador (0–10) provou ser ótima, preservando o alinhamento pré-treinado enquanto habilita a decomposição de entidades.

5. Significado e Alegações

O artigo alega que, para VTG robusta baseada em MLLM sob mudança de domínio visual, a solução é adaptação fundamentada em evidência que aproveita totalmente a atenção a entidades pré-treinada, em vez de ajuste direto ao contexto do domínio de origem.

Os autores posicionam o EVIDENT como um passo para mitigar mudanças de distribuição na compreensão de vídeo, impondo um viés estrutural em direção ao raciocínio de nível de entidade. Eles argumentam que, ao regularizar o ajuste fino para fundamentar previsões em evidência visual (entidades) em vez de padrões memorizados, os modelos podem alcançar transferibilidade que o ajuste fino ingênuo não consegue. O trabalho sugere que a ancoragem de nível de entidade serve como um viés indutivo eficaz para localização temporal generalizável.

O artigo permanece modesto quanto ao seu escopo, observando que foca em mudanças de distribuição visual e ainda não aborda outros desafios como vídeos de longa duração, perspectivas egocêntricas ou ancoragem de vocabulário aberto, que são deixados para trabalhos futuros.