PEARL: Personalized Streaming Video Understanding Model

Título: PEARL: Modelo de Compreensão de Vídeo em Streaming Personalizado

1. O Problema

A cognição humana de novos conceitos é inerentemente um processo de streaming (fluxo contínuo): reconhecemos continuamente novos objetos ou identidades e atualizamos nossas memórias ao longo do tempo. No entanto, os métodos atuais de personalização multimodal apresentam limitações críticas:

• Restrição a Dados Estáticos: A maioria das abordagens (como Yo'LLaVA, MC-LLaVA) foca apenas em imagens estáticas.
• Limitação em Vídeo Offline: Mesmo métodos de vídeo personalizado (como PVChat) operam estritamente em cenários offline (vídeos pré-gravados curtos) e suportam apenas interações de turno único.
• Falta de Interatividade em Tempo Real: Existe uma desconexão entre a entrada visual contínua e o feedback instantâneo do mundo real. Os sistemas atuais não conseguem lidar com a natureza aberta e em fluxo contínuo dos ambientes reais, impedindo a criação de assistentes de IA verdadeiramente interativos e personalizados que possam, por exemplo, corrigir a postura de um usuário em tempo real durante um vídeo de exercícios.

O artigo define formalmente uma nova tarefa chamada Personalized Streaming Video Understanding (PSVU): a capacidade de um modelo processar um fluxo de vídeo contínuo, registrar dinamicamente conceitos definidos pelo usuário em qualquer timestamp e responder a consultas em tempo real ou sobre o passado, mantendo o contexto visual histórico.

2. Metodologia

Para abordar o desafio da PSVU, os autores propõem duas contribuições principais: um novo benchmark e um novo framework.

A. PEARL-Bench (O Benchmark)
É o primeiro benchmark abrangente projetado especificamente para avaliar a compreensão de vídeo em streaming personalizado.

• Estrutura de Dados: Composto por 132 vídeos únicos e 2.173 anotações de alta granularidade com timestamps precisos.
• Tipos de Personalização:
  1. Nível de Frame (Frame-level): Foca na identificação contínua de pessoas ou objetos específicos em quadros discretos.
  2. Nível de Vídeo (Video-level): Foca em ações personalizadas que se desenrolam ao longo de quadros contínuos (ex: um gesto específico).
• Tipos de Consultas (QA):
  1. Definição de Conceito: O usuário define um novo conceito no momento (ex: "Este é o ").
  2. QA em Tempo Real: Perguntas sobre o estado atual do conceito na cena.
  3. QA no Passado: Perguntas sobre estados ou ações históricas, exigindo recuperação de evidências visuais antigas.
• Diversidade: Os dados cobrem anime, filmes, reality shows e humanos digitais, garantindo diversidade de conceitos e cenários.

B. PEARL (O Framework)
PEARL é uma estratégia plug-and-play e livre de treinamento (training-free) projetada para servir como uma linha de base forte. Ela não requer ajuste fino (fine-tuning) do modelo base.

• Sistema de Memória de Dupla Granularidade (Dual-grained Memory System):
  • Memória de Streaming: Arquivamento incremental de clipes de vídeo segmentados com seus respectivos embeddings multimodais compactos para recuperação eficiente.
  • Memória de Conceito: Armazena representações estruturadas dos conceitos definidos pelo usuário (nome, evidência visual e descrição textual gerada).
• Algoritmo de Recuperação Consciente de Conceito (Concept-aware Retrieval):
  • Ao receber uma consulta, o sistema identifica os nomes dos conceitos mencionados.
  • Reescrita de Consulta (Query Rewriting): Substitui os nomes dos conceitos (ex: "") por suas descrições textuais detalhadas (ex: "um homem jovem com cabelo loiro bagunçado") para facilitar a correspondência semântica.
  • Recuperação: Utiliza a semântica reescrita para buscar os clipes históricos mais relevantes na Memória de Streaming (Top-K) e expandir com clipes adjacentes para contexto temporal.
  • Resposta: O modelo VLM (Vision-Language Model) recebe o clipe atual, os clipes históricos recuperados, as descrições dos conceitos e a consulta original para gerar a resposta.

3. Principais Contribuições

1. Definição de Nova Tarefa: Primeira definição formal da tarefa de Compreensão de Vídeo em Streaming Personalizado (PSVU), preenchendo a lacuna entre a personalização estática e a interação em tempo real.
2. PEARL-Bench: Introdução do primeiro benchmark abrangente para esta tarefa, suportando vídeos longos, interações de múltiplos turnos e personalização tanto de entidades estáticas quanto de ações dinâmicas.
3. Framework PEARL: Proposta de uma metodologia eficiente, sem treinamento e plug-and-play que desacopla o conhecimento centrado em conceitos das observações centradas no fluxo de vídeo, permitindo que modelos VLMs existentes operem em cenários de streaming.
4. Desempenho SOTA: Demonstração de que o PEARL estabelece o estado da arte (SOTA) em comparação com 8 modelos offline e online, sendo robusto em diferentes arquiteturas.

4. Resultados Experimentais

Os experimentos foram conduzidos em 8 modelos (incluindo LLaVA-OV, Qwen2-VL, Qwen3-VL, InternVL e modelos proprietários como Gemini).

• Desempenho Geral: O PEARL alcançou consistentemente o melhor desempenho, superando significativamente os modelos base e os baselines online existentes.
  • Ganhos Médios: Ao aplicar o PEARL, houve um aumento médio de 13,79% no nível de frame e 12,80% no nível de vídeo em relação aos modelos base.
  • Comparação com SOTA: A variante Qwen3-VL-8B + PEARL superou o melhor baseline online (StreamForest-7B) em 17,22% no nível de frame e 24,28% no nível de vídeo.
  • Superação de Modelos Offline: Mesmo modelos offline poderosos (como Gemini3-pro) ficaram atrás da solução PEARL, evidenciando a inadequação de abordagens offline para tarefas de streaming.
• Estudos de Ablação:
  • A Memória de Conceito é indispensável para vincular nomes definidos pelo usuário a entidades.
  • A Memória de Streaming é crucial para consultas passadas (Past-Time QA).
  • A Reescrita de Consulta melhora significativamente a recuperação de evidências ao traduzir nomes abstratos em descrições visuais.
• Eficiência: O PEARL introduz uma latência mínima e controlável. A maior parte da latência vem da inferência do LLM, enquanto os módulos de recuperação e reescrita são extremamente rápidos e invariantes entre modelos.

5. Significado e Impacto

O trabalho PEARL representa um avanço fundamental para a próxima geração de assistentes de IA personalizados.

• Ponte para o Mundo Real: Ao permitir que a IA entenda e memorize conceitos em fluxos de vídeo contínuos, o trabalho alinha a tecnologia de Visão-Linguagem (VLM) com a forma como os humanos realmente interagem com o mundo (fluxo contínuo, não imagens estáticas).
• Aplicações Práticas: Habilita cenários de uso real como:
  • Robótica pessoal e assistentes sociais.
  • Coaching de fitness personalizado em tempo real.
  • Monitoramento de segurança e interação com humanos em tempo real.
• Acessibilidade: Por ser uma solução training-free e plug-and-play, o PEARL democratiza a capacidade de criar assistentes personalizados, permitindo que qualquer VLM existente seja adaptado para tarefas de streaming sem custos computacionais massivos de re-treinamento.

Em resumo, o PEARL estabelece as bases para assistentes de IA que não apenas "veem" o mundo, mas "lembram" e "compreendem" a história visual do usuário em tempo real, transformando a interação homem-máquina de estática para dinâmica e contínua.