Fusionista2.0: Efficiency Retrieval System for Large-Scale Datasets

O artigo apresenta o Fusionista2.0, um sistema de recuperação de vídeo reengenheirado com módulos otimizados para velocidade e uma interface aprimorada, que reduziu o tempo de busca em até 75% enquanto aumentou a precisão e a satisfação do usuário no contexto do Video Browser Showdown.

O essencial

Imagine que você tem uma biblioteca gigante com 28.000 filmes, mas não há livros de índice, nem organizadores, e você tem apenas alguns minutos para encontrar uma cena específica: "O momento em que um cachorro amarelo salta sobre uma mesa azul". Se você tentar procurar manualmente, levaria dias.

O Fusionista 2.0 é a solução para esse problema. Pense nele como um "Detetive Super-Rápido e Inteligente" que foi treinado especificamente para vasculhar essa biblioteca de vídeos em segundos, não em horas.

Aqui está como ele funciona, explicado de forma simples:

1. O Problema: A Biblioteca Caótica

Antes, os sistemas de busca eram como bibliotecários que tentavam ler cada página de cada livro para encontrar uma palavra. Isso era lento e cansava o computador (o "cérebro" do sistema). Para o desafio de 2026 (uma competição mundial de busca em vídeo), eles precisavam de algo muito mais ágil.

2. A Solução: O Detetive Fusionista 2.0

Os criadores do Fusionista 2.0 pegaram a versão antiga e a transformaram em uma máquina de alta velocidade. Eles fizeram quatro mudanças principais:

• A "Fita Métrica" Rápida (Processamento de Vídeo):
  Antigamente, o sistema analisava cada quadro do vídeo com uma lupa gigante, o que demorava muito. Agora, eles usam uma ferramenta chamada ffmpeg (pense nela como uma fita métrica digital super-rápida). Em vez de ler tudo, ela apenas "pula" para os momentos-chave do vídeo, como se estivesse folheando um livro apenas nas páginas principais. Isso economiza tempo e energia.

• O "Ouvido" e o "Olho" Leves (Texto e Fala):
  O sistema precisa ler o que está escrito na tela (como placas de rua) e ouvir o que as pessoas dizem.

  • Para ler: Em vez de usar um robô gigante e lento, eles usam um modelo chamado Vintern-1B, que é como um "leitor ágil". Ele consegue ler textos borrados ou em vários idiomas (inclusive português e vietnamita) sem travar.
  • Para ouvir: Em vez de usar um sistema de reconhecimento de voz que pesa toneladas (como o Whisper original), eles usam o faster-whisper. É como trocar um caminhão de mudanças por uma moto de entrega: chega no mesmo lugar, mas muito mais rápido.

• O "Cérebro" Inteligente, mas Ágil (Perguntas e Respostas):
  Se você perguntar "Quantos sapatos tem na foto?", o sistema precisa responder na hora. Modelos de IA gigantes (como os de 7 bilhões de parâmetros) são inteligentes, mas são como um professor universitário que demora 10 minutos para pensar em uma resposta simples.
  O Fusionista 2.0 usa modelos menores e mais rápidos (como o InternVL). Eles são como um assistente pessoal esperto que responde em 2 segundos. Se a pergunta for muito difícil, o sistema pede ajuda humana, mas para 90% das coisas, ele resolve sozinho e rápido.

• O "Refinador" de Resultados (Re-ordenamento):
  Às vezes, o sistema acha 100 vídeos que parecem corretos, mas você só quer o exato. O Fusionista 2.0 tem um "segundo olhar". Ele pega os melhores resultados e faz perguntas simples para si mesmo: "Tem um cachorro na cena?", "O cachorro é amarelo?". Se a resposta for "não", ele joga esse vídeo fora. Isso garante que o que aparece primeiro é realmente o que você quer.

3. A Interface: O Painel de Controle

Imagine tentar pilotar um avião com botões espalhados pelo chão. Era assim que era a versão antiga.
O Fusionista 2.0 redesenhou tudo. Agora, é como um painel de controle moderno de um carro de luxo:

• Tudo está onde você espera que esteja.
• É fácil de usar, mesmo para quem não é expert em tecnologia.
• Ele mostra o que está carregando (para você não ficar ansioso) e organiza os resultados em grupos, como se fosse uma prateleira de supermercado bem organizada.

O Resultado Final?

Graças a essas melhorias, o sistema ficou 75% mais rápido.

• Antes: Você procurava, esperava, e talvez não encontrasse.
• Agora: Você digita a pergunta, e o "Detetive" traz o vídeo exato quase instantaneamente, com uma precisão impressionante.

Em resumo, o Fusionista 2.0 é a prova de que você não precisa de um "gigante lento" para encontrar coisas em grandes volumes de dados. Às vezes, o que você precisa é de um "pequeno ágil" que sabe exatamente onde olhar. Isso torna a busca por vídeos algo que qualquer pessoa pode fazer, sem precisar de supercomputadores ou anos de estudo.

Resumo técnico

Resumo Técnico: Fusionista2.0

1. Problema e Contexto

O artigo aborda os desafios enfrentados pelos sistemas de recuperação de vídeo no contexto do Video Browser Showdown (VBS), uma competição bienal que exige precisão sob restrições de tempo rigorosas. O foco principal é o VBS 2026, que utiliza o conjunto de dados V3C (mais de 28.000 vídeos e milhares de horas de conteúdo), além de conjuntos de dados específicos de domínio.

Os sistemas anteriores enfrentavam dificuldades críticas ao escalar para conjuntos de dados de terabytes:

• Ineficiência Computacional: Pipelines de pré-processamento complexas (usando múltiplos modelos como CLIP e TransNetV2) consumiam muitos recursos de GPU e memória.
• Latência: Modelos de IA grandes (como Whisper e VLMs de ≥7B) eram lentos demais para tarefas de busca interativa em tempo real.
• Usabilidade: Interfaces que não otimizavam o fluxo de trabalho do usuário, dificultando a busca por usuários não especialistas.

2. Metodologia e Arquitetura

O Fusionista2.0 é uma reengenharia completa do sistema Fusionista e Fustar, focada em eficiência, multimodalidade e experiência do usuário. A arquitetura foi otimizada em seis pilares principais:

• Pré-processamento de Dados (Extração de Keyframes):

  • Substituição da pipeline multi-modelo pesada por um fluxo de trabalho unificado baseado no FFmpeg.
  • O sistema extrai deterministicamente quadros intra-codificados (keyframes estruturais) e mapeia timestamps, reduzindo drasticamente a demanda computacional e de memória, mantendo a qualidade necessária para a busca.

• Busca Textual (Text-to-Image):

  • Implementação de um modelo de ensemble combinando duas variantes de CLIP: CLIP-Sig400M e CLIP-ViT-5B.
  • A pontuação final é uma média ponderada ($s = 0.7 \cdot s_{Sig400M} + 0.3 \cdot s_{ViT-5B}$), onde o peso $\alpha=0.7$ foi determinado empiricamente para maximizar a precisão na recuperação de top-1.

• OCR e ASR (Reconhecimento de Texto e Fala):

  • OCR: Substituição do PaddleOCR pelo Vintern-1B-v3.5 (baseado em InternVL2.5-1B). Este modelo leve oferece alta precisão em textos de cena, inclusive em idiomas de baixos recursos (como o vietnamita), e possui capacidade de inferência para caracteres borrados ou ocluídos.
  • ASR: Substituição do modelo Whisper padrão pelo faster-whisper. Esta escolha reduz o tempo de processamento em 4x, sendo suficiente para os dados do VBS, onde a maioria das faixas de áudio contém ruído ambiente em vez de fala clara.

• Resposta a Perguntas (Visual Question Answering - VQA):

  • Abandono de modelos VLMs massivos (≥7B) em favor de modelos leves (≤1B) para garantir velocidade.
  • Avaliação de vários modelos compactos (InternVL, LLaVA, SmolVLM) em um conjunto de benchmark de 200 pares vídeo-pergunta.
  • Seleção final do InternVL-1B-ffn6-Seq, que ofereceu o melhor equilíbrio entre precisão (especialmente em contagem e extração de atributos) e tempo de inferência (< 5 segundos por consulta).

• Reclassificação (Reranking) Interativa:

  • Um módulo de reclassificação pós-busca que utiliza um modelo de linguagem (GPT-4o) para gerar três perguntas de "Sim/Não" baseadas na consulta inicial.
  • Um modelo de visão-linguagem avalia as imagens candidatas respondendo a essas perguntas, refinando os resultados com base na intenção do usuário e detalhes sutis.

• Interface de Usuário (UI/UX):

  • Migração de Create React App para Vite, melhorando significativamente o desempenho.
  • Design focado em acessibilidade (WCAG), navegação por atalhos, virtual scrolling e suporte a consultas multilíngues.
  • Interface conversacional para VQA e operações em lote para reduzir o tempo de busca.

3. Principais Contribuições

1. Otimização de Pipeline de Dados: A transição para uma extração de keyframes baseada em FFmpeg permitiu o processamento eficiente de conjuntos de dados de grande escala sem gargalos de GPU.
2. Estratégia de Modelos Leves: A substituição de modelos grandes por alternativas otimizadas (Vintern, faster-whisper, InternVL-1B) manteve a precisão enquanto reduzia a latência, crucial para competições de tempo limitado.
3. Mecanismo de Refinamento por IA: A introdução de um sistema de reclassificação baseado em perguntas de confirmação (Yes/No) para alinhar os resultados com a intenção do usuário.
4. Melhoria de Usabilidade: Uma interface redesenhada que reduz a curva de aprendizado e o tempo de navegação para usuários não especialistas.

4. Resultados e Avaliação

• Eficiência: O tempo de recuperação foi reduzido em até 75% em comparação com abordagens anteriores.
• Precisão: A combinação de modelos de ensemble para busca textual e o modelo InternVL-1B-ffn6-Seq para VQA resultaram em aumento na precisão de recuperação (top-1) e na taxa de acerto em tarefas de contagem e extração de informações.
• Satisfação do Usuário: Estudos com novos usuários indicaram maior satisfação e facilidade de uso, com redução significativa na curva de aprendizado.
• Desempenho de VQA: O modelo selecionado (InternVL-1B-ffn6-Seq) alcançou uma acurácia média de 0.84 na contagem e 0.79 na extração de informações de imagem, com tempo médio de inferência de 4.8 segundos.

5. Significância

O Fusionista2.0 demonstra que é possível alcançar um equilíbrio ideal entre eficiência, eficácia e interatividade em sistemas de recuperação de vídeo de grande escala. Ao priorizar a velocidade de inferência sem sacrificar a precisão e ao redesenhar a experiência do usuário, o sistema não apenas se torna competitivo para o VBS 2026, mas também estabelece um modelo viável para a adoção em cenários do mundo real, onde o tempo de resposta e a usabilidade são fatores críticos. O trabalho valida a abordagem de usar modelos leves e pipelines otimizados para superar as limitações de hardware e tempo em tarefas de multimídia complexas.