LLandMark: A Multi-Agent Framework for Landmark-Aware Multimodal Interactive Video Retrieval

O artigo apresenta o LLandMark, um framework modular multi-agente que integra agentes especializados, incluindo um agente de conhecimento de marcos e um pipeline assistido por LLM, para realizar recuperação de vídeo multimodal adaptativa e explicável com foco em cenas e textos vietnamitas.

O essencial

Imagine que você tem uma biblioteca de vídeo gigantesca, cheia de 250 gigabytes de filmes, notícias e documentários. O problema é que, se você perguntar: "Mostre-me o vídeo onde o homem está na frente da Catedral de São José, em Hanoi, à noite", um sistema de busca comum ficaria perdido. Ele não sabe o que é "São José", não entende que "Hanoi" é um lugar específico e provavelmente não consegue ler as placas de rua borradas no vídeo.

É aqui que entra o LLandMark, o sistema apresentado neste artigo. Pense nele não como um simples robô de busca, mas como uma equipe de detetives especialistas trabalhando juntos para resolver um caso complexo.

Aqui está como essa "equipe" funciona, explicado de forma simples:

1. O Chefe de Polícia (O Agente de Planejamento)

Quando você faz a pergunta, o primeiro detetive, o "Agente de Planejamento", analisa o que você quer. Ele não apenas joga a frase em um buscador; ele cria um plano de investigação. Ele decide: "Precisamos procurar por palavras faladas, precisamos ler o texto que aparece na tela e, principalmente, precisamos saber como a Catedral de São José parece visualmente."

2. O Especialista em Cultura (O Agente de Conhecimento de Marcos)

Este é o ponto mais genial do sistema. Se você menciona um marco cultural (como a "Torre da Tartaruga" ou a "Catedral de São José"), o sistema sabe que apenas o nome não é suficiente para encontrar o vídeo.

• A Analogia: Imagine que você está procurando um amigo em uma multidão. Se você disser apenas "João", é difícil. Mas se você disser "João, o cara de chapéu vermelho e óculos escuros", é muito mais fácil.
• O que o sistema faz: Ele transforma o nome "Catedral de São José" em uma descrição visual rica: "Duas torres quadradas, pedra cinza escura, arquitetura gótica". Isso ajuda o sistema a encontrar o vídeo baseado na aparência do lugar, e não apenas no nome escrito.

3. O Tradutor e Corretor (O Módulo de OCR Refinado)

Vídeos muitas vezes têm textos na tela (placas, legendas) que são difíceis de ler para computadores, especialmente em vietnamita, que tem muitos acentos e sinais especiais.

• O Problema: Um sistema comum pode ler "Hanoi" como "Hano" ou "Hanoii", perdendo a pista.
• A Solução: O LLandMark usa uma inteligência artificial avançada (como um corretor ortográfico superpoderoso) para pegar o texto borrado, corrigir os acentos vietnamitas e garantir que a palavra esteja perfeita antes de procurar. É como ter um tradutor que não só traduz, mas também polia a frase para que faça sentido.

4. O Detetive Visual (A Busca de Imagem por Imagem)

Às vezes, o texto não é suficiente. O sistema tem um recurso incrível: ele pode desenhar a imagem mentalmente.

• Como funciona: Se você pergunta sobre um mercado famoso, o sistema vai à internet, pega fotos reais desse mercado, e usa essas fotos como "pistas visuais" para procurar no seu banco de dados de vídeos. É como se você mostrasse uma foto do mercado para o detetive e dissesse: "Encontre o vídeo que parece com esta foto".

5. O Juiz Final (O Agente de Reordenamento e Resposta)

Depois que todos os detetives trazem suas pistas (imagens parecidas, textos encontrados, sons ouvidos), o "Juiz" junta tudo. Ele dá uma nota para cada vídeo encontrado, combinando todas as pistas.

• Se um vídeo tem a imagem certa, o texto certo e o som certo, ele ganha a nota máxima.
• O sistema então gera uma resposta para você, explicando: "Encontrei este vídeo. Aqui está a cena, aqui está o texto que aparece e aqui está o que foi dito."

Por que isso é importante?

Antes, para encontrar um vídeo específico em uma biblioteca gigante, você precisava saber exatamente o que estava escrito ou falado. Com o LLandMark, você pode fazer perguntas naturais, como se estivesse conversando com um amigo que conhece a cultura local.

O sistema foi testado em uma competição difícil (HCMAIC 2025) e ficou entre os melhores, provando que essa abordagem de "equipe de especialistas" funciona muito melhor do que tentar fazer tudo com uma única ferramenta.

Resumo da Ópera:
O LLandMark é como ter um assistente pessoal superinteligente que entende cultura, corrige erros de leitura, olha para as imagens como um humano e junta todas as pistas para te mostrar exatamente o vídeo que você precisa, sem que você precise saber os termos técnicos ou o nome exato de tudo.

Resumo técnico

1. Problema e Contexto

O artigo aborda os desafios crescentes na recuperação de vídeo a partir de corpora massivos, heterogêneos e fracamente estruturados. Os principais obstáculos identificados incluem:

• Variabilidade Multilíngue: Dificuldade em processar consultas em diferentes idiomas, com foco específico no contexto vietnamita.
• Ruído na Extração de Texto: Sistemas de OCR (Reconhecimento Óptico de Caracteres) tradicionais frequentemente falham em preservar diacríticos vietnamitas, alterando o significado do texto.
• Falta de Contexto Espacial e Cultural: A maioria dos sistemas existentes ignora o raciocínio sobre "marcos" (landmarks) culturais ou geográficos (ex: "Catedral de São José em Hanói"), essenciais para consultas complexas.
• Limitações de Sistemas Anteriores: Abordagens baseadas em agentes (como MAVEN) tinham adaptabilidade limitada, enquanto pipelines de OCR puros eram computacionalmente pesados e pouco flexíveis.

O trabalho foi desenvolvido no contexto do HCMAIC 2025 (Ho Chi Minh City AI Challenge), utilizando um corpus de 250 GB de vídeos de transmissão e documentários.

2. Metodologia: O Framework LLandMark

O LLandMark é uma arquitetura modular baseada em múltiplos agentes (Multi-Agent Framework) projetada para raciocínio adaptativo e recuperação multimodal. O sistema opera em quatro estágios principais:

A. Pré-processamento e Extração de Dados

• Segmentação de Vídeo: Utiliza o modelo TransNetV2 para dividir vídeos em shots e extrair apenas keyframes representativos (selecionados por percentis [0.15, 0.5, 0.85]), reduzindo custos computacionais.
• Indexação Multimodal:
  • Visual: Embeddings gerados pelo modelo CLIP (ConvNeXt-XXLarge) são armazenados no banco de vetores Milvus.
  • Texto (ASR): Transcrições de fala via WhisperX são indexadas no Elasticsearch.
  • Objetos: Detecções de objetos via YOLOv9-e são pré-computadas e armazenadas em JSON.
  • Metadados: Gerenciados no MongoDB.

B. Módulo de Refinamento de OCR (OCR Refinement Module)

Para resolver o problema de diacríticos vietnamitas:

1. O PaddleOCR extrai o texto inicial.
2. Um pipeline híbrido utiliza o LlamaIndex para conectar o output do OCR ao modelo de linguagem Gemini 2.5 Flash.
3. O LLM repara o texto, restaurando diacríticos, corrigindo ortografia e removendo ruído, gerando texto linguisticamente consistente para busca.

C. Framework Multi-Agent

O núcleo do sistema consiste em agentes especializados que colaboram:

1. Agente de Análise e Planejamento (Parsing and Planning Agent): Interpreta a intenção da consulta (em vietnamita ou inglês), cria um plano de busca estruturado e identifica entidades de "marcos".
2. Agente de Conhecimento de Marcos (Landmark Knowledge Agent):
   • Detecta nomes de marcos na consulta.
   • Reformula o nome do marco em um prompt descritivo rico (ex: transforma "Catedral de São José" em "Duas torres quadradas, pedra cinza escura, arquitetura gótica").
   • Isso preenche a lacuna semântica no espaço de embedding do CLIP, permitindo busca baseada na aparência visual e não apenas no nome lexical.
3. Orquestrador: Executa o plano de busca em paralelo através de três modalidades:
   • Busca Semântica: Usa os prompts descritivos em inglês para buscar no Milvus.
   • Busca ASR/OCR: Usa termos exatos em vietnamita para buscar no Elasticsearch.
   • Filtro de Objetos: Aplica lógica booleana (AND/OR) sobre os objetos detectados.
4. Agente de Reranking e Resposta (Reranking and Answer Agent):
   • Funde os resultados multimodais usando uma média ponderada.
   • Sintetiza uma resposta natural e explicável, referenciando frames específicos e evidências (texto, objetos, áudio).

D. Recuperação Imagem-para-Imagem Assistida por LLM

Para consultas de marcos que falham em busca puramente textual:

1. O LLM detecta o marco e gera uma consulta otimizada para busca na web.
2. A API do Google Custom Search recupera imagens de referência do marco.
3. Essas imagens são codificadas pelo CLIP e usadas para buscar similaridade visual contra os keyframes do corpus de vídeo.
4. Isso elimina a necessidade de entrada manual de imagens pelo usuário.

3. Contribuições Principais

1. Arquitetura LLandMark: Um sistema multi-agente modular para planejamento de consultas, raciocínio sobre marcos e reranking multimodal.
2. Pipeline de OCR com Refinamento do Gemini: Uma abordagem híbrida que combina PaddleOCR com pós-processamento via LLM (Gemini 2.5 Flash) para corrigir automaticamente textos vietnamitas, superando limitações de OCR padrão.
3. Recuperação Imagem-para-Imagem Assistida por LLM: Um pipeline totalmente automatizado que detecta marcos, busca imagens de referência na web e realiza correspondência visual, permitindo recuperação culturalmente fundamentada sem intervenção manual.

4. Resultados Experimentais

O sistema foi avaliado na fase eliminatória do HCMAIC 2025:

• Desempenho Geral: O LLandMark alcançou uma pontuação total de 77.40 (de um máximo de 88 pontos), classificando-se entre as 56 melhores equipes de mais de 680 participantes.
• Consistência: O sistema demonstrou robustez em todas as três tarefas de avaliação:
  • KIS (Busca por Palavras-chave): Alta precisão na recuperação baseada em texto.
  • QA (Resposta a Perguntas Visuais): Capacidade de raciocínio visual e textual.
  • TRAKE (Raciocínio Temporal): Detecção eficaz de sequências de eventos.
• Resultados Qualitativos: Estudos de caso mostraram que, enquanto a busca baseada apenas em embeddings (CLIP padrão) falhava em consultas complexas de marcos (ex: "Praça Bach Dang à noite"), o LLandMark, ao reformular a consulta com descrições visuais e usar busca por imagem, recuperou os segmentos corretos.

5. Significância e Conclusão

O LLandMark representa um avanço significativo na recuperação de vídeo interativa, especialmente para cenários multilíngues e culturalmente específicos.

• Explicabilidade: O sistema não apenas retorna resultados, mas torna o processo de raciocínio transparente, mostrando como os agentes interpretam consultas, planejam buscas e sintetizam evidências.
• Adaptabilidade Cultural: A capacidade de entender e reformular consultas sobre marcos vietnamitas demonstra como a integração de conhecimento de domínio (via LLMs) pode superar as limitações de modelos de base genéricos.
• Eficiência: A combinação de pré-processamento inteligente (TransNetV2) e pipelines de correção de texto via LLM oferece um equilíbrio entre precisão e custo computacional, superando abordagens anteriores que eram ou muito pesadas ou pouco flexíveis.

Em suma, o trabalho estabelece uma base para futuros sistemas de recuperação de vídeo centrados no ser humano, integrando visão, linguagem e raciocínio estruturado de forma modular.