MIRAGE: Runtime Scheduling for Multi-Vector Image Retrieval with Hierarchical Decomposition

Each language version is independently generated for its own context, not a direct translation.

Imagine que você tem uma biblioteca gigante de fotos e quer encontrar uma imagem específica usando apenas uma descrição. Por exemplo: "Encontre minha foto antiga de escritório com um computador, uma impressora e minhas cadeiras adoráveis".

O problema é que a maioria dos sistemas de busca atuais funciona como um detetive apressado. Eles olham para a foto inteira de uma vez só e dizem: "Hmm, parece um escritório". Mas se você tiver 100 fotos de escritórios, o detetive pode se confundir e mostrar a foto errada, porque não prestou atenção nos detalhes (o computador específico, a cadeira vermelha, etc.).

Para resolver isso, os pesquisadores criaram um sistema chamado MIRAGE. Vamos explicar como ele funciona usando analogias do dia a dia.

1. O Problema: A "Lupa" Errada

Antes do MIRAGE, existiam duas formas principais de buscar:

A Busca Rápida (1 Modo): O sistema olha a foto inteira de longe. É rápido, mas perde os detalhes. É como tentar achar um amigo numa multidão olhando apenas a silhueta geral.
A Busca Detalhada (1+N Modo): O sistema quebra a foto em muitos pedaços pequenos (como um quebra-cabeça) e compara cada pedaço com cada parte da sua descrição. Isso é muito mais preciso, mas é lento e cansativo. É como se o detetive tivesse que examinar cada tijolo de cada prédio da cidade antes de decidir qual é o seu escritório.

2. A Solução: O MIRAGE (O Detetive Inteligente)

O MIRAGE é como um detetive com uma caixa de lentes mágicas. Em vez de usar apenas uma lente (a foto inteira) ou examinar cada tijolo individualmente, ele usa várias lentes de tamanhos diferentes ao mesmo tempo.

Aqui está como ele faz a mágica:

A. A Lente Multitamanho (Decomposição Hierárquica)

Imagine que você está procurando objetos em uma foto:

Para achar a "cadeira", você precisa de uma lente média (granularidade média).
Para achar o "teclado", você precisa de uma lente bem pequena e focada (granularidade fina).
Para achar o "escritório" inteiro, uma lente ampla basta.

O MIRAGE não força uma única lente para tudo. Ele cria uma escada de lentes. Ele olha a foto com lentes grandes, médias e pequenas simultaneamente. Se a "cadeira" aparecer claramente na lente média, ele para de gastar energia procurando na lente microscópica para aquele objeto específico. Ele encontra o "tamanho perfeito" para cada coisa.

B. O Filtro de Desperdício (Poda de Cauda)

Agora, imagine que você tem 1.000 fotos para verificar.

O MIRAGE olha rapidamente as 100 fotos que parecem totalmente erradas (a "cauda" de baixa similaridade) e as descarta imediatamente.
Ele não perde tempo examinando os detalhes finos dessas fotos ruins. É como um triagem médica: se o paciente está claramente saudável, o médico não faz exames de sangue caros e demorados.

C. A Saída Antecipada (Parar Quando Sabe)

Às vezes, o sistema já sabe que encontrou a foto certa na segunda ou terceira "lente" da escada.

Em vez de continuar descendo até a última e mais lenta lente, o MIRAGE diz: "Ok, já temos certeza suficiente, vamos parar aqui".
Isso economiza muita energia, como parar de procurar um livro na biblioteca assim que você vê a capa correta, em vez de ler o sumário de todos os livros da prateleira.

3. O "Cérebro" Automático (Configuração Automática)

O mais legal é que o MIRAGE não precisa que um humano ajuste as engrenagens para cada situação.

Se você for buscar fotos de carros, o sistema aprende sozinho que precisa de lentes diferentes do que se for buscar fotos de rostos.
Ele faz um "teste rápido" (profiling) no banco de dados e configura as melhores lentes e filtros automaticamente. É como um carro que ajusta a suspensão sozinho dependendo se você está dirigindo na estrada ou na terra.

O Resultado Final?

O MIRAGE consegue ser muito mais preciso (acha a foto certa com detalhes) e muito mais rápido (até 3,5 vezes mais rápido que os sistemas anteriores de alta precisão).

Resumo da Ópera:
O MIRAGE é como ter um assistente pessoal que não apenas olha a foto inteira, mas sabe exatamente onde olhar, com que detalhe olhar e quando parar de olhar, economizando tempo e garantindo que você encontre exatamente o que pediu, sem se perder em detalhes desnecessários.

Each language version is independently generated for its own context, not a direct translation.

Resumo Técnico: MIRAGE

1. O Problema

A Recuperação Aumentada por Geração (RAG) é fundamental para aplicações de Modelos de Linguagem Multimodal (MLLM), permitindo o uso de dados específicos do usuário. No entanto, as abordagens de recuperação convencionais sofrem de limitações:

Abordagem "1 Modo" (Vetor Único): Codifica toda a imagem e o prompt em um único vetor global. Isso resulta na perda de informações de objetos de baixo nível (fine-grained), levando a uma baixa precisão em imagens complexas ou semanticamente diversas.
Abordagem "1+N Modo" (Recuperação Multi-Vetor - MVR): Métodos recentes (como ColBERT e POQD) decompõem a consulta em sub-consultas e a imagem em segmentos (N). Embora melhorem a precisão, eles enfrentam desafios críticos:
- Granularidade Fixa e Desalinhamento: A escolha de um número fixo de segmentos ( $N$ ) não se adapta bem a objetos de escalas variadas dentro da mesma imagem. Objetos podem ser fragmentados incorretamente ou fundidos com regiões irrelevantes.
- Ineficiência Computacional: A decomposição fina aumenta drasticamente a complexidade computacional, exigindo cálculos de similaridade redundantes entre múltiplos sub-consultas e segmentos de imagem.
- Falta de Adaptação: A granularidade é pré-definida e não se ajusta dinamicamente a diferentes cenários ou conjuntos de dados.

2. Metodologia

O MIRAGE propõe um framework de agendamento em tempo de execução que introduz uma decomposição hierárquica para a recuperação de imagens multi-vetor. A metodologia baseia-se em três pilares principais:

Paradigma "1+M+N Mode":
- Em vez de uma única granularidade ( $N$ ), o MIRAGE constrói uma hierarquia de granularidades ( $M$ ), onde a imagem é segmentada em múltiplos níveis de detalhe (de grossos a finos).
- O sistema realiza uma correspondência hierárquica, permitindo que cada sub-consulta encontre o segmento de imagem com a melhor correspondência em qualquer nível da hierarquia. Isso resolve o problema de desalinhamento de escala de objetos.
Exploração de Redundância Computacional (Otimização em Tempo de Execução):
O framework identifica e elimina redundâncias inerentes ao processo de busca hierárquica através de três mecanismos:
1. Poda de Cauda de Baixa Similaridade (Low-Similarity Tail Pruning): Observa-se que imagens irrelevantes (cauda longa) são facilmente descartadas em níveis de granularidade mais grosseiros. O algoritmo poda dinamicamente essas imagens das iterações subsequentes mais caras, evitando cálculos desnecessários.
2. Otimização da Profundidade da Hierarquia (Early Exit): Nem todas as consultas precisam percorrer toda a hierarquia até o nível mais fino. O sistema monitora a estabilidade da classificação (usando o coeficiente de Kendall's $\tau$ ) e encerra a busca assim que a confiança na classificação atinge um limiar, evitando a travessia completa da hierarquia para consultas que já foram resolvidas.
3. Eliminação de Hierarquias "Ocas" (Hollow Hierarchy Elimination): Identifica e remove níveis intermediários de granularidade que oferecem pouca ou nenhuma informação nova em relação aos vizinhos (redundância estrutural), reduzindo o espaço de busca antes da execução.
Configuração Automatizada:
- O MIRAGE inclui um algoritmo de configuração automática que realiza uma busca em grade (grid search) guiada por latência para otimizar os parâmetros (taxa de poda, limiar de saída antecipada, stride de granularidade) para cada conjunto de dados específico, equilibrando automaticamente precisão e desempenho.

3. Principais Contribuições

Framework de Decomposição Hierárquica: Introdução de uma nova abordagem "1+M+N" que adapta a granularidade de segmentação às escalas variáveis dos objetos na imagem, superando as limitações de granularidade fixa.
Mecanismos de Aceleração em Tempo de Execução: Exploração sistemática da redundância nos dados e no algoritmo (poda de cauda, saída antecipada e eliminação de hierarquias ociosas) para eliminar computações desnecessárias sem sacrificar a precisão.
Integração Automatizada: Um framework que une a decomposição algorítmica e o agendamento computacional, permitindo a implantação robusta e adaptável em diversos cenários de uso sem necessidade de ajuste manual extensivo.
Primeira Abordagem Hierárquica em RAG Multimodal: É, segundo os autores, a primeira solução deste tipo no domínio de RAG multimodal, oferecendo uma base algorítmica extensível.

4. Resultados Experimentais

Os experimentos foram realizados em quatro conjuntos de dados (CREPE, MSCOCO, NoCaps, Flickr) comparando o MIRAGE com a recuperação vetorial única (Vanilla) e o estado da arte multi-vetor (POQD).

Precisão: O MIRAGE alcançou melhorias significativas na precisão (NDCG@10), superando o POQD em até 2 pontos percentuais e o Vanilla em até 8 pontos percentuais em média. A abordagem hierárquica permitiu uma melhoria de precisão duas vezes maior do que a MVR ingênua.
Desempenho (Velocidade):
- O sistema reduziu o custo computacional em até 3,5x em comparação com o sistema MVR existente (POQD).
- Aproximou-se da eficiência da recuperação de vetor único (Vanilla), mantendo a alta precisão da recuperação multi-vetor.
- Em termos de Throughput (QPS), o MIRAGE com todas as otimizações atinge velocidades muito superiores ao POQD, demonstrando que a otimização de redundância compensa o custo adicional da hierarquia.
Análise de Trade-off: O framework conseguiu empurrar a fronteira de Pareto (melhor equilíbrio entre precisão e latência), oferecendo configurações flexíveis para cenários que priorizam velocidade ou precisão.

5. Significado e Impacto

O trabalho do MIRAGE é significativo porque resolve o dilema fundamental entre precisão e eficiência na recuperação de imagens multimodais.

Viabilidade Prática: Torna a recuperação multi-vetor de alta granularidade viável para implantação em tempo real, algo que antes era proibitivo devido ao custo computacional.
Adaptabilidade: A capacidade de auto-configuração permite que o sistema se adapte a diferentes distribuições de dados e requisitos de hardware sem intervenção humana intensiva.
Futuro do RAG Multimodal: Estabelece uma base para sistemas de agentes inteligentes e assistentes pessoais que precisam recuperar informações visuais complexas com alta fidelidade e baixa latência, integrando-se perfeitamente com LLMs multimodais.

Em resumo, o MIRAGE transforma a recuperação de imagens de um processo estático e custoso em um processo dinâmico, inteligente e altamente eficiente, através da combinação de decomposição hierárquica e agendamento de redundância.