💻 ciência da computação

Evaluating Retrieval Accuracy and Latency for Enterprise RAG Systems on FiQA

Este estudo avalia a precisão de recuperação e a latência do TF-IDF, BM25, um recuperador denso MiniLM quantizado e sua fusão de ranking recíproco no benchmark FiQA, constatando que, embora o modelo denso supere significativamente os métodos esparsos, a abordagem de fusão produz apenas uma melhoria marginal e estatisticamente insignificante em relação ao MiniLM isoladamente.

Autores originais: Aleksandar Mihajlovic

Publicado 2026-10-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aleksandar Mihajlovic

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno da inteligência artificial, um desafio comum é ajudar um computador a responder perguntas usando uma vasta biblioteca de documentos que ele nunca viu antes. Imagine um sistema que pode ler um milhão de páginas de texto e depois discutir esses conteúdos com você. Para que isso funcione bem, o sistema precisa de um bibliotecário que consiga encontrar as páginas certas instantaneamente. Se o bibliotecário trouxer as páginas erradas, o computador dará uma resposta errada. Se o bibliotecário demorar muito para encontrar as páginas certas, a conversa estagna e torna-se inútil. Este equilíbrio entre encontrar a informação correta rapidamente e encontrar a informação correta com precisão é o problema central que os pesquisadores enfrentam ao construir esses sistemas inteligentes. Eles devem decidir como pesquisar através da biblioteca: devem procurar por correspondências exatas de palavras, como um índice tradicional, ou devem procurar pelo significado geral das palavras, como um humano compreendendo o contexto?

Um estudo recente propôs-se a testar estes diferentes métodos de pesquisa numa coleção específica de perguntas e respostas de fóruns financeiros. Os pesquisadores queriam ver qual abordagem funcionava melhor para um sistema empresarial, onde a velocidade e a precisência são críticas. Eles compararam quatro formas diferentes de pesquisa. Os dois primeiros métodos baseavam-se na correspondência direta de palavras. Um era uma contagem básica de quantas vezes as palavras apareciam, enquanto o outro era uma versão mais refinada que entendia o quão comum ou rara uma palavra era em toda a coleção. O terceiro método utilizou uma técnica moderna que transformava cada pergunta e cada documento numa representação matemática do seu significado, permitindo que o sistema encontrasse respostas mesmo se as palavras fossem diferentes. O quarto método era uma abordagem híbrida que tentava combinar os resultados da pesquisa de correspondência de palavras e da pesquisa baseada no significado para obter o melhor dos dois mundos.

A equipa executou estes quatro métodos contra um conjunto de testes padrão contendo quase sessenta mil documentos e seiscentos e quarenta e oito perguntas. Eles mediram duas coisas: com que frequência a resposta correta aparecia perto do topo da lista e quanto tempo o computador levava para produzir essa lista. Os resultados mostraram uma clara compensação. O método que dependia puramente da correspondência de palavras foi o mais rápido, encontrando um documento relevante entre os cinco primeiros resultados cerca de quarenta por cento das vezes, mas levou menos de seis milissegundos para o fazer. O método que compreendia o significado foi significativamente mais preciso, encontrando um documento relevante entre os cinco primeiros resultados cerca de cinquenta e quatro por cento das vezes, mas levou quase dezoito milissegundos para executar. Esta velocidade mais lenta deve-se ao facto de o computador ter de traduzir a pergunta para a sua forma matemática complexa antes de poder pesquisar.

Quando os pesquisadores combinaram os dois métodos, esperando obter a alta precisão da pesquisa baseada no significado com a velocidade da pesquisa de correspondência de palavras, os resultados foram surpreendentes. O método combinado não se tornou significativamente mais preciso do que a pesquisa baseada no significado sozinha. De facto, a melhoria na precisão foi tão pequena que poderia facilmente ter sido devida ao acaso. No entanto, o método combinado demorou mais tempo, exigindo quase vinte e quatro milissegundos para completar uma pesquisa. Isto aconteceu porque o sistema teve de executar ambas as pesquisas separadamente e depois fundir as listas, efetivamente duplicando o trabalho para um ganho quase impercetível. O estudo também descobriu que os dois métodos encontravam frequentemente respostas corretas diferentes. A pesquisa de correspondência de palavras encontrava documentos relevantes que a pesquisa baseada no significado perdia, e vice-versa. Embora isto tenha mostrado que os dois métodos se complementavam, a forma simples como foram combinados não conseguiu manter as melhores respostas de ambas as listas nos cinco primeiros resultados finais.

Os pesquisadores enfatizaram que estas descobertas se aplicam especificamente à velocidade da própria pesquisa, não à resposta final que o computador gera. Uma pesquisa rápida que encontra o documento certo é apenas metade da batalha; o computador ainda tem de ler esse documento e escrever uma boa resposta. O estudo também observou que os dados de teste vieram de fóruns financeiros públicos, que podem não representar perfeitamente os documentos complexos e restritos encontrados dentro de uma empresa real. Além disso, o computador utilizado para o teste era um processador padrão, não uma máquina especializada de alta velocidade, pelo que os tempos medidos refletem uma configuração específica e não um limite universal.

Em última análise, o trabalho sugere que, para um sistema que necessita de ser simultaneamente rápido e preciso, simplesmente adicionar um segundo método de pesquisa não melhora automaticamente o resultado. A abordagem mais eficaz depende das necessidades específicas do utilizador. Se a velocidade for a prioridade absoluta, uma pesquisa de correspondência de palavras mais simples pode ser suficiente. Se a precisão for mais importante, a pesquisa mais complexa baseada no significado vale o tempo extra. Mas combiná-las requer um ajuste cuidadoso, pois o tempo extra gasto a fundir listas pode não valer o minúsculo ganho em encontrar o documento certo. O estudo fornece um olhar claro e medido sobre estas escolhas, mostrando que, no mundo da inteligência artificial, adicionar mais complexidade nem sempre leva a um melhor resultado.

Resumo Técnico: Avaliando a Precisão de Recuperação e a Latência para Sistemas RAG Empresariais no FiQA

Declaração do Problema
Em sistemas de Geração Aumentada por Recuperação (RAG), o recuperador determina qual evidência está disponível para o gerador e o tempo necessário para obtê-la. Um sistema de recuperação que é altamente preciso, mas lento, torna uma aplicação RAG impraticável, enquanto um sistema rápido que perde evidências relevantes deixa o gerador sem uma base suficiente para suas respostas. Embora a Geração Aumentada por Recuperação combine modelos de linguagem com informações externas, os trade-offs específicos entre a precisão da recuperação (relevância) e a latência para diferentes configurações arquitetônicas permanecem subexplorados em contextos reproduzíveis e relevantes para o setor empresarial. Este estudo aborda a necessidade de medir conjuntamente a qualidade da recuperação e a latência através de configurações léxicas, densas e híbridas antes de introduzir a variabilidade da geração de respostas.

Metodologia
O estudo conduz uma comparação reproduzível de quatro configurações de recuperação no conjunto de teste completo do BEIR FiQA, compreendendo 648 perguntas de teste e um corpus de 57.638 documentos. A avaliação baseia-se estritamente em julgamentos de relevância fornecidos, sem ajuste fino de modelo ou seleção de hiperparâmetros baseada nos resultados do teste.

Configurações Avaliadas:
1. TF-IDF: Um baseline léxico usando frequência de termo sublinear e frequência inversa de documento suavizada com normalização de comprimento unitário.
2. BM25: Um método léxico usando parâmetros padrão ( $k_1=1.2, b=0.75$ ) com índices esparsos pré-computados.
3. MiniLM (Denso): Um modelo de embedding de frase (sentence-transformers/all-MiniLM-L6-v2) com quantização int8 dinâmica nas camadas lineares, produzindo vetores de 384 dimensões. Consultas e documentos são truncados para 256 tokens.
4. Reciprocal Rank Fusion (RRF): Uma abordagem híbrida que funde os 100 melhores resultados de BM25 e MiniLM usando uma constante de fusão de 60.
Configuração Experimental:
- Ambiente: Ambiente virtualizado Linux (AMD EPYC 9V74, cota de 8 núcleos, 8 GiB de RAM).
- Medição de Latência: Mediana e percentil 95 da latência medidos ao longo de três passagens aleatórias de todas as 648 consultas. O tempo inclui tokenização, codificação, pontuação e ordenação, mas exclui I/O de disco, trânsito de rede e geração.
- Métricas de Precisão: A métrica primária é a média de nDCG@10. As métricas secundárias incluem Hit@5, Recall@1/5/10/100 e MRR@10.
- Incerteza: Intervalos de confiança de 95% para diferenças de médias foram estimados usando 10.000 amostras de bootstrap de consultas pareadas.

Principais Resultados
O estudo quantifica a eficácia e os trade-offs de latência das quatro configurações:

Precisão (nDCG@10):
- TF-IDF: 0.179
- BM25: 0.235
- MiniLM: 0.334
- RRF (BM25 + MiniLM): 0.337
- Significância Estatística: A diferença entre RRF e o MiniLM isoladamente foi de +0.003, com um intervalo de confiança de 95% de [-0.015, +0.022]. Este intervalo inclui o zero, indicando que o experimento não estabeleceu uma vantagem de nDCG estatisticamente significativa para a fusão híbrida sobre o recuperador denso sozinho.
Hit@5 (Proporção de perguntas com um documento relevante no top 5):
- TF-IDF: 30.2%
- BM25: 39.8%
- MiniLM: 54.0%
- RRF: 53.1%
- Complementaridade: Embora o RRF não tenha superado o MiniLM em Hit@5, uma análise dos sucessos individuais mostrou que o BM25 e o MiniLM identificaram documentos relevantes complementares. Os sucessos apenas de BM25 no top 5 foram 54, e os sucessos apenas de Dense foram 146. A união de seus sucessos no top-5 cobriu 62.3% das perguntas, sugerindo que evidências complementares existem, mas nem sempre são preservadas na classificação fundida do top-5.
Latência (Mediana, ms):
- BM25: 5.74 ms (Mais baixa)
- TF-IDF: 6.93 ms
- MiniLM: 17.90 ms
- RRF: 23.92 ms (Aproximadamente 4.17x a latência do BM25)
- A latência do RRF inclui a execução sequencial de ambos os ramos de recuperação e a etapa de fusão.

Significância e Alegações
O artigo posiciona-se como uma comparação auditável de configurações explícitas, em vez de uma afirmação de superioridade universal ou generalização zero-shot. Suas principais contribuições e alegações incluem:

Trade-offs Empíricos: Os resultados quantificam que, embora a recuperação densa (MiniLM) supere significativamente os baselines léxicos (BM25) em precisão, ela incorre em uma penalidade substancial de latência (aprox. 3x).
Limites da Fusão: O estudo alega que a fusão de ranking (RRF) não garante a melhoria da relevância nos primeiros postos sobre seu componente mais forte (MiniLM) neste setup específico. O ganho marginal em nDCG (+0.003) não foi estatisticamente significativo, e o Hit@5 diminuiu ligeiramente em relação ao MiniLM sozinho.
Complementaridade vs. Ranking: O artigo destaca um "problema de seleção": embora o BM25 e os métodos densos identifiquem evidências relevantes complementares, a simples fusão de listas ranqueadas não garante automaticamente que essa evidência complementar seja retida em uma lista ranqueada curta e final (ex: top 5).
Escopo dos Achados: O autor afirma explicitamente que estes achados dizem respeito à relevância da recuperação sob julgamentos fornecidos, não à precisão da resposta gerada ou ao desempenho operacional empresarial. O estudo serve como um baseline para projetar sistemas RAG empresariais, enfatizando que a seleção de recuperação é uma decisão de design empírica dependente da coleção específica, do modelo e das restrições de implementação.
Reprodutibilidade: O estudo fornece scripts completos, versões de dependências e dados brutos para permitir a reprodução desses trade-offs específicos, observando que o modelo avaliado pode ter encontrado material de treinamento sobreposto (Stack Exchange) com o conjunto de dados FiQA.

O artigo conclui que, embora o RRF tenha alcançado a maior estimativa pontual de nDCG@10 observada, a falta de significância estatística sobre o MiniLM sozinho, combinada com o custo de latência, sugere que a fusão deve ser avaliada contra seu componente mais forte, em vez de ser assumida como superior. A validação em perguntas empresariais internas e na geração de respostas de ponta a ponta é necessária antes de tirar conclusões sobre sistemas operacionais.

Mais como este