Resumo Técnico: Testando Sistemas de Geração Aumentada por Recuperação com Cobertura de Fragmentos (Chunk Coverage)

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) são cada vez mais implantados em domínios de alto risco (ex: tomada de decisão clínica, análise financeira), onde o comportamento correto depende não apenas do Modelo de Linguagem Grande (LLM), mas criticamente do componente de recuperação que seleciona documentos externos no momento da inferência. As práticas atuais de avaliação para sistemas RAG concentram-se predominantemente em métricas por consulta (ex: Precisão do Contexto, Fidelidade, Relevância da Resposta) que avaliam a qualidade de pares consulta-resposta individuais.

No entanto, essas métricas falham em abordar uma preocupação fundamental de teste de software: a adequação do teste. Um conjunto de testes pode atingir pontuações médias elevadas enquanto recupera repetidamente o mesmo pequeno subconjunto de documentos populares, deixando grandes porções do corpus de documentos não testadas. As métricas existentes não fornecem insights sobre se um conjunto de testes exercita adequadamente o comportamento de recuperação do sistema como um todo. Há uma carência de um critério independente de oráculo para caracterizar o quão minuciosamente o componente de recuperação foi explorado, independentemente da correção da saída ou das anotações de relevância de verdade fundamental (ground-truth).

Metodologia

Cobertura de Fragmentos (Chunk Coverage - CC)

Os autores introduzem a Cobertura de Fragmentos (CC), um critério de adequação de teste estrutural projetado especificamente para o componente de recuperação de sistemas RAG.

• Definição: A CC mede a fração de fragmentos (chunks) do corpus que são recuperados pelo menos uma vez através de um conjunto de testes.
• Fórmula: $CC(T) = \frac{|\bigcup_{q \in T} R_k(q)|}{|C|}$, onde $T$ é o conjunto de testes, $C$ é o conjunto de todos os fragmentos no corpus, e $R_k(q)$ é o conjunto de $k$ fragmentos superiores recuperados para a consulta $q$.
• Independência de Oráculo: Diferente das métricas existentes, a CC não requer anotações de relevância de verdade fundamental, respostas de referência ou um LLM-como-juiz. Ela é computada puramente a partir de rastros de recuperação.
• Analogia: A CC funciona analogamente à cobertura de código no teste de software tradicional, abstraindo a correção da saída para focar na exploração estrutural do espaço de recuperação induzido pelo modelo de embedding e pela configuração do banco de dados vetorial.

Geração de Testes Guiada por Cobertura

O artigo propõe um loop direcionado por feedback para guiar a seleção e geração de testes usando a CC:

1. Execução: Executar consultas de teste contra o sistema RAG e registrar os fragmentos recuperados.
2. Identificação: Identificar fragmentos "não cobertos" (aqueles ainda não recuperados).
3. Geração/Seleção: Priorizar ou sintetizar novas consultas visando especificamente esses fragmentos não cobertos.
   • Em cenários com pools de consultas existentes (ex: T2-RAGBench), as consultas são selecionadas para maximizar a cobertura incremental.
   • Em cenários sem consultas predefinidas (ex: MIMIC-IV), um LLM auxiliar gera novas consultas baseadas no conteúdo dos fragmentos não cobertos.
4. Iteração: O processo se repete até que um orçamento de teste seja esgotado ou uma meta de cobertura seja atingida.

Configuração Experimental

O estudo avalia a CC em dois domínios de alto risco usando cinco conjuntos de dados:

1. Tomada de Decisão Clínica: Baseado no MIMIC-IV (registros de pacientes). Este conjunto de dados carece de consultas predefinidas e de relevância de verdade fundamental, exigindo geração de testes assistida por LLM.
2. Resposta a Perguntas Financeiras: Baseado no T2-RAGBench (ConvFinQA, FinQA, TAT-DQA, VQAonBD). Estes conjuntos de dados contêm documentos heterogêneos (texto e tabelas) e fornecem consultas predefinidas com anotações de relevância ao nível de página.

Questões de Pesquisa (RQs):

• RQ1: A CC se alinha com noções estabelecidas de diversidade de recuperação (entropia, coeficiente de Gini, sobreposição Jaccard)?
• RQ2: Quão eficaz é a CC ao guiar a geração/seleção de testes para explorar o espaço de recuperação em comparação com estratégias aleatórias e enviesadas por sobreposição?
• RQ3: A maior CC leva a uma detecção mais precoce de falhas distintas de recuperação (medida pela Porcentagem Média de Falhas Detectadas - APFD)?

Definição de Falha: Uma "falha" é definida como um comportamento de recuperação subjacente distinto (causa raiz) que causa falhas. As falhas são identificadas via valores extremos em métricas padrão de RAG (ex: relevância de contexto zero). Duas consultas falhas são atribuídas à mesma falha se seus conjuntos de fragmentos recuperados possuem alta similaridade Jaccor (Jaccard) ($\tau=0.8$).

Principais Resultados

RQ1: Alinhamento com a Diversidade

A Cobertura de Fragmentos correlaciona-se fortemente com métricas de diversidade estabelecidas.

• Uma CC mais alta corresponde a uma entropia normalizada maior (distribuição mais uniforme de fragmentos recuperados).
• Uma CC mais alta corresponde a coeficientes de Gini menores (menos concentração de acesso) e menor similaridade Jaccard pareada (menos sobreposição entre conjuntos recuperados).
• As correlações de Pearson foram estatisticamente significativas ($p < 0,05$) em todos os conjuntos de dados e tamanhos de suíte, com fortes correlações ($r \approx 0,85$) para suítes maiores.

RQ2: Eficiência da Geração de Testes

A testagem guiada por CC acelera significativamente a exploração do espaço de recuperação.

• Aceleração: A seleção guiada por CC atinge 50% da cobertura atingível 1,7× mais rápido do que a seleção aleatória e 4,2× mais rápido do que estratégias enviesadas por sobreposição (focadas em redundância) em média.
• Platôs: O estudo observou que, em alguns casos (ex: MIMIC-IV), o crescimento da cobertura pode estagnar se o gerador LLM tiver dificuldade em formular consultas para fragmentos não cobertos específicos, destacando limitações realistas na síntese de consultas.

RQ3: Eficácia de Testagem

Uma CC mais alta leva à descoberta mais precoce de falhas de recuperação distintas.

• Melhoria no APFD: Estratégias guiadas por CC melhoraram a Porcentagem Média de Falhas Detectadas (APFD) em 10% a 25% em comparação com a seleção aleatória através dos conjuntos de dados e métricas.
• Descoberta de Falhas: Ao priorizar consultas que exercitam regiões de recuperação não visitadas, a estratégia guiada por cobertura expõe diversos modos de falha mais cedo no processo de teste do que as estratégias aleatórias ou redundantes.
• Robustez: Os resultados mantiveram-se consistentes através de diferentes definições e limiares de falha, embora uma pequena exceção tenha sido notada para a Groundedness (Fundamentação) de Resposta do MIMIC-IV ao usar um gerador LLM mais fraco (GPT-4o-mini), sugerindo que a capacidade do gerador pode limitar a eficácia da CC em cenários sem consultas prévias.

Significância e Alegações

O artigo afirma que a Cobertura de Fragmentos fornece uma base principiológica e independente de oráculo para o teste sistemático de sistemas RAG. Sua significância reside em:

1. Preenchimento da Lacuna: Ela aborda a desconexão entre as métricas de avaliação por consulta e a adequação do conjunto de testes ao nível de suíte, oferecendo uma visão estrutural de quais partes do espaço de recuperação foram exercitadas.
2. Orientação Prática: Permite a geração de testes guiada por cobertura que não depende de anotações de verdade fundamental, tornando-a aplicável a cenários de implantação do mundo real onde tais dados são frequentemente indisponíveis.
3. Eficiência e Eficácia: Demonstra que priorizar a diversidade de recuperação (via CC) não apenas explora o espaço de comportamento do sistema de forma mais eficiente, mas também leva à descoberta mais rápida de falhas de recuperação distintas, melhorando a confiabilidade geral dos sistemas RAG antes da implantação.

Os autores concluem que, embora a CC não garanta a correção da saída, ela captura a diversidade de recuperação que é diretamente relevante para um teste eficaz, complementando as métricas de consulta existentes com uma perspectiva necessária de nível de suíte.